論文の概要: Streaming Looking Ahead with Token-level Self-reward

• arxiv url: http://arxiv.org/abs/2503.00029v1
• Date: Mon, 24 Feb 2025 22:35:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-09 03:20:26.505293
• Title: Streaming Looking Ahead with Token-level Self-reward
• Title（参考訳）: トークンレベルの自己回帰による前向きストリーミング
• Authors: Hongming Zhang, Ruixin Hong, Dong Yu,
• Abstract要約: 本稿では,トークンレベルの自己回帰モデリング(TRM)機能を備えたポリシーモデルを提案する。 さらに,検索効率を向上し,並列化を向上するストリーミング・ルック・アヘッド (SLA) アルゴリズムを提案する。 SLAとDPOなどの強化微調整技術を組み合わせると、全体の勝利率は89.4%となる。
• 参考スコア（独自算出の注目度）: 50.699168440048716
• License:
• Abstract: Autoregressive decoding algorithms that use only past information often cannot guarantee the best performance. Recently, people discovered that looking-ahead algorithms such as Monte Carlo Tree Search (MCTS) with external reward models (RMs) can significantly improve models' output by allowing them to think ahead and leverage future outputs and associated rewards to guide the current generation. Such techniques can help the reinforcement fine-tuning phase by sampling better trajectories and the inference phase by selecting the better output. However, their high computational cost limits their applications, especially in streaming scenarios. To address this issue, we propose equipping the policy model with token-level self-reward modeling (TRM) capability to eliminate the need for external models and extra communication. We name the new architecture as Reward Transformer. In addition, we propose a streaming-looking-ahead (SLA) algorithm to further boost search efficiency with better parallelization. Experiments show that SLA achieves an overall win rate of 79.7\% against the baseline greedy decoding algorithm on three general-domain datasets with a frozen policy model while maintaining streaming efficiency. If we combine SLA with reinforcement fine-tuning techniques such as DPO, SLA achieves an overall win rate of 89.4\%.
• Abstract（参考訳）: 過去の情報のみを使用する自動回帰復号アルゴリズムは、最高の性能を保証できないことが多い。 近年,モンテカルロ木探索 (MCTS) や外部報酬モデル (RM) といった先進的なアルゴリズムは,将来的な出力と関連する報酬を活用してモデル出力を大幅に改善できることがわかった。 このような技術は、より良い軌道をサンプリングし、より良い出力を選択することで、強化微細調整フェーズに役立つ。 しかし、その高い計算コストは、特にストリーミングシナリオにおいてアプリケーションを制限する。 この問題に対処するため,トークンレベルの自己回帰モデリング(TRM)機能を備えたポリシモデルを提案し,外部モデルや余分な通信の必要性を解消する。 新しいアーキテクチャをReward Transformerと名付けます。 さらに,検索効率を向上し,並列化を向上するストリーミング・ルック・アヘッド (SLA) アルゴリズムを提案する。 実験により、SLAはストリーミング効率を維持しつつ、凍結ポリシーモデルを持つ3つの汎用ドメインデータセットのベースライングリーディ復号アルゴリズムに対して79.7 %の総合的な勝利率を達成することが示された。 SLAとDPOなどの強化微調整技術を組み合わせると、全体の勝利率は89.4\%となる。

関連論文リスト

• MM-RLHF: The Next Step Forward in Multimodal LLM Alignment [59.536850459059856]
  MM-RLHF, $mathbf120k$ fine-fine, human-annotated preference comparison pairsを含むデータセットを紹介する。 本稿では,報酬モデルの品質向上とアライメントアルゴリズムの効率向上のために,いくつかの重要なイノベーションを提案する。 我々のアプローチは、$mathbf10$の異なる次元と$mathbf27$のベンチマークで厳格に評価されている。
  論文  参考訳（メタデータ） (2025-02-14T18:59:51Z)
• COrAL: Order-Agnostic Language Modeling for Efficient Iterative Refinement [80.18490952057125]
  反復改良は、複雑なタスクにおける大規模言語モデル(LLM)の能力を高める効果的なパラダイムとして登場した。 我々はこれらの課題を克服するために、コンテキストワイズ順序非依存言語モデリング(COrAL)を提案する。 当社のアプローチでは、管理可能なコンテキストウィンドウ内で複数のトークン依存関係をモデル化しています。
  論文  参考訳（メタデータ） (2024-10-12T23:56:19Z)
• A Distribution-Aware Flow-Matching for Generating Unstructured Data for Few-Shot Reinforcement Learning [1.0709300917082865]
  数発の強化学習のための合成非構造化データを生成するための分布認識フローマッチング手法を提案する。 我々のアプローチは、オーバーフィッティングやデータ相関など、従来のモデルベースRLにおける重要な課題に対処する。 提案手法は,初期タイムスタンプのフレームレートを30%向上させながら,最大Q値で安定した収束を実現することを示す。
  論文  参考訳（メタデータ） (2024-09-21T15:50:59Z)
• Monte Carlo Tree Search Boosts Reasoning via Iterative Preference Learning [55.96599486604344]
  本稿では,Large Language Models (LLMs) の推論能力向上を目的とした,反復的な選好学習プロセスによるアプローチを提案する。 我々は、MCTS(Monte Carlo Tree Search)を用いて好みデータを反復的に収集し、そのルックアヘッド機能を利用して、インスタンスレベルの報酬をよりきめ細かいステップレベルの信号に分解する。 提案アルゴリズムはDPO(Direct Preference Optimization)を用いて,新たに生成されたステップレベルの優先度データを用いてLCMポリシーを更新する。
  論文  参考訳（メタデータ） (2024-05-01T11:10:24Z)
• LMUFormer: Low Complexity Yet Powerful Spiking Model With Legendre Memory Units [5.830814457423021]
  トランスフォーマーモデルは、多くのアプリケーションで高い精度を示してきたが、複雑さが高く、シーケンシャルな処理能力に欠けていた。 繰り返しモデルに対するアーキテクチャ上の変更が、Transformerモデルへのパフォーマンス向上にどのように役立つかを示す。 本稿では,このアーキテクチャのスパイクバージョンを紹介し,パッチ埋め込みおよびチャネルミキサーモジュール内の状態の利点を紹介する。
  論文  参考訳（メタデータ） (2024-01-20T01:10:18Z)
• Filter-enhanced MLP is All You Need for Sequential Recommendation [89.0974365344997]
  オンラインプラットフォームでは、ログされたユーザの行動データはノイズを含まないことは避けられない。 周波数領域の雑音を減衰させる信号処理から,フィルタアルゴリズムのアイデアを借用する。 逐次レコメンデーションタスクのための学習可能なフィルタを備えたオールMLPモデルである textbfFMLP-Rec を提案する。
  論文  参考訳（メタデータ） (2022-02-28T05:49:35Z)
• Highly Parallel Autoregressive Entity Linking with Discriminative Correction [51.947280241185]
  自己回帰リンクを全ての潜在的な言及に対して並列化する,非常に効率的な手法を提案する。 我々のモデルは以前の生成法より70倍高速で精度が高い。
  論文  参考訳（メタデータ） (2021-09-08T17:28:26Z)
• Hyperparameter optimization with REINFORCE and Transformers [2.1404235519012076]
  強化学習はニューラルアーキテクチャサーチ(NAS)の有望な結果を得た ポリシーネットワークをモデル化するために,単純化されたTransformerブロックを用いることで,その性能が向上することを示す。
  論文  参考訳（メタデータ） (2020-06-01T13:35:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。