論文の概要: Streaming Looking Ahead with Token-level Self-reward

• arxiv url: http://arxiv.org/abs/2503.00029v1
• Date: Mon, 24 Feb 2025 22:35:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 18:50:37.148035
• Title: Streaming Looking Ahead with Token-level Self-reward
• Title（参考訳）: トークンレベルの自己回帰による前向きストリーミング
• Authors: Hongming Zhang, Ruixin Hong, Dong Yu,
• Abstract要約: 本稿では,トークンレベルの自己回帰モデリング(TRM)機能を備えたポリシーモデルを提案する。 さらに,検索効率を向上し,並列化を向上するストリーミング・ルック・アヘッド (SLA) アルゴリズムを提案する。 SLAとDPOなどの強化微調整技術を組み合わせると、全体の勝利率は89.4%となる。
• 参考スコア（独自算出の注目度）: 50.699168440048716
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Autoregressive decoding algorithms that use only past information often cannot guarantee the best performance. Recently, people discovered that looking-ahead algorithms such as Monte Carlo Tree Search (MCTS) with external reward models (RMs) can significantly improve models' output by allowing them to think ahead and leverage future outputs and associated rewards to guide the current generation. Such techniques can help the reinforcement fine-tuning phase by sampling better trajectories and the inference phase by selecting the better output. However, their high computational cost limits their applications, especially in streaming scenarios. To address this issue, we propose equipping the policy model with token-level self-reward modeling (TRM) capability to eliminate the need for external models and extra communication. We name the new architecture as Reward Transformer. In addition, we propose a streaming-looking-ahead (SLA) algorithm to further boost search efficiency with better parallelization. Experiments show that SLA achieves an overall win rate of 79.7\% against the baseline greedy decoding algorithm on three general-domain datasets with a frozen policy model while maintaining streaming efficiency. If we combine SLA with reinforcement fine-tuning techniques such as DPO, SLA achieves an overall win rate of 89.4\%.
• Abstract（参考訳）: 過去の情報のみを使用する自動回帰復号アルゴリズムは、最高の性能を保証できないことが多い。 近年,モンテカルロ木探索 (MCTS) や外部報酬モデル (RM) といった先進的なアルゴリズムは,将来的な出力と関連する報酬を活用してモデル出力を大幅に改善できることがわかった。 このような技術は、より良い軌道をサンプリングし、より良い出力を選択することで、強化微細調整フェーズに役立つ。 しかし、その高い計算コストは、特にストリーミングシナリオにおいてアプリケーションを制限する。 この問題に対処するため,トークンレベルの自己回帰モデリング(TRM)機能を備えたポリシモデルを提案し,外部モデルや余分な通信の必要性を解消する。 新しいアーキテクチャをReward Transformerと名付けます。 さらに,検索効率を向上し,並列化を向上するストリーミング・ルック・アヘッド (SLA) アルゴリズムを提案する。 実験により、SLAはストリーミング効率を維持しつつ、凍結ポリシーモデルを持つ3つの汎用ドメインデータセットのベースライングリーディ復号アルゴリズムに対して79.7 %の総合的な勝利率を達成することが示された。 SLAとDPOなどの強化微調整技術を組み合わせると、全体の勝利率は89.4\%となる。

関連論文リスト

• DARS: Dynamic Action Re-Sampling to Enhance Coding Agent Performance by Adaptive Tree Traversal [55.13854171147104]
  大規模言語モデル(LLM)は、自然言語処理、データ分析、ソフトウェア開発など、さまざまな領域に革命をもたらした。 符号化エージェントのための新しい推論時間計算スケーリングアプローチである動的アクション再サンプリング(DARS)を提案する。 我々は、SWE-Bench Liteベンチマークに対する我々のアプローチを評価し、このスケーリング戦略がClude 3.5 Sonnet V2で55%のパス@kスコアを達成したことを実証した。
  論文  参考訳（メタデータ） (2025-03-18T14:02:59Z)
• MM-RLHF: The Next Step Forward in Multimodal LLM Alignment [59.536850459059856]
  MM-RLHF, $mathbf120k$ fine-fine, human-annotated preference comparison pairsを含むデータセットを紹介する。 本稿では,報酬モデルの品質向上とアライメントアルゴリズムの効率向上のために,いくつかの重要なイノベーションを提案する。 我々のアプローチは、$mathbf10$の異なる次元と$mathbf27$のベンチマークで厳格に評価されている。
  論文  参考訳（メタデータ） (2025-02-14T18:59:51Z)
• COrAL: Order-Agnostic Language Modeling for Efficient Iterative Refinement [80.18490952057125]
  反復改良は、複雑なタスクにおける大規模言語モデル(LLM)の能力を高める効果的なパラダイムとして登場した。 我々はこれらの課題を克服するために、コンテキストワイズ順序非依存言語モデリング(COrAL)を提案する。 当社のアプローチでは、管理可能なコンテキストウィンドウ内で複数のトークン依存関係をモデル化しています。
  論文  参考訳（メタデータ） (2024-10-12T23:56:19Z)
• A Distribution-Aware Flow-Matching for Generating Unstructured Data for Few-Shot Reinforcement Learning [1.0709300917082865]
  数発の強化学習のための合成非構造化データを生成するための分布認識フローマッチング手法を提案する。 我々のアプローチは、オーバーフィッティングやデータ相関など、従来のモデルベースRLにおける重要な課題に対処する。 提案手法は,初期タイムスタンプのフレームレートを30%向上させながら,最大Q値で安定した収束を実現することを示す。
  論文  参考訳（メタデータ） (2024-09-21T15:50:59Z)
• ITERTL: An Iterative Framework for Fine-tuning LLMs for RTL Code Generation [9.409062607311528]
  大規模言語モデル(LLM)は優れた性能を示しており、研究者はレジスタ転送レベル(RTL)コード生成の自動化に利用することを模索している。 RTL生成のためのファインチューンLSMへの既存のアプローチは、通常、固定データセット上で実行される。 ITERTLと呼ばれる反復的なトレーニングパラダイムを導入し、これらの問題を緩和する。 我々のモデルは GPT4 と State-of-the-art (SOTA) のオープンソースモデルより優れており、VerilogEval- Human ベンチマークでは 53.8% のパス@1 レートを達成した。
  論文  参考訳（メタデータ） (2024-06-28T01:44:57Z)
• Scaling Laws for Reward Model Overoptimization in Direct Alignment Algorithms [50.808123629394245]
  Direct Preference Optimizationのようなダイレクトアライメントアルゴリズム(DDA)は、古典的なRLHFパイプラインの代替として登場した。 この研究は、DAAに対する過度な最適化やハッキングの問題を定式化し、その成果を目標、訓練体制、モデルスケールにわたって探求する。
  論文  参考訳（メタデータ） (2024-06-05T03:41:37Z)
• Monte Carlo Tree Search Boosts Reasoning via Iterative Preference Learning [55.96599486604344]
  本稿では,Large Language Models (LLMs) の推論能力向上を目的とした,反復的な選好学習プロセスによるアプローチを提案する。 我々は、MCTS(Monte Carlo Tree Search)を用いて好みデータを反復的に収集し、そのルックアヘッド機能を利用して、インスタンスレベルの報酬をよりきめ細かいステップレベルの信号に分解する。 提案アルゴリズムはDPO(Direct Preference Optimization)を用いて,新たに生成されたステップレベルの優先度データを用いてLCMポリシーを更新する。
  論文  参考訳（メタデータ） (2024-05-01T11:10:24Z)
• LMUFormer: Low Complexity Yet Powerful Spiking Model With Legendre Memory Units [5.830814457423021]
  トランスフォーマーモデルは、多くのアプリケーションで高い精度を示してきたが、複雑さが高く、シーケンシャルな処理能力に欠けていた。 繰り返しモデルに対するアーキテクチャ上の変更が、Transformerモデルへのパフォーマンス向上にどのように役立つかを示す。 本稿では,このアーキテクチャのスパイクバージョンを紹介し,パッチ埋め込みおよびチャネルミキサーモジュール内の状態の利点を紹介する。
  論文  参考訳（メタデータ） (2024-01-20T01:10:18Z)
• Highly Parallel Autoregressive Entity Linking with Discriminative Correction [51.947280241185]
  自己回帰リンクを全ての潜在的な言及に対して並列化する,非常に効率的な手法を提案する。 我々のモデルは以前の生成法より70倍高速で精度が高い。
  論文  参考訳（メタデータ） (2021-09-08T17:28:26Z)
• Hyperparameter optimization with REINFORCE and Transformers [2.1404235519012076]
  強化学習はニューラルアーキテクチャサーチ(NAS)の有望な結果を得た ポリシーネットワークをモデル化するために,単純化されたTransformerブロックを用いることで,その性能が向上することを示す。
  論文  参考訳（メタデータ） (2020-06-01T13:35:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。