Fugu-MT 論文翻訳(概要): Language Models can Self-Improve at State-Value Estimation for Better Search

論文の概要: Language Models can Self-Improve at State-Value Estimation for Better Search

arxiv url: http://arxiv.org/abs/2503.02878v3
Date: Wed, 29 Oct 2025 22:28:23 GMT
ステータス: 翻訳完了
システム内更新日: 2025-10-31 16:05:09.256911
Title: Language Models can Self-Improve at State-Value Estimation for Better Search
Title（参考訳）: 言語モデルは、より優れた検索のための状態値推定で自己改善できる
Authors: Ethan Mendes, Alan Ritter,
Abstract要約: 我々は、状態遷移を明示的に推論することで、言語モデルに基づく値関数を改善する報奨のないフレームワークであるSelf-Taught Lookahead (STL)を紹介した。我々は,STLにより,オープンソースの小さなモデルで効率的な探索を導出し,推論コストを低減し,明示的な推論と価値学習を統合できることを見出した。
参考スコア（独自算出の注目度）: 23.61729554517216
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Collecting ground-truth rewards or human demonstrations for multi-step reasoning tasks is often prohibitively expensive, particularly in interactive domains such as web tasks. We introduce Self-Taught Lookahead (STL), a reward-free framework that improves language model-based value functions by reasoning explicitly about state transitions. STL can be viewed as a chain-of-thought analogue of the value iteration algorithm: instead of regressing directly on numeric values, a value LLM is trained to simulate a step of lookahead in natural language - predicting the next action, resulting state, and rationale for its value, thereby refining value estimates without any labeled data. This self-supervised procedure yields more accurate state-value predictions, which in turn enable lightweight search algorithms to expand fewer states while maintaining strong performance. Empirically, STL-trained value models built on moderately sized (8B parameter) open-weight LLMs boost web agent success rates by 39%, achieving comparable performance with proprietary models. STL also generalizes to multi-hop QA and math puzzles. We find that STL enables small open-source models to guide efficient search, reducing inference costs by integrating explicit reasoning with value learning.
Abstract（参考訳）: 多段階推論タスクに対する地道的な報酬や人間による実演の収集は、特にWebタスクのような対話的なドメインにおいて、非常に高価であることが多い。我々は、状態遷移を明示的に推論することで、言語モデルに基づく値関数を改善する報奨のないフレームワークであるSelf-Taught Lookahead (STL)を紹介した。 STLは、数値反復アルゴリズムの連鎖的な類似と見なすことができる: 数値を直接数値に回帰するのではなく、LLMは自然言語のルックアヘッドのステップをシミュレートするように訓練され、次のアクションを予測し、その結果の状態、その値の合理性を判断し、ラベル付きデータなしで値推定を精査する。この自己監督的な手順により、より正確な状態値予測が得られ、これにより、軽量な探索アルゴリズムは、高い性能を維持しながら、より少ない状態を拡張することができる。実証的に、中程度のサイズの(8Bパラメータ)オープンウェイトLLM上に構築されたSTLトレーニング値モデルは、Webエージェントの成功率を39%向上させ、プロプライエタリなモデルと同等のパフォーマンスを達成する。 STLはマルチホップQAや数学パズルにも一般化される。我々は,STLにより,オープンソースの小さなモデルで効率的な探索を導出し,推論コストを低減し,明示的な推論と価値学習を統合できることを見出した。

関連論文リスト

Aligning Frozen LLMs by Reinforcement Learning: An Iterative Reweight-then-Optimize Approach [65.6966065843227]
Iterative Reweight-then-IROは、凍結ベースモデルのRLスタイルアライメントを実行するフレームワークである。テスト時には、値関数を使用して、検索ベースの最適化プロセスを介してベースモデル生成をガイドする。特に、ユーザは、OpenAIの強化微調整(RFT)と同様、自身のデータセットにモデルをアライメントするためにIROを適用することができる。
論文参考訳（メタデータ） (2025-06-21T21:49:02Z)
Accelerated Test-Time Scaling with Model-Free Speculative Sampling [58.69141724095398]
STAND(Stochastic Adaptive N-gram Drafting)は,新しいモデルフリーな投機的デコード手法である。従来の自己回帰復号法と比較して,STANDは推論遅延を60～65%削減することを示した。モデルフリーのアプローチとして、STANDは追加のトレーニングなしで既存の言語モデルに適用できる。
論文参考訳（メタデータ） (2025-06-05T07:31:18Z)
Model Utility Law: Evaluating LLMs beyond Performance through Mechanism Interpretable Metric [99.56567010306807]
大規模言語モデル(LLM)は、学術、産業、そして日々のアプリケーションに欠かせないものになっている。大規模言語モデル (LLM) 時代における評価の課題の1つは一般化問題である。従来の性能スコアを補完するメカニズムの解釈可能性向上指標であるモデル利用指数(MUI)を提案する。
論文参考訳（メタデータ） (2025-04-10T04:09:47Z)
EfficientLLaVA:Generalizable Auto-Pruning for Large Vision-language Models [64.18350535770357]
マルチモーダル推論の効率を高めるために,大規模視覚言語モデルの自動プルーニング手法を提案する。提案手法では,所望のプルーニングポリシーを探索するために,少数のサンプルのみを活用する。視覚的質問応答のためのScienceQA, Vizwiz, MM-vet, LLaVA-Benchデータセットについて広範な実験を行った。
論文参考訳（メタデータ） (2025-03-19T16:07:04Z)
Scalable Best-of-N Selection for Large Language Models via Self-Certainty [65.31658824274894]
Best-of-N選択は、大規模言語モデルの推論性能を改善するための重要なテクニックである。本稿では,外部報酬モデルを必要とすることなく,応答品質を推定する新規かつ効率的な指標である自己確実性を提案する。本研究は, LLM推論能力を向上させるための実用的で効率的な方法として, 自己確実性を確立した。
論文参考訳（メタデータ） (2025-02-25T19:08:07Z)
S$^2$R: Teaching LLMs to Self-verify and Self-correct via Reinforcement Learning [51.84977135926156]
S$2$Rはモデルに推論時の自己検証と自己正当性を教えることによってLLM推論を強化する効率的なフレームワークである。以上の結果から,Qwen2.5-math-7Bの精度は51.0%から81.6%に向上した。
論文参考訳（メタデータ） (2025-02-18T13:40:22Z)
SPaR: Self-Play with Tree-Search Refinement to Improve Instruction-Following in Large Language Models [88.29990536278167]
SPaRは、木探索の自己制限を統合したセルフプレイフレームワークで、気を散らさずに有効かつ同等の選好ペアを得る。実験により,SPaRで誘導された3回の反復で訓練されたLLaMA3-8Bモデルが,一般機能を失うことなくIFEvalベンチマークでGPT-4-Turboを上回った。
論文参考訳（メタデータ） (2024-12-16T09:47:43Z)
Large Language Models Can Self-Improve At Web Agent Tasks [37.17001438055515]
大規模言語モデル(LLM)は、ゼロショットまたは少数ショットの方法でエージェントとして新しい環境をナビゲートする機能を最近デモした。 WebArena ベンチマークを用いて,LLM が長期タスクにおけるエージェントとしての性能を自己向上する方法について検討した。自己改善手順により,WebArenaベンチマークのベースモデルよりもタスク完了率を31%向上させる。
論文参考訳（メタデータ） (2024-05-30T17:52:36Z)
Self-Exploring Language Models: Active Preference Elicitation for Online Alignment [88.56809269990625]
本研究では, 分布域外領域を積極的に探索するために, 潜在的に高次応答に対して楽観的に偏りを呈する2段階的客観性を提案する。実験の結果,Zephyr-7B-SFTとLlama-3-8B-Instructモデルで微調整した場合,SELM(Self-Exploring Language Models)は命令追従ベンチマークの性能を大幅に向上させることがわかった。
論文参考訳（メタデータ） (2024-05-29T17:59:07Z)
GateLoop: Fully Data-Controlled Linear Recurrence for Sequence Modeling [0.0]
S4, S5, LRU, RetNet などの線形リカレントモデルを一般化したシーケンスモデルである GateLoop を開発した。 GateLoopは、自動回帰言語モデリングの既存のモデルよりも経験的に優れている。提案手法は,データ制御による相対配置情報の提供と解釈できることを示す。
論文参考訳（メタデータ） (2023-11-03T14:08:39Z)
Teaching Language Models to Self-Improve through Interactive Demonstrations [83.9421355808174]
大規模言語モデルの自己改善能力は欠如しており、より小さなモデルで学ぶことは困難である。このような自己改善能力を持つ小型モデルのトレーニングアルゴリズムであるTriPosTを導入する。我々は,LLaMA-7bの算数および推論タスクの性能を最大7.13%向上させることができることを示す。
論文参考訳（メタデータ） (2023-10-20T14:11:04Z)
Value function estimation using conditional diffusion models for control [62.27184818047923]
拡散値関数(DVF)と呼ばれる単純なアルゴリズムを提案する。拡散モデルを用いて環境-ロボット相互作用の連成多段階モデルを学ぶ。本稿では,DVFを用いて複数のコントローラの状態を効率よく把握する方法を示す。
論文参考訳（メタデータ） (2023-06-09T18:40:55Z)
Can Deep Learning be Applied to Model-Based Multi-Object Tracking? [25.464269324261636]
マルチオブジェクトトラッキング(MOT)は、ノイズ測定を用いて未知の、時間変化のあるオブジェクトの状態をトラッキングする問題である。ディープラーニング(DL)は、トラッキングパフォーマンスを改善するために、MOTでますます使われている。本稿では,TransformerベースのDLトラッカーを提案し,その性能をモデルベースで評価する。
論文参考訳（メタデータ） (2022-02-16T07:43:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。