論文の概要: Amortizing Sequential Experimental Design in Reasoning LLMs

• arxiv url: http://arxiv.org/abs/2610.20832v1
• Date: Wed, 14 Oct 2026 19:15:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:16.038173
• Title: Amortizing Sequential Experimental Design in Reasoning LLMs
• Title（参考訳）: LLMにおける逐次実験設計の補正
• Abstract要約: 大規模言語モデル(LLM)は、実験的な設計作業において適応的に情報を集めるのに苦労する。 本研究では,情報ゲイン報酬を用いて行動選択を導出する推論を明示的に訓練することにより,連続ベイズ実験設計(BED)をLLMに補正する方法について検討する。
• 参考スコア（独自算出の注目度）: 46.326617774544054
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite their extensive pretraining knowledge and strong reasoning capabilities, large language models (LLMs) struggle to adaptively gather information in experimental design tasks. We study how to amortize sequential Bayesian experimental design (BED) into an LLM by explicitly training the reasoning that guides action selection using information-gain rewards. Our approach specifies the experimental generative model independently of the LLM's own beliefs, allowing us to optimize expected information gain under a model of our choosing. We investigate the design choices for amortization, including alternative generative-model constructions, reward estimation, hypothesis-space specification, multi-step objectives, and computational costs relative to training- and inference-time BED baselines. On Twenty Questions, the resulting policies improve information acquisition and task performance, outperform inference- and training-time BED baselines at substantially lower computational cost, and generalize to unseen categories. We further demonstrate positive transfer from Twenty Questions training to Medi-Q, a real-world clinical dialogue benchmark. These results suggest that information gathering can be learned as a generalizable reasoning skill in LLMs.
• Abstract（参考訳）: 事前学習の知識と強力な推論能力にもかかわらず、大規模言語モデル(LLM)は実験的な設計作業において適応的に情報を集めるのに苦労している。 本研究では,情報ゲイン報酬を用いて行動選択を導出する推論を明示的に訓練することにより,連続ベイズ実験設計(BED)をLLMに補正する方法について検討する。 提案手法は, LLMの信念とは無関係に実験的生成モデルを定義し, 選択モデルの下で期待される情報獲得を最適化する。 本稿では, 代替生成モデルの構築, 報酬推定, 仮説空間仕様, 多段階目標, およびトレーニング時間および推論時間BEDベースラインに対する計算コストなど, 償却のための設計選択について検討する。 Twenty Questionsでは、得られたポリシーは情報取得とタスクパフォーマンスを改善し、推論時間とトレーニング時間のBEDベースラインをかなり低い計算コストで上回り、目に見えないカテゴリに一般化する。 さらに,Twenty Questions トレーニングから,実際の臨床対話ベンチマークである Medi-Q への前向きな移行を示す。 これらの結果から,情報収集はLLMにおける一般化可能な推論技術として学べることが示唆された。

関連論文リスト

• Amortising Bayesian Experimental Design for Sequential Information Gathering in LLMs [46.337528012183476]
  A SIG(Amortated Sequential Information Gathering)は,ベイズ実験設計(BED)を大規模言語モデル(LLM)に変換する微調整手法である。 SIGは7Bベースモデルの成功率を2倍以上にし、BED-LLMと比較して推論コストを25ドル以上削減する。 トレーニング中に見えない診断ベンチマークであるMediQに適用すると、SIGは7Bスケールで情報検索のパフォーマンスを改善する。
  論文  参考訳（メタデータ） (2026-07-03T15:38:17Z)
• BED-LLM: Intelligent Information Gathering with LLMs and Bayesian Experimental Design [20.03498575187842]
  本稿では,ユーザや外部ソースから情報を知的かつ適応的に収集するLarge Language Models (LLM) の能力向上のための汎用的アプローチを提案する。 BED-LLMと呼ばれる我々のアプローチは、期待される情報獲得を最大化する質問を反復的に選択することに基づいている。 BED-LLMは,20の質問ゲームに基づいて,様々なテストにおいて,大幅な性能向上を実現している。
  論文  参考訳（メタデータ） (2025-08-28T19:51:43Z)
• Can Prompt Difficulty be Online Predicted for Accelerating RL Finetuning of Reasoning Models? [65.18157595903124]
  本研究では任意のプロンプトの反復的近似評価について検討する。 Model Predictive Prompt Selection (MoPPS)はベイズにおけるリスク予測フレームワークである。 MoPPSは迅速な困難を確実に予測し、ロールアウトを大幅に削減したトレーニングを加速する。
  論文  参考訳（メタデータ） (2025-07-07T03:20:52Z)
• Estimating the Effects of Sample Training Orders for Large Language Models without Retraining [49.59675538160363]
  大規模言語モデル(LLM)において,サンプルの訓練順序が重要な役割を担っている 従来の手法では、様々なサンプル順序でモデルを再訓練する必要がある。 リトレーニングフリーのフレームワークを設計することで従来の手法を改善します。
  論文  参考訳（メタデータ） (2025-05-28T07:07:02Z)
• Satori: Reinforcement Learning with Chain-of-Action-Thought Enhances LLM Reasoning via Autoregressive Search [57.28671084993782]
  大規模言語モデル(LLM)は、様々な領域にまたがる顕著な推論能力を示している。 近年の研究では、テスト時間計算の増加はLLMの推論能力を高めることが示されている。 そこで我々は,1)COAT推論形式を内部化するための小規模な形式調整段階,2)強化学習を活用した大規模自己改善段階を提案する。
  論文  参考訳（メタデータ） (2025-02-04T17:26:58Z)
• The Inherent Limits of Pretrained LLMs: The Unexpected Convergence of Instruction Tuning and In-Context Learning Capabilities [51.594836904623534]
  本研究は,インコンテキストの例を用いて誘導されるベースモデルと,命令調整モデルが根本的に異なる機能を持つかどうかを考察する。 命令調整モデルの性能は,基本モデルのコンテキスト内性能と大きく相関していることを示す。 具体的には、この理解を命令付きモデルに拡張し、事前学習データも同様に、解決可能なタスクの制限境界を設定することを示唆する。
  論文  参考訳（メタデータ） (2025-01-15T10:57:55Z)
• A Systematic Examination of Preference Learning through the Lens of Instruction-Following [83.71180850955679]
  新たな合成データ生成パイプラインを用いて48,000の命令追従プロンプトを生成する。 合成プロンプトでは、リジェクションサンプリング(RS)とモンテカルロ木探索(MCTS)の2つの選好データセットキュレーション手法を用いる。 実験により、MCTSが生成した選好ペアにおける共有プレフィックスは、限界はあるが一貫した改善をもたらすことが明らかになった。 高コントラストの選好ペアは一般的に低コントラストのペアよりも優れているが、両者を組み合わせることで最高のパフォーマンスが得られることが多い。
  論文  参考訳（メタデータ） (2024-12-18T15:38:39Z)
• ELAD: Explanation-Guided Large Language Models Active Distillation [16.243249111524403]
  LLM(Large Language Models)のデプロイメントと適用は、そのメモリ非効率性、計算要求、API推論の高コストによって妨げられている。 LLMの能力をより小さなモデルに伝達する伝統的な蒸留法は、知識が十分に伝達されているかどうかを判断できないことが多い。 本稿では,アノテーションコストとモデル性能のバランスを最適化するために,アクティブラーニング戦略を用いた説明誘導型ELAD(Explaination-Guided LLMs Active Distillation)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-20T15:47:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。