論文の概要: Uncovering Latent Reasoning Strategies in Language Models

• arxiv url: http://arxiv.org/abs/2607.17674v1
• Date: Mon, 20 Jul 2026 08:27:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-21 18:48:37.548973
• Title: Uncovering Latent Reasoning Strategies in Language Models
• Title（参考訳）: 言語モデルにおける潜在推論戦略の解明
• Authors: Awni Altabaa, John Lafferty,
• Abstract要約: 与えられた事前学習言語モデルの応答分布を分解する問題について検討する。 重要な課題は、ベースモデルからジェネレータが$z$を使わずに$p_(y mid x)$をすでに表現していることである。 マルチストラテジーなアルゴリズムタスクのベンチマークを導入し、この目的が異なる参照戦略に適合した潜時符号を復元することを示す。
• 参考スコア（独自算出の注目度）: 5.299719769828893
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A language model $p_θ(y \mid x)$ trained on reasoning tasks learns to solve problems via multiple distinct strategies, yet these strategies are implicit and entangled within the model's response distribution. We study the problem of decomposing the response distribution of a given pretrained language model into a structured, strategy-conditioned representation. Specifically, we learn a latent-variable factorization $p_θ(y \mid x) \leadsto (r_φ(z \mid x), g_φ(y \mid x,z))$, where a router $r$ maps each input to a distribution over latent strategies $z$ and a generator $g$ produces the response conditioned on that strategy. A key challenge is that the generator, initialized from the base model, already represents $p_θ(y \mid x)$ without using $z$. Standard variational inference therefore gives the model no incentive to route information through $z$ and can yield a severe form of posterior collapse. To address this, we propose a variational objective that measures fractional information gain relative to the base model's response loss and concentrates reconstruction pressure on tokens with high base model surprisal, encouraging $z$ to encode strategy-relevant response variation. We introduce a benchmark of multi-strategy algorithmic tasks and show that this objective recovers latent codes aligned with distinct reference strategies while preserving the base model's response distribution.
• Abstract（参考訳）: 推論タスクを訓練した言語モデル $p_θ(y \mid x)$ は、複数の異なる戦略を通じて問題を解くことを学習するが、これらの戦略はモデルの応答分布内で暗黙的に絡み合っている。 本研究では,与えられた事前学習言語モデルの応答分布を構造化された戦略条件付き表現に分解する問題について検討する。 具体的には、遅延変数分解 $p_θ(y \mid x) \leadsto (r_φ(z \mid x), g_φ(y \mid x,z))$, ここで、ルータ$r$は、遅延戦略$z$上の分布に各入力をマッピングし、生成器$g$はその戦略で条件付けられた応答を生成する。 鍵となる課題は、生成元がベースモデルから初期化され、既に$z$を使わずに$p_θ(y \mid x)$を表すことである。 したがって、標準変分推論は、$z$を通して情報をルートするインセンティブを与えず、深刻な後方崩壊をもたらす可能性がある。 そこで本研究では,基本モデルの応答損失に対する分数的な情報ゲインを計測し,高ベースモデルに基づくトークンの再構成圧力を集中させることにより,戦略関連応答変動をエンコードするz$を提案する。 マルチストラテジーなアルゴリズムタスクのベンチマークを導入し、この目的がベースモデルの応答分布を保ちながら、異なる参照戦略に整合した潜時符号を復元することを示す。

関連論文リスト

• Inverting the Bellman Equation: From $Q$-Values to World Models [57.827849584133425]
  我々は、十分に豊富な報酬関数のセットで訓練された価値に基づくエージェントが、ユニークで正確な世界モデルを暗黙的にエンコードしていることを証明した。 ttReacherエージェントの暗黙の世界モデルにのみ訓練されたポリシーは、位置のみのトレーニングにもかかわらず、分布外、速度に基づく目標に準最適であることがわかった。
  論文  参考訳（メタデータ） (2026-06-19T07:26:14Z)
• Generative Recursive Reasoning [67.22973831501257]
  Generative Recursive ReAsoning Models (GRAM) は、潜在的推論を確率論的多軌道に変換するフレームワークである。 GRAMは$p_(y mid x)$で条件推論をサポートし、固定または欠落した入力では$p_(x)$で条件生成を行う。
  論文  参考訳（メタデータ） (2026-05-19T05:20:56Z)
• Binary Rewards and Reinforcement Learning: Fundamental Challenges [7.106986689736826]
  RLVRによる強化学習は、言語モデルにおける推論を改善するための標準的なアプローチとなっている。 二項報酬の性質を基礎としたこの現象の構造的説明を提供する。
  論文  参考訳（メタデータ） (2026-05-04T09:17:26Z)
• One-Shot Strategic Classification Under Unknown Costs [19.390528752448283]
  幅広いコストに対して、コスト関数の小さな誤推定でさえ、最悪の場合、自明な正確さを伴っていることを示す。 分析の結果,重要な戦略的応答,特にコスト操作関数に対する二重正則化の値が明らかになった。
  論文  参考訳（メタデータ） (2023-11-05T20:43:08Z)
• Delta-AI: Local objectives for amortized inference in sparse graphical models [64.5938437823851]
  スパース確率的グラフィカルモデル(PGM)における補正推論のための新しいアルゴリズムを提案する。 提案手法は, PGMにおける変数のサンプリングをエージェントが行う一連の行動とみなす場合, エージェントのポリシー学習目的において, PGMの疎結合が局所的な信用割当を可能にするという観察に基づいている。 合成PGMからサンプリングし、スパース因子構造を持つ潜在変数モデルを訓練するための$Delta$-AIの有効性について説明する。
  論文  参考訳（メタデータ） (2023-10-03T20:37:03Z)
• A Relational Intervention Approach for Unsupervised Dynamics Generalization in Model-Based Reinforcement Learning [113.75991721607174]
  同じ環境に属する2つの推定$hatz_i, hatz_j$の確率を推定するための介入予測モジュールを導入する。 提案手法により推定される$hatZ$は,従来の方法よりも冗長な情報が少ないことを実証的に示す。
  論文  参考訳（メタデータ） (2022-06-09T15:01:36Z)
• Improving Robustness and Generality of NLP Models Using Disentangled Representations [62.08794500431367]
  スーパービジョンニューラルネットワークはまず入力$x$を単一の表現$z$にマップし、次に出力ラベル$y$にマッピングする。 本研究では,非交叉表現学習の観点から,NLPモデルの堅牢性と汎用性を改善する手法を提案する。 提案した基準でトレーニングしたモデルは、広範囲の教師付き学習タスクにおいて、より堅牢性とドメイン適応性を向上することを示す。
  論文  参考訳（メタデータ） (2020-09-21T02:48:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。