論文の概要: Can LLMs Anticipate Their Cruxes?

• arxiv url: http://arxiv.org/abs/2610.21006v1
• Date: Wed, 14 Oct 2026 23:00:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:16.101477
• Title: Can LLMs Anticipate Their Cruxes?
• Title（参考訳）: LLMはくちばしを予測できるのか?
• Abstract要約: 私たちは、あるアクションを別のアクションに推奨するモデルを導いた、十字架を抽出することに興味があります。 したがって、くちばしはモデルのロールアウトの分布の性質であり、1つのロールアウトではない。 我々は、この最後の処理を、裁判官の86倍の計算量であるリランカへの安価な呼び出しで計算可能とする。
• 参考スコア（独自算出の注目度）: 20.240220010547517
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: To use language models to help us make decisions we would like to understand the rationale behind the language model's outputs. In principle, the language model provides its rationale as part of its text output. However, the sheer volume of text makes this hard to use in practice. In this paper, we are interested in extracting the cruxes that lead a model to recommend one action over another. We take a crux to be a sub-question that a model's rollouts disagree on, where changing its value may have altered the conclusion. A crux is therefore a property of the distribution of a model's rollouts, not of any one rollout. We consider three strategies of increasing computational cost. First, we just ask a model to identify, a priori, what the cruxes of a decision will be. Second, we have the model actually go through the process of generating a response and then extract the cruxes that arose in its reasoning. Finally, we generate many responses and extract the cruxes by comparing the reasoning across the rollouts. We make this last procedure computationally tractable with cheap calls to a reranker, an estimated 86 times less compute than a judge. We then conduct an extensive empirical evaluation to assess whether the computationally inexpensive options are sufficient. They are not. Across domains and models, we find that a model's a priori assessment of the cruxes has little relation to the factors that are actually identified as important a posteriori. Using a single rollout helps, but is still inadequate for identifying the full set of cruxes. Accordingly, for high-stakes decisions (and to understand the space of language model decision making) the many rollout procedure is unavoidable.
• Abstract（参考訳）: 言語モデルを使って決定を下すためには、言語モデルのアウトプットの背後にある根拠を理解したいと思っています。 原則として、言語モデルは、そのテキスト出力の一部として、その根拠を提供する。 しかし、本文の量が多いため、実際にの使用は困難である。 本稿では,モデルが他のモデルに対して推奨する行動を導くクラックを抽出することに興味がある。 我々は、モデルのロールアウトが相反するサブクエストとして、その価値を変えることで結論が変わった可能性がある。 したがって、くちばしはモデルのロールアウトの分布の性質であり、1つのロールアウトではない。 計算コストを増大させる3つの戦略を考察する。 まず、モデルに優先順位、決定の要点を判断するように頼みます。 第二に、モデルが実際に応答を生成するプロセスを通過して、その推論で生じたクルックスを抽出するのです。 最後に、多数の応答を生成し、ロールアウト間の推論を比較して、クルークスを抽出する。 我々は、この最後の処理を、裁判官の86倍の計算量であるリランカへの安価な呼び出しで計算可能とする。 次に、計算コストの低い選択肢が十分かどうかを評価するための広範な実験的な評価を行う。 彼らは違う。 ドメインやモデル全体にわたって、モデルのクルックスの事前評価は、実際に重要な後部として認識される要因とはほとんど関係がない。 単一のロールアウトを使用することは役に立ちますが、クラックの完全なセットを特定するには相変わらず不十分です。 したがって、ハイテイクな意思決定(および言語モデル決定の空間を理解するために)では、多くのロールアウト手順は避けられない。

関連論文リスト

• Large Decision Models: Repurposing Large Language Models as Single-Pass Decision Makers [11.47184779374245]
  本研究では,実行時に指定されたラベルよりも明確な確率を返すために,言語モデルを再購入する大規模決定モデルを提案する。 まず、DDS(Diverse Decision Supervision)を通じて、さまざまなドメイン、ルール、ラベルをカバーし、このインターフェースにモデルを適用する。 推論モデルに対するパフォーマンスギャップをさらに狭めるため、SPRD(Self-Posed Reasoning Distillation)では、凍結教師が生成したタスクを追加し、回答整合性をフィルタし、繰り返し教師の推論から得られたラベル分布をトレーニングする。
  論文  参考訳（メタデータ） (2026-10-11T10:04:59Z)
• Therefore I am. I Think [4.6150171317223805]
  我々は、早期に符号化された決定が推論モデルにおいてチェーン・オブ・シントを形成するという証拠を提示する。 単純な線形プローブは、ツールコール決定を、非常に高い信頼性で前世代のアクティベーションから復号することに成功した。 また、行動分析を通して、ステアリングが決定を変えると、チェーン・オブ・シント・プロセスはそれを抵抗するのではなく、しばしばフリップを合理化することを示した。
  論文  参考訳（メタデータ） (2026-04-01T17:46:23Z)
• Thought Branches: Interpreting LLM Reasoning Requires Resampling [10.978878422025232]
  一つのサンプルを研究することは因果的影響と基礎となる計算を理解するのに不十分であると主張する。 モデル決定のための再サンプリングを用いたケーススタディを提案する。
  論文  参考訳（メタデータ） (2025-10-31T14:02:37Z)
• The Price of a Second Thought: On the Evaluation of Reasoning Efficiency in Large Language Models [54.88805865447848]
  モデルが全体の効率を向上し,問題の難しさが効率に影響を及ぼすことを示す。 インストラクションモデルが簡単なアウトラインをドラフトし,思考モデルがそれを拡張する,シンプルな2段階パイプラインであるCOTHINKを提案する。 GSM8K、MATH500、AIME24では、COTHINKはトークンの使用量を21.1%削減し、4つの思考モデルの精度を維持し、強力な効率のベースラインと競争し続ける。
  論文  参考訳（メタデータ） (2025-05-28T06:24:45Z)
• Thought calibration: Efficient and confident test-time scaling [11.028893528095196]
  大きな言語モデルを推論することで、長いこと考えることで、素晴らしいテスト時間のスケーリングを実現しますが、このパフォーマンス向上は、かなりの計算コストを伴います。 思考終了時の動的決定を動的に行うための思考校正を提案する。 このフレームワークは,言語モデルに隠された表現をベースとした軽量なプローブによって実現されている。
  論文  参考訳（メタデータ） (2025-05-23T22:17:18Z)
• Distilling Reasoning Ability from Large Language Models with Adaptive Thinking [54.047761094420174]
  思考の微調整(cot-finetuning)の連鎖は、小さな言語モデル(SLM)を特定のタスクに対するパフォーマンス向上の推論能力で実現することを目的としている。 既存のコトファインタニング法の多くは事前に考えられたメカニズムを採用しており、SLMは答えを出す前に理性を生成することができる。 このメカニズムにより、SLMは複雑な質問を分析して考えることができるが、答えの正しさは論理的に小さな誤りに非常に敏感になる。 理性よりも先に回答を生成するための頑健な後思考機構を提案する。
  論文  参考訳（メタデータ） (2024-04-14T07:19:27Z)
• Evaluating the Rationale Understanding of Critical Reasoning in Logical Reading Comprehension [13.896697187967547]
  論理的読解データセットから、なぜ解答オプションを選択するか、あるいは排除すべきかを説明する、合理的テキストをクラウドソースします。 実験の結果、最近の大規模言語モデル(例えば、インストラクションGPT)は、たとえ主要な疑問に正しく答えられるとしても、要求に答えることに苦慮していることがわかった。
  論文  参考訳（メタデータ） (2023-11-30T08:44:55Z)
• What if you said that differently?: How Explanation Formats Affect Human Feedback Efficacy and User Perception [53.4840989321394]
  我々は,QAモデルが生成した有理性の効果を分析し,その答えを支持する。 ユーザに対して,様々な形式で誤った回答とそれに対応する有理性を提示する。 このフィードバックの有効性を,文脈内学習を通じて評価する。
  論文  参考訳（メタデータ） (2023-11-16T04:26:32Z)
• Discovering Latent Knowledge in Language Models Without Supervision [72.95136739040676]
  既存の言語モデルをトレーニングするテクニックは、真実と正しく一致していない可能性がある。 本稿では,言語モデルの内部アクティベーション内部の潜伏知識を,純粋に教師なしの方法で直接見つけることを提案する。 本手法は, 教師なし, モデル出力がないにもかかわらず, 大規模言語モデルで表される多様な知識を復元できることを示す。
  論文  参考訳（メタデータ） (2022-12-07T18:17:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。