論文の概要: Unspoken Hints: Accuracy Without Acknowledgement in LLM Reasoning

• arxiv url: http://arxiv.org/abs/2509.26041v1
• Date: Tue, 30 Sep 2025 10:16:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-01 14:45:00.096604
• Title: Unspoken Hints: Accuracy Without Acknowledgement in LLM Reasoning
• Title（参考訳）: 未知のヒント: LLM推論における知識の欠如による正確性
• Authors: Arash Marioriyad, Shaygan Adim, Nima Alighardashi, Mahdieh Soleymani Banghshah, Mohammad Hossein Rohban,
• Abstract要約: 制御されたヒント操作下でのチェーン・オブ・シント(CoT)忠実度について系統的研究を行った。 正確なヒントは、特に厳しいベンチマークや論理的推論において、精度を大幅に向上します。 ヒントの認識は非常に不均一で、方程式に基づくヒントは頻繁に参照されるが、生のヒントは静かに採用されることが多い。
• 参考スコア（独自算出の注目度）: 6.251114048846724
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Large language models (LLMs) increasingly rely on chain-of-thought (CoT) prompting to solve mathematical and logical reasoning tasks. Yet, a central question remains: to what extent are these generated rationales \emph{faithful} to the underlying computations, rather than post-hoc narratives shaped by hints that function as answer shortcuts embedded in the prompt? Following prior work on hinted vs.\ unhinted prompting, we present a systematic study of CoT faithfulness under controlled hint manipulations. Our experimental design spans four datasets (AIME, GSM-Hard, MATH-500, UniADILR), two state-of-the-art models (GPT-4o and Gemini-2-Flash), and a structured set of hint conditions varying in correctness (correct and incorrect), presentation style (sycophancy and data leak), and complexity (raw answers, two-operator expressions, four-operator expressions). We evaluate both task accuracy and whether hints are explicitly acknowledged in the reasoning. Our results reveal three key findings. First, correct hints substantially improve accuracy, especially on harder benchmarks and logical reasoning, while incorrect hints sharply reduce accuracy in tasks with lower baseline competence. Second, acknowledgement of hints is highly uneven: equation-based hints are frequently referenced, whereas raw hints are often adopted silently, indicating that more complex hints push models toward verbalizing their reliance in the reasoning process. Third, presentation style matters: sycophancy prompts encourage overt acknowledgement, while leak-style prompts increase accuracy but promote hidden reliance. This may reflect RLHF-related effects, as sycophancy exploits the human-pleasing side and data leak triggers the self-censoring side. Together, these results demonstrate that LLM reasoning is systematically shaped by shortcuts in ways that obscure faithfulness.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、数学的および論理的推論タスクを解くために、次第にチェーン・オブ・シント(CoT)に依存している。 しかし、中心的な疑問は残る: これらの生成された理性は、プロンプトに埋め込まれた答えのショートカットとして機能するヒントによって形作られたポストホックな物語ではなく、根底にある計算に対してどの程度の程度まで「emph{faithful}」なのだろうか? hinted vs. に関する先行研究の後、 そこで我々は,制御されたヒント操作下でのCoT忠実度について系統的研究を行った。 実験的な設計は、4つのデータセット(AIME, GSM-Hard, MATH-500, UniADILR)、2つの最先端モデル(GPT-4o, Gemini-2-Flash)と、正当性(正確で正しくない)、プレゼンテーションスタイル(語彙とデータリーク)、複雑さ(生の回答、2つの演算式、4つの演算式)からなる。 我々は,タスク精度とヒントが推論において明示的に認識されるか否かを評価する。 以上の結果から3つの重要な知見が得られた。 第一に、正しいヒントは特に厳しいベンチマークや論理的推論において精度を大幅に向上する一方、間違ったヒントはベースライン能力の低いタスクの精度を著しく低下させる。 第二に、ヒントの認識は極めて不均一であり、方程式に基づくヒントは頻繁に参照されるが、生のヒントは静かに採用されることが多い。 第3に、プレゼンテーションスタイルが重要である: サイコファシーは過剰な認識を促すが、リークスタイルは正確性を高めるが、隠された依存を促進する。 これはRLHFに関連する効果を反映しているかもしれない。 これらの結果は,LLM推論が,不明瞭な忠実さの方法で,ショートカットによって体系的に形成されていることを示す。

関連論文リスト

• Thinking Before You Speak: A Proactive Test-time Scaling Approach [54.8205006555199]
  emphThinking Before You Speak (TBYS)という名前の推論フレームワークとして、私たちのアイデアを実装しています。 インテリジェンス生成のためのコンテキスト内サンプルを自動的に収集・フィルタリングするパイプラインを設計する。 挑戦的な数学的データセットの実験は、TBYSの有効性を検証する。
  論文  参考訳（メタデータ） (2025-08-26T03:43:32Z)
• Answer Convergence as a Signal for Early Stopping in Reasoning [7.51755942515969]
  大型言語モデル(LLM)における思考の連鎖(CoT)の促進 提案手法は,(1)応答整合性による早期停止,(2)終末信号発生確率の向上,(3)内部アクティベーションに基づいていつ停止するかを学習する教師付き手法である。
  論文  参考訳（メタデータ） (2025-06-03T07:20:54Z)
• CoThink: Token-Efficient Reasoning via Instruct Models Guiding Reasoning Models [56.40065909544213]
  大規模言語モデル(LLM)は、テスト時間スケーリングとして知られる、テスト時間計算の増加の恩恵を受ける。 しかし、推論最適化モデルはしばしば単純な問題さえ考え過ぎ、過度に冗長な出力を生成し、トークン効率を低下させる。 1)強化学習は前方推論の情報密度を減少させ,(2)後方連鎖学習は冗長でしばしば不要な検証ステップを促進する。
  論文  参考訳（メタデータ） (2025-05-28T06:24:45Z)
• Unveiling Reasoning Thresholds in Language Models: Scaling, Fine-Tuning, and Interpretability through Attention Maps [3.8936716676293917]
  本研究では,異なるモデルサイズと訓練データを持つデコーダのみの変換言語モデルのコンテキスト内学習能力について検討する。 我々は,複数の質問応答におけるコモンセンス推論や帰納的推論といったタスクにおいて,推論性能が著しく向上する重要なパラメータしきい値(160億)を同定する。
  論文  参考訳（メタデータ） (2025-02-21T00:48:32Z)
• LINC: A Neurosymbolic Approach for Logical Reasoning by Combining Language Models with First-Order Logic Provers [60.009969929857704]
  論理的推論は、科学、数学、社会に潜在的影響を与える可能性のある人工知能にとって重要なタスクである。 本研究では、LINCと呼ばれるモジュール型ニューロシンボリックプログラミングのようなタスクを再構成する。 我々は,FOLIOとProofWriterのバランスの取れたサブセットに対して,ほぼすべての実験条件下で,3つの異なるモデルに対して顕著な性能向上を観察した。
  論文  参考訳（メタデータ） (2023-10-23T17:58:40Z)
• Boosting Language Models Reasoning with Chain-of-Knowledge Prompting [18.326858925174605]
  CoK(Chain-of-Knowledge)は、構造三重の形で明確な知識証拠を引き出すことを目的としている。 さらに, 推論チェーンの信頼性を推定するF2-Verification法を導入する。 広汎な実験により,本手法はコモンセンス,事実,記号,算術的推論タスクの性能をさらに向上させることができることが示された。
  論文  参考訳（メタデータ） (2023-06-10T12:42:36Z)
• The Unreliability of Explanations in Few-Shot In-Context Learning [50.77996380021221]
  我々は、テキスト上の推論、すなわち質問応答と自然言語推論を含む2つのNLPタスクに焦点を当てる。 入力と論理的に整合した説明は、通常より正確な予測を示す。 本稿では,説明の信頼性に基づいてモデル予測を校正する枠組みを提案する。
  論文  参考訳（メタデータ） (2022-05-06T17:57:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。