論文の概要: Mitigating Query Shortcuts in Chain-of-Thought with Context-Aware Decoding

• arxiv url: http://arxiv.org/abs/2610.29518v1
• Date: Wed, 21 Oct 2026 10:05:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.309514
• Title: Mitigating Query Shortcuts in Chain-of-Thought with Context-Aware Decoding
• Title（参考訳）: コンテキスト認識デコーディングによるチェーンオブソートにおけるクエリショートカットの緩和
• Abstract要約: CoT(Chain-of-Thought)による大規模言語モデル(LLM)の推論性能の向上 本稿では,既存のコントラスト復号法である文脈認識復号法(CAD)が,CoT推論に適用した場合のショートカット動作を緩和できるかどうかを検討する。
• 参考スコア（独自算出の注目度）: 10.39457236934298
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While Chain-of-Thought (CoT) prompting improves the reasoning performance of large language models (LLMs), recent studies have shown that final answers do not always depend on the generated rationales. In particular, LLMs may rely on query-specific shortcuts rather than the information provided by their reasoning steps. In this paper, we investigate whether context-aware decoding (CAD), an existing contrastive decoding method, can mitigate such shortcut behavior when applied to CoT reasoning. We study this application as Rationale Contrastive Decoding (RCD), which contrasts the next-token distributions conditioned on the query with and without its rationale, amplifying tokens whose likelihood increases due to the rationale. We provide a theoretical interpretation of this decoding rule via a KL-regularized reward-maximization objective. Experiments across five reasoning benchmarks demonstrate that RCD improves answer accuracy over standard CoT. Furthermore, intervention analyses using ground-truth and random rationales reveal that RCD increases the behavioral dependence of final answers on the rationale content. Our findings suggest that contrastive decoding offers a simple, training-free approach to mitigating query shortcuts.
• Abstract（参考訳）: CoT(Chain-of-Thought)は大規模言語モデル(LLM)の推論性能を向上するが、最近の研究では、最終的な答えが生成した理性に依存するとは限らないことが示されている。 特にLLMは、推論ステップによって提供される情報よりも、クエリ固有のショートカットに依存している可能性がある。 本稿では,既存のコントラスト型復号法である文脈認識復号法(CAD)が,CoT推論に適用した場合のショートカット動作を緩和できるかどうかを検討する。 この応用をRationale Contrastive Decoding (RCD) として研究し、クエリ上で条件付けられた次トーケン分布と、その有理性と無理性との対比を行い、有理性による可能性が増大するトークンを増幅する。 我々は、この復号規則をKL正規化報酬最大化目的を通して理論的に解釈する。 5つの推論ベンチマークによる実験により、RCDは標準のCoTよりも解の精度が向上することが示された。 さらに, 基礎構造とランダムな有理量を用いた介入分析により, RCDは有理量に対する最終回答の行動依存性を増大させることが示された。 コントラストデコーディングは,クエリショートカットを緩和する簡単なトレーニング不要なアプローチを提供する。

関連論文リスト

• QReason: Query-Focused Decoupled Chain-of-Thought for Efficient Passage Reranking [14.066309229790564]
  パッセージリランクは情報検索において重要な役割を担い、関連性をよりよく反映するために候補経路の順序を精査する。 既存のリストワイズLLMリランカとChain-of-Thought(CoT)推論は複雑なクエリを効果的に処理できるが、スライディングウインドウ戦略によるかなりの冗長性と遅延に悩まされている。 QReasonは、クエリ中心の推論をウィンドウ固有のパス関連性評価から分離する、分離されたフレームワークである。
  論文  参考訳（メタデータ） (2026-09-25T07:13:09Z)
• WhisperRec: Latent Reasoning for Efficient Foundation Recommendation Models [51.88075626243057]
  基礎推薦モデル(FRM)のための効率的な潜在推論フレームワークであるWhisperRecを提案する。 WhisperRecは教師生成のChain-of-Thought(CoT)を学習可能な潜在推論トークンに圧縮する。 WhisperRecは明示的なCoT法と従来のベースラインを一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2026-07-29T08:48:35Z)
• Constraint-Rectified Training for Efficient Chain-of-Thought [60.52883907721588]
  CoT (Chain-of-Thought) は,Large Language Models (LLMs) の推論能力を大幅に向上させた。 より長い推論トレースは、自己訂正のような回答の品質とアンロック能力を改善することができるが、高い推論コストを発生させ、過度に考えることとして知られる冗長なステップをしばしば導入する。 近年の研究は、推論の長さと精度のバランスをとる効率的な推論戦略の開発を目指している。
  論文  参考訳（メタデータ） (2026-02-13T02:13:45Z)
• "Well, Keep Thinking": Enhancing LLM Reasoning with Adaptive Injection Decoding [4.008780119020479]
  大規模言語モデル(LLM)は強力な推論能力を示しており、多くの場合、ほとんどショットやゼロショットの連鎖(CoT)のプロンプトによるものである。 本稿では,LLMを体系的に推論を継続し,未熟な推論を防止できる新しい復号法を提案する。
  論文  参考訳（メタデータ） (2025-03-13T08:46:32Z)
• Break the Chain: Large Language Models Can be Shortcut Reasoners [18.047917626825548]
  CoT(Chain-of-Thought)推論は複雑なモジュールを利用するが、高いトークン消費、適用可能性の制限、思考上の課題によって妨げられる。 本稿では、複雑な論理的および常識的推論タスクを含む算術を超えて、CoTプロンプトの批判的評価を行う。 そこで我々は,「チェーンを破る」戦略を通じて,人型やショートカットを言語モデル(LM)に統合することを提案する。
  論文  参考訳（メタデータ） (2024-06-04T14:02:53Z)
• Chain-of-Thought Reasoning Without Prompting [40.92854235219315]
  CoT推論パスは、テキストデコーディングプロセスを変更するだけで、事前訓練された言語モデルから引き出すことができる。 復号経路におけるCoTの存在は、モデルの復号解に対する高い信頼と相関する。
  論文  参考訳（メタデータ） (2024-02-15T18:55:41Z)
• Large Language Models as an Indirect Reasoner: Contrapositive and Contradiction for Automated Reasoning [74.90592233107712]
  本稿では,直接推論 (DR) と間接推論 (IR) を並列な複数の推論経路として考慮し,最終解を導出する直接間接推論 (DIR) 手法を提案する。 我々のDIR法は単純だが有効であり、既存のCoT法と簡単に統合できる。
  論文  参考訳（メタデータ） (2024-02-06T03:41:12Z)
• Rationale-Augmented Ensembles in Language Models [53.45015291520658]
  我々は、数発のテキスト内学習のための合理化促進策を再考する。 我々は、出力空間における合理的サンプリングを、性能を確実に向上させるキーコンポーネントとして特定する。 有理拡張アンサンブルは既存のプロンプト手法よりも正確で解釈可能な結果が得られることを示す。
  論文  参考訳（メタデータ） (2022-07-02T06:20:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。