論文の概要: Rethinking the Chain-of-Thought: The Roles of In-Context Learning and Pre-trained Priors

• arxiv url: http://arxiv.org/abs/2509.01236v1
• Date: Mon, 01 Sep 2025 08:24:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-04 15:17:03.596807
• Title: Rethinking the Chain-of-Thought: The Roles of In-Context Learning and Pre-trained Priors
• Title（参考訳）: 思考の連鎖を再考する: 文脈学習と事前学習の役割
• Authors: Hao Yang, Zhiyu Yang, Yunjie Zhang, Shanyi Zhu, Lin Yang,
• Abstract要約: Chain-of-Thought推論は、モデル推論能力を向上するための重要な方法論として登場した。 本稿では、文脈内学習と事前学習との二重関係の観点から、思考の連鎖的推論の動作メカニズムを考察する。
• 参考スコア（独自算出の注目度）: 11.658759174514222
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Chain-of-Thought reasoning has emerged as a pivotal methodology for enhancing model inference capabilities. Despite growing interest in Chain-of-Thought reasoning, its underlying mechanisms remain unclear. This paper explores the working mechanisms of Chain-of-Thought reasoning from the perspective of the dual relationship between in-context learning and pretrained priors. We first conduct a fine-grained lexical-level analysis of rationales to examine the model's reasoning behavior. Then, by incrementally introducing noisy exemplars, we examine how the model balances pretrained priors against erroneous in-context information. Finally, we investigate whether prompt engineering can induce slow thinking in large language models. Our extensive experiments reveal three key findings: (1) The model not only quickly learns the reasoning structure at the lexical level but also grasps deeper logical reasoning patterns, yet it heavily relies on pretrained priors. (2) Providing sufficient exemplars shifts the model's decision-making from pretrained priors to in-context signals, while misleading prompts introduce instability. (3) Long Chain-of-Thought prompting can induce the model to generate longer reasoning chains, thereby improving its performance on downstream tasks.
• Abstract（参考訳）: Chain-of-Thought推論は、モデル推論能力を向上するための重要な方法論として登場した。 因果関係の推論への関心が高まっているにもかかわらず、その根底にあるメカニズムはいまだ不明である。 本稿では、文脈内学習と事前学習との二重関係の観点から、思考の連鎖的推論の動作メカニズムを考察する。 まず、モデルの推論の振る舞いを調べるために、論理学の詳細な語彙レベル解析を行う。 そして, 雑音を漸進的に導入することにより, 事前学習と誤コンテキスト情報とのバランスについて検討する。 最後に、大規模言語モデルにおいて、迅速なエンジニアリングが遅い思考を誘発するかどうかを検討する。 1) モデルは語彙レベルで推論構造を素早く学習するだけでなく, より深い論理的推論パターンも把握するが, 事前学習に大きく依存する。 2)事前訓練された事前の判断を文脈内信号にシフトさせるのに対して,誤解を招くと不安定が生じる。 (3)ロング・チェーン・オブ・ソート(Long Chain-of-Thought)のプロンプトにより、より長い推論チェーンが生成され、下流タスクのパフォーマンスが向上する。

関連論文リスト

• Lost at the Beginning of Reasoning [82.18834329384514]
  第1の推論ステップが最終予測に不当に大きな影響を与えることを示す。 本稿では、報酬モデルを利用して高品質な第1推論ステップを特定し、維持する効率的なサンプリング戦略を提案する。 モデル自己補正能力を体系的に評価するために、意図的に欠陥のある第1の推論ステップで構築された新しいベンチマークを導入する。
  論文  参考訳（メタデータ） (2025-06-27T09:53:57Z)
• A Closer Look at Bias and Chain-of-Thought Faithfulness of Large (Vision) Language Models [53.18562650350898]
  思考の連鎖(CoT)推論は、大きな言語モデルの性能を高める。 大規模視覚言語モデルにおけるCoT忠実度に関する最初の総合的研究について述べる。
  論文  参考訳（メタデータ） (2025-05-29T18:55:05Z)
• Stop Overthinking: A Survey on Efficient Reasoning for Large Language Models [49.61246073215651]
  大規模言語モデル(LLM)は複雑なタスクにおいて顕著な機能を示した。 OpenAI o1とDeepSeek-R1の最近の進歩は、System-2推論ドメインのパフォーマンスをさらに改善した。 しかし、冗長な出力と冗長な出力による計算オーバーヘッドも大幅に発生する。
  論文  参考訳（メタデータ） (2025-03-20T17:59:38Z)
• A Systematic Analysis of Large Language Models as Soft Reasoners: The Case of Syllogistic Inferences [5.141416267381492]
  我々は、論理学と認知心理学において広範囲に研究されている誘因的推論の領域であるシロメトリクス推論の事例を考察する。 思考の連鎖的推論,文脈内学習,教師付き微調整がシロメトリクス的推論に及ぼす影響について検討した。 以上の結果から,事前学習したLSMの行動は認知科学によって説明できる可能性が示唆された。
  論文  参考訳（メタデータ） (2024-06-17T08:59:04Z)
• Contrastive Chain-of-Thought Prompting [74.10511560147293]
  本稿では,言語モデル推論を強化するために,思考の対照的な連鎖を提案する。 従来の思考の連鎖と比較して,本手法は妥当かつ無効な推論実証を提供する。 推論ベンチマーク実験により、思考の対照的な連鎖は、思考の連鎖の促進に役立てることができることを示した。
  論文  参考訳（メタデータ） (2023-11-15T18:54:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。