論文の概要: Beyond the Prompt in Large Language Models: Comprehension, In-Context Learning, and Chain-of-Thought

• arxiv url: http://arxiv.org/abs/2603.10000v2
• Date: Thu, 12 Mar 2026 05:08:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-15 16:38:22.548724
• Title: Beyond the Prompt in Large Language Models: Comprehension, In-Context Learning, and Chain-of-Thought
• Title（参考訳）: 大規模言語モデルにおけるプロンプトを超えて:理解、文脈内学習、思考の連鎖
• Authors: Yuling Jiao, Yanming Lai, Huazhen Lin, Wensen Ma, Houduo Qi, Defeng Sun,
• Abstract要約: 大規模言語モデル(LLM)は、様々なタスクにまたがる卓越した習熟度を示した。 本研究は,3つの重要な疑問に対処することによって,これらの観測の基礎を掘り下げる。
• 参考スコア（独自算出の注目度）: 15.598263332303612
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) have demonstrated remarkable proficiency across diverse tasks, exhibiting emergent properties such as semantic prompt comprehension, In-Context Learning (ICL), and Chain-of-Thought (CoT) reasoning. Despite their empirical success, the theoretical mechanisms driving these phenomena remain poorly understood. This study dives into the foundations of these observations by addressing three critical questions: (1) How do LLMs accurately decode prompt semantics despite being trained solely on a next-token prediction objective? (2) Through what mechanism does ICL facilitate performance gains without explicit parameter updates? and (3) Why do intermediate reasoning steps in CoT prompting effectively unlock capabilities for complex, multi-step problems? Our results demonstrate that, through the autoregressive process, LLMs are capable of exactly inferring the transition probabilities between tokens across distinct tasks using provided prompts. We show that ICL enhances performance by reducing prompt ambiguity and facilitating posterior concentration on the intended task. Furthermore, we find that CoT prompting activates the model's capacity for task decomposition, breaking complex problems into a sequence of simpler sub-tasks that the model has mastered during the pretraining phase. By comparing their individual error bounds, we provide novel theoretical insights into the statistical superiority of advanced prompt engineering techniques.
• Abstract（参考訳）: 大規模言語モデル(LLM)は多種多様なタスクにまたがる卓越した習熟度を示し、セマンティック・プロンプト理解、ICL(In-Context Learning)、CoT(Chain-of-Thought)推論などの創発的な特性を示す。 実験的な成功にもかかわらず、これらの現象を駆動する理論的なメカニズムはいまだに理解されていない。 本研究は,次の3つの重要な疑問に対処することにより,これらの観測の基礎を掘り下げる。(1)次の予測目的のみにのみ訓練されているにもかかわらず,LLMがプロンプトセマンティクスを正確にデコードするにはどうすればよいか? 2) ICLは明示的なパラメータ更新なしに、パフォーマンス向上を促進するメカニズムはどのようなものか? そして、なぜCoTの中間的推論ステップは、複雑なマルチステップ問題に対して効果的にアンロックするのでしょうか? その結果, LLMは自己回帰過程を通じて, 与えられたプロンプトを用いて, 異なるタスク間でのトークン間の遷移確率を正確に推定できることを示した。 ICLは,迅速なあいまいさを低減し,意図したタスクへの後部集中を促進させることにより,性能の向上を図っている。 さらに,CoTのプロンプトによりタスク分解のキャパシティが活性化され,複雑な問題を事前学習期間中にモデルがマスターした単純なサブタスクのシーケンスに分割する。 個々の誤差境界を比較することにより、先進的な急進的工学技術の統計的優越性に関する新しい理論的知見を提供する。

関連論文リスト

• Understanding Chain-of-Thought in LLMs through Information Theory [16.78730663293352]
  我々は,情報理論レンズを用いて,大規模言語モデル(LLM)におけるChain-of-Thought(CoT)推論を定式化する。 具体的には、各推論ステップにおける「情報ゲイン」を定量化し、障害モードの識別を可能にする。 我々は,おもちゃの算術, GSM8K, PRM800kデータセットに関する広範な実験を通じて,本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2024-11-18T19:14:36Z)
• Igniting Language Intelligence: The Hitchhiker's Guide From Chain-of-Thought Reasoning to Language Agents [80.5213198675411]
  大規模言語モデル(LLM)は言語知能の分野を劇的に拡張した。 LLMは興味をそそるチェーン・オブ・シークレット(CoT)推論技術を活用し、答えを導き出す途中の中間ステップを定式化しなければならない。 最近の研究は、自律言語エージェントの開発を促進するためにCoT推論手法を拡張している。
  論文  参考訳（メタデータ） (2023-11-20T14:30:55Z)
• Enhancing Chain-of-Thoughts Prompting with Iterative Bootstrapping in Large Language Models [81.01397924280612]
  大規模言語モデル (LLM) は、ステップ・バイ・ステップ・チェーン・オブ・シークレット (CoT) をデモンストレーションとして組み込むことで、様々な推論タスクにおいて高い効果的な性能を達成することができる。 本稿では,イターCoT (Iterative bootstrapping in Chain-of-Thoughts Prompting) を導入する。
  論文  参考訳（メタデータ） (2023-04-23T13:54:39Z)
• Towards Understanding Chain-of-Thought Prompting: An Empirical Study of What Matters [82.84696222087396]
  CoT(Chain-of-Thought)の促進により,大規模言語モデル(LLM)の多段階推論能力が劇的に向上する 無効な実演でもCoT推論が可能であることを示す。
  論文  参考訳（メタデータ） (2022-12-20T05:20:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。