論文の概要: Not the Example, but the Process: How Self-Generated Examples Enhance LLM Reasoning

• arxiv url: http://arxiv.org/abs/2602.15863v1
• Date: Mon, 26 Jan 2026 10:28:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-23 12:01:13.667664
• Title: Not the Example, but the Process: How Self-Generated Examples Enhance LLM Reasoning
• Title（参考訳）: 例ではなく,プロセス - LLM推論の自己生成例の強化方法
• Authors: Daehoon Gwak, Minseo Jung, Junwoo Park, Minho Park, ChaeHun Park, Junha Hyung, Jaegul Choo,
• Abstract要約: 重要なメリットは、生成された例自体からではなく、それらを生成する行為から生まれるものだ、と私たちは主張する。 本研究では, ゼロショットプロンプト, 統合プロンプト, 分離プロンプトという, 文脈内学習のための3つのプロンプト戦略を評価する。 我々は、自己生成の利点は、実例ではなく、問題生成の過程にあると結論付けている。
• 参考スコア（独自算出の注目度）: 44.55861996331439
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent studies have shown that Large Language Models (LLMs) can improve their reasoning performance through self-generated few-shot examples, achieving results comparable to manually curated in-context examples. However, the underlying mechanism behind these gains remains unclear, making it hard to decide when and how to apply the technique effectively. In this work, we argue that the key benefit arises not from the generated examples themselves but from the act of creating them. To validate this, on reasoning-intensive tasks across diverse LLM architectures, we systematically evaluate three prompting strategies for in-context learning: (1) Zero-shot prompting; (2) Integrated prompting, where LLMs create and solve problems within a single, unified prompt; and (3) Decoupled prompting, where self-generated examples are reused as in-context examples, but the context of their creation itself is excluded. We conduct experiments across five widely used model architectures, demonstrating that Integrated prompting consistently outperforms both Zero-shot and Decoupled prompting. In contrast, Decoupled prompting offers only marginal gains over Zero-shot. Further, for a more in-depth analysis, we conduct an attention analysis and observe significant differences in attention patterns between Integrated and Decoupled prompting. These findings suggest that the advantage of self-generation prompting comes from the process of problem creation, not the examples themselves, providing valuable insights for designing more effective prompting strategies.
• Abstract（参考訳）: 近年の研究では、Large Language Models (LLM) は、自己生成された数ショットの例を通して推論性能を向上し、手作業によるインコンテキストの例に匹敵する結果が得られることが示されている。 しかし、これらの利得の根底にあるメカニズムはいまだ不明であり、いつ、どのようにこの手法を効果的に適用するかを決定することは困難である。 本稿では、生成した例自体からではなく、生成する行為から重要なメリットが生まれる、と論じる。 これを検証するため,多種多様なLLMアーキテクチャにおける推論集約的な課題について,(1)ゼロショットプロンプト,(2)統合プロンプト,(3)自己生成例をインコンテキストの例として再利用するデカップリングプロンプトという3つのインコンテキスト学習戦略を体系的に評価した。 広範に使われている5つのモデルアーキテクチャの実験を行い、統合的プロンプトはゼロショットとデカップリングの両方のプロンプトを一貫して上回っていることを示した。 対照的に、Decoupledのプロンプトはゼロショットよりも限界利得しか提供しない。 さらに、より詳細な分析を行うために、注意分析を行い、統合的および分離的プロンプトの注意パターンの顕著な差異を観察する。 これらの結果から, 自己生成促進の利点は, 実例ではなく, 問題生成の過程に起因し, より効果的な促進戦略を設計するための貴重な洞察をもたらすことが示唆された。

関連論文リスト

• From Harm to Help: Turning Reasoning In-Context Demos into Assets for Reasoning LMs [58.02809208460186]
  デモとしてDeepSeek-R1の高品質なトレースを使って、このパラドックスを再検討する。 デモが最適であっても、より多くの例を加えることで、常に精度が低下することがわかった。 デモを明示的で再利用可能な洞察に変換するシーケンシャルなテストタイム手順であるInsight-to-solve(I2S)を紹介します。
  論文  参考訳（メタデータ） (2025-09-27T08:59:31Z)
• Light-IF: Endowing LLMs with Generalizable Reasoning via Preview and Self-Checking for Complex Instruction Following [10.119219532863767]
  思考段階の怠慢な推論は 指示の順守に 寄与する主要な要因だ 本稿では,プレビューと自己チェックを含む厳密な推論プロセスを実現するための包括的フレームワークを提案する。 私たちのLight-IF-32Bモデルは、DeepSeek-R1のような大規模なオープンソースモデルと、Doubao-1.6のようなクローズドソースモデルの両方を上回っています。
  論文  参考訳（メタデータ） (2025-08-05T07:42:00Z)
• When Thinking Fails: The Pitfalls of Reasoning for Instruction-Following in LLMs [19.354141845315276]
  連鎖推論は命令追従精度を著しく低下させる。 これは、推論によって引き起こされる命令追従の失敗を体系的に公開する最初の作業である。
  論文  参考訳（メタデータ） (2025-05-16T16:36:00Z)
• What Makes In-context Learning Effective for Mathematical Reasoning: A Theoretical Analysis [81.15503859645149]
  本稿では,大規模言語モデルの推論性能に及ぼす文脈内実演の影響を理論的に解析することを目的とする。 本稿では, LMS3 という, 単純で一般化可能な, 低複雑さな実演選択法を提案する。
  論文  参考訳（メタデータ） (2024-12-11T11:38:11Z)
• Relevant or Random: Can LLMs Truly Perform Analogical Reasoning? [44.158548608820624]
  自己生成例は,特定のタスクにおいて同等あるいはさらに優れたパフォーマンスが得られることを示す。 自己生成例の精度が重要な要素であることに気付き、その後2つの新しい手法を設計する。
  論文  参考訳（メタデータ） (2024-04-19T09:15:07Z)
• RetICL: Sequential Retrieval of In-Context Examples with Reinforcement Learning [53.52699766206808]
  In-Context Learning (RetICL) のための検索式を提案する。 RetICLは数学用語の問題解決と科学的質問応答のタスクに基づいて評価し,一貫した性能や一致,学習可能なベースラインを示す。
  論文  参考訳（メタデータ） (2023-05-23T20:15:56Z)
• Paired Examples as Indirect Supervision in Latent Decision Models [109.76417071249945]
  我々は、ペア化された例を活用して、潜在的な決定を学習するためのより強力な手がかりを提供する方法を紹介します。 DROPデータセット上のニューラルネットワークを用いた合成質問応答の改善に本手法を適用した。
  論文  参考訳（メタデータ） (2021-04-05T03:58:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。