論文の概要: Many-Shot CoT-ICL: Making In-Context Learning Truly Learn

• arxiv url: http://arxiv.org/abs/2605.13511v1
• Date: Wed, 13 May 2026 13:30:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-14 23:30:28.07292
• Title: Many-Shot CoT-ICL: Making In-Context Learning Truly Learn
• Title（参考訳）: Many-Shot CoT-ICL: インテクスト学習を真に学習する
• Authors: Tsz Ting Chung, Lemao Liu, Mo Yu, Dit-Yan Yeung,
• Abstract要約: In-context Learning (ICL)は、パラメータを更新せずにプロンプト内のデモを条件にすることで、大きな言語モデルを新しいタスクに適応させる。 提案手法は,標準のマルチショット・ルールが転送されないことを示すために,マルチショット・チェーン・オブ・コンテクスト・ラーニング(CoT-ICL)について検討する。
• 参考スコア（独自算出の注目度）: 58.439517684779936
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In-context learning (ICL) adapts large language models (LLMs) to new tasks by conditioning on demonstrations in the prompt without parameter updates. With long-context models, many-shot ICL can use dozens to hundreds of examples and achieve performance comparable to fine-tuning, yet current understanding of its scaling behavior is largely derived from non-reasoning tasks. We study many-shot chain-of-thought in-context learning (CoT-ICL) for reasoning and show that standard many-shot rules do not transfer. Across non-reasoning and reasoning-oriented LLMs and across non-reasoning and reasoning tasks, we find: (i) a setting-dependent scaling effect, where increasing the number of CoT demonstrations is unstable for non-reasoning LLMs and benefits mainly reasoning-oriented LLMs; (ii) similarity-based retrieval helps on non-reasoning tasks but fails on reasoning, since semantic similarity poorly predicts procedural (i.e., CoT) compatibility; and (iii) an order-scaling effect, where performance variance grows with more CoT demonstrations. We interpret these behaviors by viewing many-shot CoT-ICL as in-context test-time learning rather than scaled pattern matching, and suggests two principles: (i) demonstrations should be easy for the target model to understand, and (ii) they should be ordered to support a smooth conceptual progression. Guided by the principle, we propose Curvilinear Demonstration Selection (CDS), a simple ordering method that yields up to a 5.42 percentage-point gain on geometry with 64 demonstrations. Overall, our results reframe the long context window from a retrieval buffer into a structured curriculum for in-context test-time learning.
• Abstract（参考訳）: インコンテキスト学習(ICL)は、パラメータ更新なしでプロンプト内のデモを条件にすることで、大きな言語モデル(LLM)を新しいタスクに適応させる。 長いコンテキストモデルでは、多数のショットICLは数十から数百のサンプルを使用し、微調整に匹敵するパフォーマンスを達成することができるが、現在のスケーリング動作の理解は、主に非合理的なタスクから派生している。 提案手法は,標準のマルチショット・ルールが転送されないことを示すために,マルチショット・チェーン・オブ・コンテクスト・ラーニング(CoT-ICL)について検討する。 非理性、理性指向のLLM、非理性、理性指向のタスクにまたがって、以下のことが分かる。 (i)非推論型LCMにはCoTデモの増加が不安定であり、主に推論型LCMのメリットが期待できる設定依存スケーリング効果。 (ii)類似性に基づく検索は、非推論タスクに役立つが、意味的類似性は手続き的(CoT)互換性を予測できないため、推論に失敗する。 (iii)CoTのデモを多く行うと、パフォーマンスのばらつきが増大する秩序スケーリング効果。 パターンマッチングをスケールするのではなく,コンテキスト内テストタイム学習として多発的なCoT-ICLを解釈することで,これらの振る舞いを解釈し,2つの原則を提案する。 (i)デモは、ターゲットモデルが理解しやすく、かつ、 (二)円滑な概念的進歩を支援するように命じるべきである。 この原理で導かれたCurvilinear Demonstration Selection (CDS) は、64個の実演で最大5.42ポイントのゲインを得られる単純な順序付け法である。 その結果,検索バッファの長いコンテキストウィンドウを,コンテキスト内テスト時間学習のための構造化カリキュラムに再構成した。

関連論文リスト

• Parallel In-context Learning for Large Vision Language Models [17.034369186373162]
  大規模視覚言語モデル(LVLM)は、実演例を活用することで、新しいタスクに適応するためにマルチモーダル・インコンテキスト・ラーニング(MM-ICL)を用いる。 プラグアンドプレイ推論アルゴリズムであるParallel In-Context Learning(Parallel-ICL)を提案する。 そこで本研究では,Parallel-ICLがフルコンテキストMM-ICLに匹敵する性能を実現し,推論速度を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2026-03-17T03:28:36Z)
• Beyond the Prompt in Large Language Models: Comprehension, In-Context Learning, and Chain-of-Thought [15.598263332303612]
  大規模言語モデル(LLM)は、様々なタスクにまたがる卓越した習熟度を示した。 本研究は,3つの重要な疑問に対処することによって,これらの観測の基礎を掘り下げる。
  論文  参考訳（メタデータ） (2026-02-16T10:57:26Z)
• UniT: Unified Multimodal Chain-of-Thought Test-time Scaling [85.590774707406]
  統一モデルは単一のアーキテクチャ内でマルチモーダル理解と生成の両方を扱うことができるが、通常は出力を反復的に書き換えることなく単一のパスで操作する。 マルチモーダルなテストタイムスケーリングのためのフレームワークであるUniTを導入し、単一の統一モデルで複数のラウンドをまたいだ推論、検証、精査を可能にします。
  論文  参考訳（メタデータ） (2026-02-12T18:59:49Z)
• ParaICL: Towards Parallel In-Context Learning [74.38022919598443]
  大規模言語モデル(LLM)が自然言語処理の標準となっている。 インコンテキスト・ラーニング(ICL)は、いくつかの実演例の選択に依存している。 パラレルインコンテキスト学習(ParaICL)という新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-03-31T05:56:15Z)
• TEGEE: Task dEfinition Guided Expert Ensembling for Generalizable and Few-shot Learning [37.09785060896196]
  タスク定義を明示的に抽出する textbfTEGEE (Task Definition Guided Expert Ensembling) を提案する。 私たちのフレームワークは2つの3Bモデルアプローチを採用しています。 実験により, TEGEEはより大きなLLaMA2-13Bモデルと相容れない性能を示した。
  論文  参考訳（メタデータ） (2024-03-07T05:26:41Z)
• Scaling In-Context Demonstrations with Structured Attention [75.41845145597875]
  我々は、文脈内学習のためのより優れたアーキテクチャ設計を提案する。 In-Context Learningのための構造化アテンションは、構造化アテンションメカニズムによって完全なアテンションを置き換える。 SAICLは、最大3.4倍の推論速度で、フルアテンションよりも同等または優れた性能を実現していることを示す。
  論文  参考訳（メタデータ） (2023-07-05T23:26:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。