論文の概要: From Copying to Composition: How Language Models Develop In-Context Learning

• arxiv url: http://arxiv.org/abs/2610.19113v1
• Date: Tue, 13 Oct 2026 19:49:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.776184
• Title: From Copying to Composition: How Language Models Develop In-Context Learning
• Title（参考訳）: コピーから構成へ:言語モデルがどのように文脈学習を開発するか
• Abstract要約: In-context Learning (ICL) は、言語モデルが指示や実演から行動に即興で適応することを可能にする。 本研究はICLの取得と訓練性について,近辺のデモのコピーをプロンプト間の情報統合から分離した制御診断を用いて検討する。
• 参考スコア（独自算出の注目度）: 3.420865969867313
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In-context learning (ICL) allows language models to adapt their behavior from instructions and demonstrations in a prompt, but accuracy alone does not reveal how contextual information controls their predictions. We study the acquisition and trainability of ICL with a controlled diagnostic that separates copying a nearby demonstration from integrating information across the prompt. Across 17 models, about a third prefer the copied answer, a few are undecided, and the rest prefer the rule-consistent answer, which goes with higher accuracy and with control by the requested value rather than the closest conflicting example. Checkpoint analyses show that models begin prioritizing task-relevant prompt tokens over conflicting examples long before their accuracy improves beyond chance level. In matched training experiments, synthetic documents that define endings and then query them shift models toward compositional responses on the controlled diagnostic, whereas fine-tuning on definition exercises built from rewritten real documents improves accuracy when prompts reassign label meanings. The results suggest that ICL is not acquired as a single, uniform capability. Instead, prompt control, answer preference, construction without candidates, and transfer can develop along distinct trajectories.
• Abstract（参考訳）: In-context Learning (ICL) では、言語モデルが指示や実演から即座に行動に適応することができるが、精度だけでは、文脈情報がどのように予測を制御するかは明らかになっていない。 本研究はICLの取得と訓練性について,近辺のデモのコピーをプロンプト間の情報統合から分離した制御診断を用いて検討する。 約3分の1のモデルでは、コピーされた回答が好まれるが、いくつかは未決定であり、残りはルール一貫性の解が好まれる。 チェックポイント分析は、モデルが確率レベルを超えて精度が向上するずっと前に、競合する例に対してタスク関連プロンプトトークンの優先順位付けを開始することを示している。 一致した訓練実験では、終端を定義する合成文書は、制御された診断における合成応答に向けてモデルをシフトさせ、一方、書き換えされた実文書から構築された定義演習の微調整は、ラベルの意味を再割り当てする際の精度を向上させる。 結果は、ICLは単一の均一な機能として取得されていないことを示唆している。 代わりに、素早い制御、答えの選好、候補のない構成、移動は異なる軌道に沿って発達することができる。

関連論文リスト

• Not All Drift Is a Mechanism: Tracing Prompt Adaptation in LLMs [64.58179426472948]
  本研究では,個別のプロンプト最適化,プロンプトチューニング,プレフィックスチューニングが,高密度言語モデルと混合言語モデルの処理をどう変えるかを検討する。 分析の結果,適応位置はタスク情報がどのように出力に伝達されるかを予測する。
  論文  参考訳（メタデータ） (2026-10-13T13:52:52Z)
• What Should Data Teach? Moving Bottlenecks Across Circuit, Store, and Use [18.3334052811574]
  サーキットビューでは、計算の作成、必要なコンテンツの提供、利用可能なルートの選択という、3つの異なるボトルネックが明らかにされている。 350Mモデルの連続実験は、3つの介入を同じ事実に結びつける。
  論文  参考訳（メタデータ） (2026-09-26T22:40:36Z)
• LLM Reasoning Predicts When Models Are Right: Evidence from Coding Classroom Discourse [0.18268488712787334]
  大規模言語モデル(LLM)は、大規模に教育対話を自動的にラベル付けし分析するために、ますます多くデプロイされている。 本研究では,LLMが生成した推論がモデル自身の予測の正確性を予測するのに有効かどうかを検討する。 授業の対話から30,300人の教師の発話を分析し,複数の最先端LPMでラベル付けし,指導的移動構造とそれに伴う推論を行った。
  論文  参考訳（メタデータ） (2026-02-10T14:38:13Z)
• PrefixNLI: Detecting Factual Inconsistencies as Soon as They Arise [60.63315470285562]
  MiniTruePrefixesは、テキストプレフィックスよりも事実上の矛盾をよりよく検出する、新しい特殊モデルである。 制御されたデコードフレームワークにMiniTruePrefixesを組み込むことで,抽象的な要約における現実の一貫性が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2025-11-03T09:07:44Z)
• Do What? Teaching Vision-Language-Action Models to Reject the Impossible [53.40183895299108]
  VLA(Vision-Language-Action)モデルは、さまざまなロボットタスクにおいて強力なパフォーマンスを示している。 Instruct-Verify-and-Act(IVA)を提案する。 実験の結果,IVAはベースラインよりも97.56%の精度で虚偽の前提検出精度を向上させることがわかった。
  論文  参考訳（メタデータ） (2025-08-22T10:54:33Z)
• Conformal Linguistic Calibration: Trading-off between Factuality and Specificity [41.45862052156885]
  本稿では,言語プラグマティクスのレンズを通して,抑止と言語キャリブレーションを結合する枠組みを提案する。 以上の結果から,本手法は実精度に適合した精度で校正出力を生成する。
  論文  参考訳（メタデータ） (2025-02-26T13:01:49Z)
• Instruction Position Matters in Sequence Generation with Large Language Models [67.87516654892343]
  大規模言語モデル(LLM)は、翻訳や要約といった条件付きシーケンス生成タスクを実行することができる。 入力文の後にタスク命令の位置をシフトさせることにより,LLMの指示追従能力を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-08-23T12:36:57Z)
• Calibrate Before Use: Improving Few-Shot Performance of Language Models [68.17016463756474]
  GPT-3は、いくつかのトレーニング例を含む自然言語プロンプトを提供すると、多数のタスクを実行できます。 この種の少数ショット学習は不安定である。 プロンプト形式、トレーニング例、およびトレーニング例の順序の選択は、精度をほぼチャンスから最先端のものに変化させる可能性があります。
  論文  参考訳（メタデータ） (2021-02-19T00:23:59Z)
• How Context Affects Language Models' Factual Predictions [134.29166998377187]
  検索システムからの情報を学習済みの言語モデルと純粋に教師なしの方法で統合する。 この方法で事前学習された言語モデルを拡張することで、性能が劇的に向上し、教師なしにもかかわらず、結果として得られるシステムは、教師なしの機械読解ベースラインと競合する、と報告する。
  論文  参考訳（メタデータ） (2020-05-10T09:28:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。