論文の概要: Out of Support, Not Out of Reach: In-Context Learning with Unsupported Instructions and Composed Tasks

• arxiv url: http://arxiv.org/abs/2610.23528v1
• Date: Fri, 16 Oct 2026 14:27:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.951848
• Title: Out of Support, Not Out of Reach: In-Context Learning with Unsupported Instructions and Composed Tasks
• Title（参考訳）: サポートから脱却:サポートなしのインストラクションと構成タスクによるインテクスト学習
• Abstract要約: In-Context Learning (ICL) は、事前訓練されたLLMが入力出力のデモの小さなセットから下流タスクに適応できるようにする。 実演ではタスクを識別し,事前学習支援型プロンプトテンプレートに対する感度を低下させることができる。 次に、このICLフレームワークを、事前訓練では表現されないが事前訓練支援されたサブタスクに分解する計画を認める長距離目標タスクの解釈レンズとして使用する。
• 参考スコア（独自算出の注目度）: 9.83462430479849
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In-Context Learning (ICL) enables pretrained LLMs to adapt to downstream tasks from a small set of input-output demonstrations, without parameter updates. Yet existing theory primarily explains ICL as identifying a latent task already represented in pretraining, leaving unclear whether ICL can succeed when either the instruction or the target task falls outside the pretraining support. We develop a theoretical framework under mild assumptions that separates these two forms of distribution shift. For target tasks represented in pretraining, we show that demonstrations can identify the task and reduce sensitivity to pretrain-supported prompt templates as their number increases. For an unsupported instruction, we show that under a fixed model-induced reference extension, demonstration evidence can dominate an $N$-independent instruction shift while preserving the exponential identification rate. We then use the same ICL framework as an interpretive lens for long-horizon target tasks that are not represented in pretraining but admit a plan that decomposes them into pretraining-supported subtasks. Applying the supported-task analysis step by step yields a standard accumulated-error bound and clarifies how invoking familiar subtasks along an intermediate-state trajectory can avoid directly selecting the unsupported complete task. Together, our results characterize when demonstrations, instructions, and task decomposition can support ICL beyond the corresponding pretraining supports.
• Abstract（参考訳）: In-Context Learning (ICL) は、事前訓練されたLLMがパラメータを更新することなく、小さな入力出力のデモから下流タスクに適応できるようにする。 しかし、既存の理論では、ICLは事前訓練ですでに表現されている潜在タスクを識別していると説明されており、命令または目標タスクが事前訓練サポートの外に落ちたときにICLが成功するかどうかは不明である。 我々はこの2つの形態の分布シフトを分離する軽微な仮定の下で理論的枠組みを開発する。 プレトレーニングで表される目標タスクに対して、デモはタスクを識別し、プレトレーニング支援されたプロンプトテンプレートに対する感度を減少させる。 不要な命令に対して、固定モデルによる参照拡張の下では、指数的識別率を維持しながら、実証証拠が$N$非依存的な命令シフトを支配できることを示す。 次に、このICLフレームワークを、事前訓練では表現されないが事前訓練支援されたサブタスクに分解する計画を認める長距離目標タスクの解釈レンズとして使用する。 サポートタスク解析ステップを段階的に適用すると、標準累積エラー境界が得られ、中間状態軌道に沿って親しみやすいサブタスクの呼び出しが、サポート対象の完全タスクを直接選択することを避けることができる。 その結果、実演、指示、タスクの分解が、対応する事前学習サポートを超えてICLをサポートできる時を特徴付けることができた。

関連論文リスト

• PerturBot: Breaking Shortcut Priors in Vision-Language-Action Models with Perturbative Training [54.81497176604651]
  視覚-言語-アクション(VLA)ポリシーは、その行動を決定する証拠を無視しながら、複雑なタスクを完了することができる。 私たちはこれらの依存関係をモダリティショートカット(Modality shortcuts)と呼んでいる: 成功例の正規性は、専門家の行動を予測するのに十分な視覚的、語彙的、あるいは運動的手がかりを生み出す。 本稿では,タスク関連エビデンスをより使いやすくし,自分でもショートカットが不十分なPerturbotを提案する。
  論文  参考訳（メタデータ） (2026-10-03T15:57:51Z)
• TwinICL: Diagnosing Multimodal In-Context Learning through Paired Counterfactuals [49.800443965874756]
  インコンテキスト学習(ICL)は、モデルがデモからタスクを推論することを可能にする。 既存のベンチマークでは、モダリティ間でICLのパフォーマンスを比較するのに必要なテキストと画像のバージョンが一致していないのが一般的である。 我々は、プロシージャで生成されたベンチマークであるTwinICLを紹介し、このようなペアを制御された比較のために提供する。
  論文  参考訳（メタデータ） (2026-09-14T04:42:42Z)
• Task-Anchored Representation Shaping for Pre-Trained Model-Based Continual Learning [15.779738807521618]
  連続学習のための軽量ポストPTMモジュールとして,タスク・アンコール推論遅延整形(TAILS)を提案する。 TAILSは、固定されたタスクアンカーを、蓄積された知識に対する永続的な参照として使用し、タスク全体で関連するエビデンスを構成する。 控えめなパラメータオーバーヘッドと無視可能な推論コストで、分類とタスク推論のパフォーマンスを改善することができる。
  論文  参考訳（メタデータ） (2026-08-17T09:51:21Z)
• Many-Shot CoT-ICL: Making In-Context Learning Truly Learn [58.439517684779936]
  In-context Learning (ICL)は、パラメータを更新せずにプロンプト内のデモを条件にすることで、大きな言語モデルを新しいタスクに適応させる。 提案手法は,標準のマルチショット・ルールが転送されないことを示すために,マルチショット・チェーン・オブ・コンテクスト・ラーニング(CoT-ICL)について検討する。
  論文  参考訳（メタデータ） (2026-05-13T13:30:12Z)
• Demonstrations, CoT, and Prompting: A Theoretical Analysis of ICL [9.83462430479849]
  In-Context Learning (ICL)により、事前訓練されたLLMは、入力出力のデモの小さなセットを条件にすることで、下流タスクに適応できる。 ICLの性能は, (i) 選択された実演の質, (ii) 事前学習モデルの本質的なICL能力, (iii) 分布シフトの程度によってどのように制御されるかを分析する。
  論文  参考訳（メタデータ） (2026-03-20T03:33:04Z)
• Beyond the Prompt in Large Language Models: Comprehension, In-Context Learning, and Chain-of-Thought [15.598263332303612]
  大規模言語モデル(LLM)は、様々なタスクにまたがる卓越した習熟度を示した。 本研究は,3つの重要な疑問に対処することによって,これらの観測の基礎を掘り下げる。
  論文  参考訳（メタデータ） (2026-02-16T10:57:26Z)
• TEGEE: Task dEfinition Guided Expert Ensembling for Generalizable and Few-shot Learning [37.09785060896196]
  タスク定義を明示的に抽出する textbfTEGEE (Task Definition Guided Expert Ensembling) を提案する。 私たちのフレームワークは2つの3Bモデルアプローチを採用しています。 実験により, TEGEEはより大きなLLaMA2-13Bモデルと相容れない性能を示した。
  論文  参考訳（メタデータ） (2024-03-07T05:26:41Z)
• Instruction Position Matters in Sequence Generation with Large Language Models [67.87516654892343]
  大規模言語モデル(LLM)は、翻訳や要約といった条件付きシーケンス生成タスクを実行することができる。 入力文の後にタスク命令の位置をシフトさせることにより,LLMの指示追従能力を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-08-23T12:36:57Z)
• Slot Induction via Pre-trained Language Model Probing and Multi-level Contrastive Learning [62.839109775887025]
  トークンレベルのスロットアノテーションの明示的な知識なしでスロット境界を誘導することを目的としたスロットインジェクション(SI)タスク。 PLMから抽出した教師なし意味知識を活用するために、教師なし事前学習言語モデル(PLM)探索とコントラスト学習機構を活用することを提案する。 提案手法は,2つのNLUベンチマークデータセット上でトークンレベルの教師付きモデルとのギャップを埋めることができ,SIタスクに有効であることが示されている。
  論文  参考訳（メタデータ） (2023-08-09T05:08:57Z)
• What In-Context Learning "Learns" In-Context: Disentangling Task Recognition and Task Learning [24.395288160951118]
  大規模言語モデル(LLM)は、いくつかのデモでタスクを解くためにコンテキスト内学習(ICL)を利用する。 ICLがデモを利用する2つの方法の特徴付けを行う。 TRのみを用いて非自明な性能を達成でき、TRはより大きなモデルやより多くのデモでさらに改善されないことを示す。
  論文  参考訳（メタデータ） (2023-05-16T18:05:19Z)
• Task Agnostic Representation Consolidation: a Self-supervised based Continual Learning Approach [14.674494335647841]
  本稿では,タスク非依存およびタスク特化学習に介入するCLのための2段階学習パラダイムを提案する。 我々のトレーニングパラダイムは、メモリや正規化に基づくアプローチに簡単に追加できることを示します。
  論文  参考訳（メタデータ） (2022-07-13T15:16:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。