論文の概要: Transformers as Cross-Task Learners: Shared Structure Drives Sample Efficiency in In-Context Learning

• arxiv url: http://arxiv.org/abs/2609.29060v1
• Date: Thu, 24 Sep 2026 05:46:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 21:10:09.739209
• Title: Transformers as Cross-Task Learners: Shared Structure Drives Sample Efficiency in In-Context Learning
• Title（参考訳）: クロスタスク学習者としてのトランスフォーマー:共有構造は文脈内学習におけるサンプル効率を駆動する
• Abstract要約: トランスフォーマーは、事前訓練中に幅広いタスクのファミリーを共同で学習し、短いプロンプトから見知らぬタスクに適応することで、素晴らしいパフォーマンスを達成する。 本稿では、トランスフォーマーが共用タスク構造をどのように活用し、この構造がコンテキスト内学習(ICL)のサンプル複雑さにどのように影響するかを検討する。 我々の知る限りでは、これは一般的な非線形タスク族に対するクロスタスク複雑性を定量化する最初の研究である。
• 参考スコア（独自算出の注目度）: 46.85183839946139
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformers achieve remarkable performance by jointly learning broad families of tasks during pretraining and adapting to unseen tasks from only a short prompt. Yet a rigorous mathematical and statistical understanding of this phenomenon remains limited. This paper aims to study how Transformers exploit shared cross-task structure and how this structure affects the sample complexity of in-context learning (ICL). Specifically, we characterize task-space complexity through covering numbers under a prescribed metric, thereby quantifying the low-dimensional cross-task structure without requiring an explicit parametric representation. The resulting cover provides a set of anchor functions, which we use to introduce a task-identification-and-evaluation procedure: context observations localize an unseen task among the anchor functions, and the response at a query is predicted by aggregating the corresponding anchor function query evaluations. For approximation, we explicitly construct a Transformer with Softmax attention to approximate this procedure. For generalization, we derive an error bound that separates the effects of the number of pretraining tasks and the prompt length. The scaling with respect to the number of pretraining tasks is governed by the intrinsic dimensions of the task space and input domain; once sufficiently many tasks are available, the dependence on the prompt context length becomes dimension-free. To the best of our knowledge, this is the first work to quantify cross-task complexity for general nonlinear task families and explicitly construct a Transformer that exploits their low-dimensional structure to perform ICL. Our theory provides a quantitative explanation of how joint pretraining across related tasks improves in-context generalization.
• Abstract（参考訳）: トランスフォーマーは、事前訓練中に幅広いタスクのファミリーを共同で学習し、短いプロンプトから見知らぬタスクに適応することで、素晴らしいパフォーマンスを達成する。 しかし、この現象の厳密な数学的および統計的理解は依然として限られている。 本稿では,トランスフォーマーが共用タスク構造をどのように活用し,この構造がコンテキスト内学習(ICL)の複雑さにどのように影響するかを検討する。 具体的には、所定の計量の下で数をカバーすることでタスク空間の複雑さを特徴づけ、明示的なパラメトリック表現を必要とせず、低次元のクロスタスク構造を定量化する。 結果として得られた表紙は,アンカー関数の集合を提供し,タスク識別・評価手順を導入する: コンテキスト観察はアンカー関数間で見えないタスクをローカライズし,クエリにおける応答は,対応するアンカー関数クエリの評価を集約することによって予測される。 近似のために、この手順を近似するために、ソフトマックスの注意を持つ変換器を明示的に構築する。 一般化のために、事前学習タスク数と即時長の影響を分離する誤差境界を導出する。 事前学習タスク数に関するスケーリングは、タスク空間と入力領域の固有の次元によって管理され、十分に多くのタスクが利用可能になると、迅速なコンテキスト長への依存は次元自由になる。 我々の知る限りでは、これは一般的な非線形タスクファミリーのクロスタスク複雑性を定量化し、低次元構造を利用してICLを実行するトランスフォーマーを明示的に構築する最初の試みである。 我々の理論は、関連するタスク間での関節前訓練がコンテキスト内一般化をどのように改善するかを定量的に説明する。

関連論文リスト

• Task Prototype-Based Knowledge Retrieval for Multi-Task Learning from Partially Annotated Data [38.55691652000724]
  マルチタスク学習(MTL)は、自律運転やロボット工学といった現実の応用において重要である。 部分的にラベル付けされたMTLの既存の方法は、通常、ラベル付けされていないタスクからの予測に依存する。 本研究では,未ラベルタスクからの予測に頼るのではなく,堅牢なMLLを実現するためのプロトタイプベースの知識検索フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-01-12T12:27:02Z)
• Learning Task Representations from In-Context Learning [67.66042137487287]
  大規模言語モデル(LLM)は、文脈内学習(ICL)において顕著な習熟性を示した。 ICLプロンプトにおけるタスク情報をアテンションヘッドの関数として符号化するための自動定式化を導入する。 提案手法は,テキスト中の実演からタスク固有の情報を抽出し,テキストと回帰タスクの両方で優れる。
  論文  参考訳（メタデータ） (2025-02-08T00:16:44Z)
• Task Indicating Transformer for Task-conditional Dense Predictions [16.92067246179703]
  この課題に対処するために,タスク表示変換(TIT)と呼ばれる新しいタスク条件フレームワークを導入する。 本手法では,行列分解によるタスク指示行列を組み込んだMix Task Adapterモジュールをトランスフォーマーブロック内に設計する。 また,タスク表示ベクトルとゲーティング機構を利用するタスクゲートデコーダモジュールを提案する。
  論文  参考訳（メタデータ） (2024-03-01T07:06:57Z)
• Fast Inference and Transfer of Compositional Task Structures for Few-shot Task Generalization [101.72755769194677]
  本稿では,タスクがサブタスクグラフによって特徴づけられる,数発の強化学習問題として定式化する。 我々のマルチタスクサブタスクグラフ推論器(MTSGI)は、トレーニングタスクから、まず、サブタスクグラフの観点から、一般的なハイレベルなタスク構造を推測する。 提案手法は,2次元グリッドワールドおよび複雑なWebナビゲーション領域において,タスクの共通基盤構造を学習し,活用し,未知のタスクへの適応を高速化する。
  論文  参考訳（メタデータ） (2022-05-25T10:44:25Z)
• Multi-task Supervised Learning via Cross-learning [102.64082402388192]
  我々は,様々なタスクを解くことを目的とした回帰関数の集合を適合させることで,マルチタスク学習と呼ばれる問題を考える。 我々の新しい定式化では、これらの関数のパラメータを2つに分けて、互いに近づきながらタスク固有のドメインで学習する。 これにより、異なるドメインにまたがって収集されたデータが、互いのタスクにおける学習パフォーマンスを改善するのに役立つ、クロス・ファーティライズが促進される。
  論文  参考訳（メタデータ） (2020-10-24T21:35:57Z)
• OCEAN: Online Task Inference for Compositional Tasks with Context Adaptation [150.1979017130774]
  構成タスクに対するオンラインタスク推論を行うための変分推論フレームワークを提案する。 本フレームワークは,タスク構造に関する事前の知識に基づいて,柔軟な潜伏分布をサポートし,教師なしで訓練することができる。
  論文  参考訳（メタデータ） (2020-08-17T04:50:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。