論文の概要: The Effect of Training Task Diversity on In-Context Learning through the Lens of Low-Dimensional Subspaces

• arxiv url: http://arxiv.org/abs/2606.06814v1
• Date: Fri, 05 Jun 2026 01:35:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-08 14:33:29.502976
• Title: The Effect of Training Task Diversity on In-Context Learning through the Lens of Low-Dimensional Subspaces
• Title（参考訳）: 低次元部分空間レンズを用いたインテクスト学習における学習課題の多様性の影響
• Authors: Soo Min Kwon, Alec S. Xu, Can Yaras, Dogyoon Song, Laura Balzano, Qing Qu,
• Abstract要約: In-context Learning (ICL)は、その基盤となるメカニズムを理解するために設計された幅広い研究のきっかけとなった。 既存の研究はしばしば、ICLの学習力学と一般化能力の両方を学習タスクの多様性がどのように形作るかを研究する。 本稿では、これらの現象がトレーニングデータの性質から確実に現れる最小限の分析モデルを提案する。
• 参考スコア（独自算出の注目度）: 20.732738714750095
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The transformer's emergent ability to perform in-context learning (ICL) has sparked a wide range of studies designed to understand its underlying mechanisms. Existing works often study how training task diversity, defined either as the number of ICL training task vectors or as the number of function classes from which the task vectors are drawn, shapes both the learning dynamics and generalization capabilities of ICL. While both definitions have uncovered many interesting phenomena, many observations under the latter definition remain theoretically unexplained. This paper presents a minimal analytical model under which these phenomena provably emerge from the properties of the training data. By modeling the training task vectors as a mixture of low-rank Gaussians, we show how training task diversity, defined by the number of non-overlapping columns between subspaces that parameterize the covariance matrices, improves both the generalization and optimization trajectory of ICL with linear attention. In particular, we show that our model can explain (i) why training with task diversity shortens the ICL plateau and (ii) why ICL appears to achieve out-of-distribution generalization. We conclude by empirically demonstrating how our results extend to nonlinear transformers and nonlinear function classes. Overall, our work presents a tractable framework to unify existing observations.
• Abstract（参考訳）: イン・コンテクスト・ラーニング(ICL)を実行するトランスフォーマーの創発的能力は、その基盤となるメカニズムを理解するために設計された幅広い研究のきっかけとなった。 既存の作業では、ICLのトレーニングタスクベクトルの数や、タスクベクトルが描画される関数クラスの数として定義されたタスクの多様性が、ICLの学習力学と一般化能力の両方を形作るようにしばしば研究されている。 どちらの定義も多くの興味深い現象を発見したが、後者の定義に基づく多くの観測は理論的には説明されていない。 本稿では、これらの現象がトレーニングデータの性質から確実に現れる最小限の分析モデルを提案する。 低ランクガウスの混合としてトレーニングタスクベクトルをモデル化することにより、共分散行列をパラメータ化する部分空間間の非重複列の数によって定義される訓練タスクの多様性が、線形注意によるICLの一般化と最適化の軌跡の両方を改善することを示す。 特に、我々のモデルは説明できる。 一 タスク多様性の訓練がICL台地を短縮する理由及び方法 (II) ICL が非分布一般化を達成している理由。 結果が非線形変圧器や非線形関数類にどのように拡張されるかを実証的に示すことで結論付ける。 全体として、我々の研究は、既存の観測を統一するための抽出可能なフレームワークを提示している。

関連論文リスト

• Provable In-Context Vector Arithmetic via Retrieving Task Concepts [53.685764040547625]
  クロスエントロピー損失に対する勾配降下による非線形残差変圧器の訓練は,ベクトル演算による実-リコールICLタスクをいかに行うかを示す。 これらの結果は、静的埋め込み前駆体よりもトランスフォーマーの利点を解明する。
  論文  参考訳（メタデータ） (2025-08-13T13:54:44Z)
• Provable In-Context Learning of Nonlinear Regression with Transformers [66.99048542127768]
  In-context Learning (ICL) は、パラメータを更新することなくタスク固有のプロンプトを使用して見えないタスクを実行する能力である。 最近の研究はICLの背後にあるトレーニングのダイナミクスを積極的に探求しており、その多くは比較的単純なタスクに重点を置いている。 本稿では、変換器が文脈内学習能力をいかに獲得するかを明らかにすることを目的として、より複雑な非線形回帰タスクについて検討する。
  論文  参考訳（メタデータ） (2025-07-28T00:09:28Z)
• Understanding In-Context Learning on Structured Manifolds: Bridging Attention to Kernel Methods [45.94152084965753]
  我々は,アテンション機構と古典的カーネル手法の新たな接続を確立する。 トレーニングタスクの即時長と数の観点から一般化誤差境界を導出する。 この結果から, 一般化誤差がトレーニングタスク数でどのようにスケールするかを特徴付ける。
  論文  参考訳（メタデータ） (2025-06-12T17:56:26Z)
• Out-of-Distribution Generalization of In-Context Learning: A Low-Dimensional Subspace Perspective [9.249642973141107]
  低ランクな共分散行列でパラメータ化された線形回帰タスクを研究することにより、ICL(In-context Learning)のアウト・オブ・ディストリビューション能力をデミステライズする。 単層線形アテンションモデルが角度に依存しないテストリスクを生じさせることを証明し、ICLがそのような分布シフトに対して堅牢でないことを示す。 これは、トランスフォーマーのOOD一般化能力は、実際にトレーニング中に遭遇したタスクの範囲内にある新しいタスクに由来する可能性があることを示唆している。
  論文  参考訳（メタデータ） (2025-05-20T18:15:49Z)
• Illusion or Algorithm? Investigating Memorization, Emergence, and Symbolic Processing in In-Context Learning [50.53703102032562]
  大規模トランスフォーマー言語モデル(LM)は、Webスケールデータによる次世代の予測のみを訓練することで、幅広いタスクを解決できる。 この能力の背後にあるメカニズムは、ICL(In-context Learning)と呼ばれ、議論の余地があり、理解が不十分なままである。
  論文  参考訳（メタデータ） (2025-05-16T08:50:42Z)
• Asymptotic theory of in-context learning by linear attention [37.3817914656799]
  インコンテキスト学習はトランスフォーマーの成功の土台である。 ICLを成功させるためには、必要なサンプルの複雑さ、事前学習タスクの多様性、コンテキストの長さに関する質問は未解決のままである。
  論文  参考訳（メタデータ） (2024-05-20T03:24:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。