論文の概要: Ghost in the Kernel: In-Context Learning with Efficient Transformers via Domain Generalization
- arxiv url: http://arxiv.org/abs/2607.00479v1
- Date: Wed, 01 Jul 2026 06:03:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-02 19:56:07.744054
- Title: Ghost in the Kernel: In-Context Learning with Efficient Transformers via Domain Generalization
- Title（参考訳）: カーネルにおけるゴースト:ドメインの一般化による効率的な変換器を用いたインコンテキスト学習
- Abstract要約: トランスフォーマーに基づく大規模モデルは、様々なタスクにまたがる顕著な一般化能力を示している。
よりリッチなコンテキストでは、トランスフォーマーはパラメータを更新せずに現在のユースケースにより効果的に適応する。
しかし、文脈長に関する二次計算とメモリの複雑さは、ソフトマックス変換器のデータ処理を著しく遅くする。
- 参考スコア（独自算出の注目度）: 17.68725202024536
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Transformer-based large models have demonstrated remarkable generalization abilities across different tasks by leveraging a context-aware attention module for in-context learning. With richer context, transformers adapt more effectively to the current use case without any parameter updates. However, the quadratic computational and memory complexity with respect to context length significantly slows data processing in softmax transformers. Linear transformers were proposed to address this issue by reducing the complexity to linear dependence on context length, but the design and understanding of the feature mapping in linear attention, from a theoretical viewpoint, remain unclear. In this paper, we investigate the approximation and generalization abilities of linear transformers under a two-staged sampling process from domain generalization. We show that linear transformers perform in-context learning as learning a mapping from context distributions to response functions. A dimension-independent convergence rate is obtained for our generalization analysis, which also exhibits the tradeoff between the regularities of data distributions and latent features. Guided by our theoretical framework, we propose a new perspective on activation and loss design for linearizing pretrained softmax large language models.
- Abstract（参考訳）: 変換器をベースとした大規模モデルは、コンテキスト認識型アテンションモジュールを活用して、様々なタスクにまたがる顕著な一般化能力を示した。
よりリッチなコンテキストでは、トランスフォーマーはパラメータを更新せずに現在のユースケースにより効果的に適応する。
しかし、文脈長に関する二次計算とメモリの複雑さは、ソフトマックス変換器のデータ処理を著しく遅くする。
線形変換器は、文脈長への線形依存の複雑さを減らし、この問題に対処するために提案されているが、理論的観点からは、線形注意における特徴写像の設計と理解は不明確である。
本稿では,2段階サンプリングプロセスにおける線形変圧器の近似と一般化能力について検討する。
線形変換器は文脈分布から応答関数への写像の学習としてコンテキスト内学習を行うことを示す。
一般化解析において,データ分布の正規性と潜在特徴とのトレードオフを示す次元非依存収束率を求める。
提案する理論フレームワークは,事前学習したソフトマックス大言語モデルの線形化のためのアクティベーションと損失設計の新しい視点である。
関連論文リスト
- Adaptive inference and function vectors in deep transformers [6.568378556428861]
平均場相互作用系として深部変圧器の理論を導入する。
このようなシステムでは、内部状態表現を利用して潜在コンテキスト変数を推論できることが示される。
文脈内回帰タスクでは、この理論は非ガウス的、潜在文脈変数の階層構造と変圧器深さの間の非自明な関係を予測している。
論文 参考訳（メタデータ） (2026-06-15T13:30:49Z) - When Does Context Help? Error Dynamics of Contextual Information in Large Language Models [64.88201012057822]
大規模言語モデルにおける任意の文脈情報の影響を分析するための統合理論フレームワークを提案する。
本分析は,出力誤差ダイナミクスによる文脈的影響を特徴付ける。
ICL、検索拡張生成、メモリ進化に関する実験は、我々の理論を検証し、原則化された文脈選択戦略を動機づける。
論文 参考訳（メタデータ） (2026-02-09T05:58:41Z) - Softmax $\geq$ Linear: Transformers may learn to classify in-context by kernel gradient descent [17.629377639287775]
コンテクストから学習するために、トランスフォーマーが使用する学習アルゴリズムを理解することに注力する。
トランスフォーマーは、カーネル機能空間の関数ではあるものの、コンテキスト内で勾配降下を習うことができる。
これらの理論的な知見は,ソフトマックスに対する文脈適応性の向上を示唆している。
論文 参考訳（メタデータ） (2025-10-12T03:20:27Z) - Transformer learns the cross-task prior and regularization for in-context learning [11.570071580371964]
文脈例から基底重みベクトルへの逆写像を学習するために線形変換器を導入する。
我々は, 変圧器推定器の誤差が雑音レベル, タスク次元とコンテキスト長との比, 入力データの条件数と線形にスケールすることを数値的に検証する。
論文 参考訳（メタデータ） (2025-05-17T20:42:23Z) - On the Robustness of Transformers against Context Hijacking for Linear Classification [26.1838836907147]
Transformer-based Large Language Models (LLM) は、強力なコンテキスト内学習能力を実証している。
それらは、コンテキストハイジャックとして知られる、事実的に正しいコンテキストによって破壊される。
十分に訓練された深部変圧器は、経験的観測と整合した高い強靭性を実現することができることを示す。
論文 参考訳（メタデータ） (2025-02-21T17:31:00Z) - Learning Linear Attention in Polynomial Time [127.14106124669645]
線形注意を持つ単層変圧器の学習性に関する最初の結果を提供する。
線形アテンションは RKHS で適切に定義された線形予測器とみなすことができる。
我々は,すべての経験的リスクが線形変換器と同等のトレーニングデータセットを効率的に識別する方法を示す。
論文 参考訳（メタデータ） (2024-10-14T02:41:01Z) - In-Context Learning with Representations: Contextual Generalization of Trained Transformers [66.78052387054593]
In-context Learning (ICL) は、事前訓練された大規模言語モデルの能力を指し、推論中にいくつか例を挙げると、新しいタスクを学習できる。
本稿では,非線形回帰タスクのレンズによる勾配降下による変圧器のトレーニングダイナミクスについて検討する。
論文 参考訳（メタデータ） (2024-08-19T16:47:46Z) - Linear Transformers are Versatile In-Context Learners [19.988368693379087]
線形変圧器の各層が負の線形回帰問題に対する重みベクトルを維持していることを示す。
また、異なるレベルのノイズでトレーニングデータが破損する難易度シナリオにおける線形変圧器の使用についても検討する。
ここでは,線形変圧器が複雑かつ高効率な最適化アルゴリズムを発見することを実証する。
論文 参考訳（メタデータ） (2024-02-21T23:45:57Z) - On the Convergence of Encoder-only Shallow Transformers [62.639819460956176]
エンコーダのみの浅部変圧器のグローバル収束理論を現実的な条件下で構築する。
我々の結果は、現代のトランスフォーマー、特にトレーニング力学の理解を深める道を開くことができる。
論文 参考訳（メタデータ） (2023-11-02T20:03:05Z) - In-Context Convergence of Transformers [63.04956160537308]
勾配降下法により訓練したソフトマックスアテンションを有する一層変圧器の学習力学について検討した。
不均衡な特徴を持つデータに対しては、学習力学が段階的に収束する過程をとることを示す。
論文 参考訳（メタデータ） (2023-10-08T17:55:33Z) - Transformers learn in-context by gradient descent [58.24152335931036]
自己回帰目標におけるトランスフォーマーの訓練は、勾配に基づくメタラーニングの定式化と密接に関連している。
トレーニングされたトランスフォーマーがメザ最適化器となる方法,すなわち,前方通過における勾配降下によるモデル学習方法を示す。
論文 参考訳（メタデータ） (2022-12-15T09:21:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。