論文の概要: What can linear attention learn from nonlinear teachers in-context?
- arxiv url: http://arxiv.org/abs/2610.10761v1
- Date: Wed, 07 Oct 2026 18:24:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 02:36:53.628589
- Title: What can linear attention learn from nonlinear teachers in-context?
- Title（参考訳）: 文脈における非線形教師から線形注意を学べるか?
- Abstract要約: 線形注意(英: Linear attention)は、変換器における文脈内学習を規定するメカニズムを理解するための抽出可能なモデルである。
線形アテンションは、$f$の線形エルミート成分のみを抽出し、残りの非線形構造は、有効雑音としての一般化誤差に寄与する。
これらの結果から,リニアアテンションモデルの限界を同定し,非線形インコンテキスト学習の出発点となる。
- 参考スコア（独自算出の注目度）: 32.3470829692391
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Linear attention is a tractable model for understanding the mechanisms governing in-context learning in transformers. For linear regression tasks, recent asymptotic analyses have characterised its learning and generalisation behaviour. We extend this theory to nonlinear single-index targets, $y=f(x^\top w)+\varepsilon $. Our main result establishes a nonlinearity-noise equivalence: linear attention extracts only the linear Hermite component of $f$, while the remaining nonlinear structure contributes to the generalisation error as effective noise. This reduction allows results from the corresponding linear theory to be transferred to nonlinear tasks. We illustrate its implications for finite pretraining data and for the transition from task memorisation to task generalisation as task diversity increases. These results identify a limitation of the reduced linear-attention model and provide a tractable starting point for studying nonlinear in-context learning.
- Abstract（参考訳）: 線形注意(英: Linear attention)は、変換器における文脈内学習を規定するメカニズムを理解するための抽出可能なモデルである。
線形回帰タスクでは、最近の漸近解析がその学習と一般化の振る舞いを特徴づけている。
この理論を非線形単射目標、$y=f(x^\top w)+\varepsilon $に拡張する。
線形アテンションは、$f$の線形エルミート成分のみを抽出し、残りの非線形構造は、有効雑音としての一般化誤差に寄与する。
この還元により、対応する線形理論の結果は非線形なタスクに移される。
タスクの多様性が増大するにつれて、タスク記憶からタスク一般化への移行が、有限事前学習データに与える影響について説明する。
これらの結果から,リニアアテンションモデルの限界を同定し,非線形インコンテキスト学習の出発点となる。
関連論文リスト
- Understanding In-Context Learning for Nonlinear Regression with Transformers: Attention as Featurizer [45.94152084965753]
事前訓練されたトランスフォーマーは、プロンプトの一部として提供される例からウェイト更新なしで学ぶことができる。
非線形回帰設定における文脈内学習(ICL)について検討する。
合成回帰タスクの理論を数値的に検証する。
論文 参考訳（メタデータ） (2026-05-06T17:42:07Z) - Attention layers provably solve single-location regression [12.355792442566681]
Transformerのような注意に基づくモデルは様々なタスクにまたがるが、特にトークンの間隔や内部線形構造に関する包括的な理論的理解は欠如している。
本稿では,一列のトークンだけが出力を決定する単一位置回帰タスクを導入し,その位置が線形射影によって検索可能な潜在値であることを示す。
論文 参考訳（メタデータ） (2024-10-02T13:28:02Z) - Minimum-Norm Interpolation Under Covariate Shift [14.863831433459902]
高次元線形回帰に関する非分布研究は、テキシトベニンオーバーフィッティング(textitbenign overfitting)として知られる現象の同定につながった。
本稿では,移動学習環境における線形補間器の非漸近的過剰リスク境界を初めて証明する。
論文 参考訳（メタデータ） (2024-03-31T01:41:57Z) - Transformers Implement Functional Gradient Descent to Learn Non-Linear Functions In Context [44.949726166566236]
非線形変換器は自然に関数空間の勾配降下を実装することを学習する。
また、非線形活性化の最適選択は、学習すべき関数のクラスに自然に依存していることも示している。
論文 参考訳（メタデータ） (2023-12-11T17:05:25Z) - Pessimistic Nonlinear Least-Squares Value Iteration for Offline Reinforcement Learning [53.97335841137496]
非線形関数近似を用いたオフラインRLにおけるPNLSVI(Pessimistic Least-Square Value Iteration)と呼ばれるオラクル効率のアルゴリズムを提案する。
本アルゴリズムは,関数クラスの複雑性に強く依存する後悔境界を享受し,線形関数近似に特化して最小限のインスタンス依存後悔を実現する。
論文 参考訳（メタデータ） (2023-10-02T17:42:01Z) - Understanding the Role of Nonlinearity in Training Dynamics of
Contrastive Learning [37.27098255569438]
本研究では,1層および2層非線形ネットワーク上でのコントラスト学習(CL)の学習力学における非線形性の役割について検討する。
非線形性の存在は1層設定においても多くの局所最適性をもたらすことを示す。
グローバルレベルパターンの観点から識別可能な局所パターンを優先的に学習する。
論文 参考訳（メタデータ） (2022-06-02T23:52:35Z) - LQF: Linear Quadratic Fine-Tuning [114.3840147070712]
本稿では,非線形微調整に匹敵する性能を実現する事前学習モデルの線形化手法を提案する。
LQFはアーキテクチャの単純な変更、損失関数、そして一般的に分類に使用される最適化で構成されている。
論文 参考訳（メタデータ） (2020-12-21T06:40:20Z) - Sparse Quantized Spectral Clustering [85.77233010209368]
このような非線形変換の下で行列の固有スペクトルがどのように変化するのかを、ランダム行列理論のツールを用いて正確に述べる。
急激なスペーシング/量子化の下でも,情報的固有構造にはほとんど変化は見られなかった。
論文 参考訳（メタデータ） (2020-10-03T15:58:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。