論文の概要: In-context Learning of Single-index Targets: Comparing Kernel and Feature Learners

• arxiv url: http://arxiv.org/abs/2610.01712v1
• Date: Thu, 01 Oct 2026 13:54:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:24.173631
• Title: In-context Learning of Single-index Targets: Comparing Kernel and Feature Learners
• Title（参考訳）: シングルインデックスターゲットのインコンテキスト学習:カーネルと特徴学習者の比較
• Abstract要約: インコンテキスト学習(ICL)では、事前訓練されたモデルがそのパラメータを更新することなく、デモからタスクを推論することができる。 単一インデックスタスクの族上での2つの1層アテンションアーキテクチャを比較して非線形ケースについて検討する。 複製法を用いて,その記憶と一般化誤差の予測を導出する。
• 参考スコア（独自算出の注目度）: 18.23013019014584
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In-context learning (ICL) enables a pretrained model to infer a task from demonstrations without updating its parameters. While much of the existing theory focuses on linear target functions, in this paper we study nonlinear cases by comparing two one-layer attention architectures on the same family of single-index tasks. A kernel learner first maps inputs through a fixed nonlinear feature map and then applies linear attention, whereas a feature learner applies attention to the original input, followed by a learned nonlinear readout. We derive predictions for their memorization and generalization errors using the replica method, retaining the effects of pretraining size, task-pool diversity, and training and inference context lengths. The resulting predictions closely match numerical experiments across a broad range of regimes. Our analysis yields phase diagrams that characterize when each architecture is advantageous as the amount of pretraining data, task diversity, and context lengths vary. We further identify qualitatively different context-length scalings for the two learners. Together, these results clarify how architectural choices interact with the dataset and govern nonlinear in-context learning.
• Abstract（参考訳）: インコンテキスト学習(ICL)では、事前訓練されたモデルがそのパラメータを更新することなく、デモからタスクを推論することができる。 既存の理論の多くは線形対象関数に重点を置いているが、本論文では、同一の単一インデックスタスクの族上の2つの1層アテンションアーキテクチャを比較して非線形ケースを考察する。 カーネル学習者はまず、固定された非線形特徴写像を通して入力をマップし、次に線形注意を施し、一方特徴学習者は元の入力に注意を向け、次いで学習された非線形読み出しを行う。 本手法は,事前学習の大きさ,タスクプールの多様性,トレーニングおよび推論コンテキストの長さの影響を抑えながら,再現法を用いて記憶・一般化誤差の予測を導出する。 その結果の予測は、広範囲にわたる数値実験と密接に一致している。 我々の分析では、事前学習データ、タスクの多様性、コンテキストの長さが異なるため、各アーキテクチャが有利であるときに特徴付けられるフェーズ図が得られます。 さらに,2人の学習者に対して,定性的に異なる文脈長のスケーリングを同定する。 これらの結果から, アーキテクチャ選択がデータセットとどのように相互作用し, 非線形インコンテキスト学習を統制するかが明らかになった。

関連論文リスト

• A Theory of How Pretraining Shapes Inductive Bias in Fine-Tuning [51.505728136705564]
  我々は, 対角線ネットワークにおけるプレトレーニングファインチューニングパイプラインの解析理論を開発した。 異なる初期化選択により、ネットワークは4つの異なる微調整レジームに分類される。 以前の階層の縮小により、ネットワークは機能の再利用と洗練を両立することができ、より優れた一般化を実現している。
  論文  参考訳（メタデータ） (2026-02-23T17:19:33Z)
• In-Context Linear Regression Demystified: Training Dynamics and Mechanistic Interpretability of Multi-Head Softmax Attention [52.159541540613915]
  本研究では,マルチヘッド型ソフトマックスアテンションモデルを用いて,線形データを用いたコンテキスト内学習を行う方法について検討する。 この結果から,学習内容の学習能力は,そのアーキテクチャと基礎となるデータ分布の集約的効果として,訓練されたトランスフォーマーから出現することが明らかとなった。
  論文  参考訳（メタデータ） (2025-03-17T02:00:49Z)
• Repetita Iuvant: Data Repetition Allows SGD to Learn High-Dimensional Multi-Index Functions [20.036783417617652]
  勾配に基づくアルゴリズムを用いて学習した2層浅層ニューラルネットワークのトレーニング力学について検討する。 理想化シングルパス勾配勾配学習シナリオの簡単な修正により,その計算効率が大幅に向上することを示す。 この結果から,ネットワークが事前処理なしでデータから関連構造を学習できることが示唆された。
  論文  参考訳（メタデータ） (2024-05-24T11:34:31Z)
• The mechanistic basis of data dependence and abrupt learning in an in-context classification task [0.3626013617212666]
  本研究では,言語固有の特定の分布特性が,2種類の学習のトレードオフや同時出現を制御していることを示す。 インコンテキスト学習は、誘導ヘッドの突然の出現によって駆動され、その後、インウェイト学習と競合する。 注意に基づくネットワークの急激な遷移は、ICLを実現するのに必要な多層演算の特定の連鎖によって生じると提案する。
  論文  参考訳（メタデータ） (2023-12-03T20:53:41Z)
• Learning Linear Causal Representations from Interventions under General Nonlinear Mixing [52.66151568785088]
  介入対象にアクセスできることなく、未知の単一ノード介入を考慮し、強い識別可能性を示す。 これは、ディープニューラルネットワークの埋め込みに対する非ペアの介入による因果識別性の最初の例である。
  論文  参考訳（メタデータ） (2023-06-04T02:32:12Z)
• Multi-task Supervised Learning via Cross-learning [102.64082402388192]
  我々は,様々なタスクを解くことを目的とした回帰関数の集合を適合させることで,マルチタスク学習と呼ばれる問題を考える。 我々の新しい定式化では、これらの関数のパラメータを2つに分けて、互いに近づきながらタスク固有のドメインで学習する。 これにより、異なるドメインにまたがって収集されたデータが、互いのタスクにおける学習パフォーマンスを改善するのに役立つ、クロス・ファーティライズが促進される。
  論文  参考訳（メタデータ） (2020-10-24T21:35:57Z)
• Learning an Interpretable Graph Structure in Multi-Task Learning [18.293397644865454]
  本稿では,タスク間のマルチタスク学習と本質的な関係を解釈可能かつスパースなグラフで推定する新しい手法を提案する。 このグラフは各タスクのモデルパラメータと同時に学習するため、特定の予測問題におけるタスク間の臨界関係を反映する。
  論文  参考訳（メタデータ） (2020-09-11T18:58:14Z)
• Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
  ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。 我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。 このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2020-04-20T02:47:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。