論文の概要: Transformers as Adaptive Kernel Learners across Tasks for In-Context Learning

• arxiv url: http://arxiv.org/abs/2610.24441v1
• Date: Sat, 17 Oct 2026 04:01:47 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 11:45:13.202034
• Title: Transformers as Adaptive Kernel Learners across Tasks for In-Context Learning
• Title（参考訳）: In-Context学習におけるタスク間の適応カーネル学習者としてのトランスフォーマー
• Abstract要約: 変換器は適応型異方性カーネル学習器として機能することを示す。 具体的には、低ランク線形および多次元非線形回帰に対するICLについて検討する。 次に、ICLの一般化誤差を解析するための一般的なフレームワークを開発する。
• 参考スコア（独自算出の注目度）: 47.28524897351476
• License:
• Abstract: Transformers have emerged as a dominant architecture in modern machine learning, with in-context learning (ICL) enabling models to adapt to new tasks by conditioning on prompts, without any parameter updates. To understand the attention mechanism in transformer blocks, a growing line of theoretical work interprets ICL through the lens of classical statistical estimators. Recent works have established a connection between the attention mechanism and kernel methods, while the kernel function is usually assumed to be fixed. In practice, the query and key matrices in the attention mechanism are trained, which allows the attention mechanism to serve as an adaptive kernel method. In this work, we demonstrate that transformers can act as adaptive anisotropic kernel learners. Specifically, we study ICL for low-rank linear and multi-index nonlinear regressions, and conduct numerical simulations to show that the learned attention scores closely resemble the oracle kernels for these function classes. We then develop a general framework to analyze the generalization error of ICL by connecting transformers to the oracle kernel estimator for each function class. Our theory gives an explicit and constructive implementation of the oracle kernel estimators for these function classes using a wide and shallow transformer architecture, illustrating how the prediction is carried out by the interaction between the query token and the context tokens. Our work complements existing studies by providing numerical and theoretical evidence of how the attention mechanism adapts to anisotropic kernels in both linear and nonlinear settings.
• Abstract（参考訳）: トランスフォーマーは現代の機械学習において支配的なアーキテクチャとして現れており、ICL(In-context Learning)により、モデルがパラメータを更新することなくプロンプトを条件にすることで、新しいタスクに適応することができる。 変圧器ブロックの注意機構を理解するために、理論的な研究の行は古典的な統計推定器のレンズを通してICLを解釈する。 最近の研究はアテンション機構とカーネルメソッドの接続を確立しているが、カーネル関数は通常固定されていると仮定されている。 実際に、アテンション機構におけるクエリとキー行列をトレーニングし、アテンション機構がアダプティブカーネルメソッドとして機能できるようにする。 本研究では,トランスフォーマーが適応型異方性カーネル学習者として機能することを実証する。 具体的には,低ランク線形および多次元非線形回帰に対するICLについて検討し,学習した注目スコアがこれらの関数クラスのオラクルカーネルによく似ていることを示す数値シミュレーションを行う。 次に、各関数クラスに対して、トランスフォーマーをオラクルカーネル推定器に接続することにより、ICLの一般化誤差を解析するための一般的なフレームワークを開発する。 提案理論は,これらの関数クラスに対して,クエリトークンとコンテキストトークンの相互作用によって予測がどのように実行されるのかを,広範かつ浅いトランスフォーマーアーキテクチャを用いて明示的かつ建設的に実装するものである。 我々の研究は、線形および非線形の両方の設定において、アテンション機構が異方性カーネルにどのように適応するかの数値的および理論的証拠を提供することによって、既存の研究を補完する。

関連論文リスト

• One for All: A Non-Linear Transformer can Enable Cross-Domain Generalization for In-Context Reinforcement Learning [12.672720180188348]
  強化学習(RL)における中心的な課題は、訓練対象のタスクを超えて一般化するモデルを学習することである。 近年、トランスフォーマーアーキテクチャが有望なアプローチとして登場し、コンテキスト内学習による新しいタスクへの適応を可能にしている。 本研究では,非線形変換器とカーネルに基づく時間差分学習の関連性を確立する。
  論文  参考訳（メタデータ） (2026-05-10T19:52:29Z)
• Mechanistic Interpretability for Transformer-based Time Series Classification [1.8682641481190012]
  トランスフォーマーベースのモデルは、時系列分類を含むさまざまな機械学習タスクにおいて最先端のツールとなっている。 既存の説明可能性法は、しばしばインプット・アウトプットの属性に焦点を合わせ、内部メカニズムは概ね不透明である。 本稿では,アクティベーションパッチ,アテンションサリシティ,スパースオートエンコーダなど,様々な機械的解釈可能性技術を適用して,このギャップに対処する。
  論文  参考訳（メタデータ） (2025-11-26T15:46:29Z)
• Provable In-Context Learning of Nonlinear Regression with Transformers [66.99048542127768]
  In-context Learning (ICL) は、パラメータを更新することなくタスク固有のプロンプトを使用して見えないタスクを実行する能力である。 最近の研究はICLの背後にあるトレーニングのダイナミクスを積極的に探求しており、その多くは比較的単純なタスクに重点を置いている。 本稿では、変換器が文脈内学習能力をいかに獲得するかを明らかにすることを目的として、より複雑な非線形回帰タスクについて検討する。
  論文  参考訳（メタデータ） (2025-07-28T00:09:28Z)
• On the Existence of Universal Simulators of Attention [17.01811978811789]
  注意出力と基礎となる基本行列を同一に再現し、RASPを介してアクティベーション操作を行う方法を提案する。 我々の証明は、これまで学習によってのみ近似することが知られていたアルゴリズムによって達成可能なデータ非依存の解の存在を初めて示すものである。
  論文  参考訳（メタデータ） (2025-06-23T15:15:25Z)
• Understanding In-Context Learning on Structured Manifolds: Bridging Attention to Kernel Methods [45.94152084965753]
  我々は,アテンション機構と古典的カーネル手法の新たな接続を確立する。 トレーニングタスクの即時長と数の観点から一般化誤差境界を導出する。 この結果から, 一般化誤差がトレーニングタスク数でどのようにスケールするかを特徴付ける。
  論文  参考訳（メタデータ） (2025-06-12T17:56:26Z)
• Interpreting Affine Recurrence Learning in GPT-style Transformers [54.01174470722201]
  インコンテキスト学習により、GPTスタイルのトランスフォーマーは、重みを変更することなく推論中に一般化できる。 本稿では,ICLタスクとしてアフィンの再発を学習し,予測する能力に着目する。 実験的手法と理論的手法の両方を用いてモデルの内部動作を分析する。
  論文  参考訳（メタデータ） (2024-10-22T21:30:01Z)
• How Do Transformers Learn In-Context Beyond Simple Functions? A Case Study on Learning with Representations [98.7450564309923]
  本稿では、より複雑なシナリオにおける文脈内学習(ICL)の理解を、表現を用いた学習で研究する。 合成文内学習問題を合成構造を用いて構築し、ラベルは複雑なが固定された表現関数によって入力に依存する。 理論的には、そのようなアルゴリズムを軽度な深さと大きさでほぼ実装するトランスフォーマーの存在を示す。
  論文  参考訳（メタデータ） (2023-10-16T17:40:49Z)
• Transformers as Statisticians: Provable In-Context Learning with In-Context Algorithm Selection [88.23337313766353]
  この研究はまず、変換器がICLを実行するための包括的な統計理論を提供する。 コンテクストにおいて、トランスフォーマーは、幅広い種類の標準機械学習アルゴリズムを実装可能であることを示す。 エンフィングル変換器は、異なるベースICLアルゴリズムを適応的に選択することができる。
  論文  参考訳（メタデータ） (2023-06-07T17:59:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。