論文の概要: Understanding In-Context Learning for Nonlinear Regression with Transformers: Attention as Featurizer

• arxiv url: http://arxiv.org/abs/2605.05176v1
• Date: Wed, 06 May 2026 17:42:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-07 18:41:07.972032
• Title: Understanding In-Context Learning for Nonlinear Regression with Transformers: Attention as Featurizer
• Title（参考訳）: 変圧器を用いた非線形回帰の文脈内学習の理解:機能化への留意
• Abstract要約: 事前訓練されたトランスフォーマーは、プロンプトの一部として提供される例からウェイト更新なしで学ぶことができる。 非線形回帰設定における文脈内学習(ICL)について検討する。 合成回帰タスクの理論を数値的に検証する。
• 参考スコア（独自算出の注目度）: 45.94152084965753
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pre-trained transformers are able to learn from examples provided as part of the prompt without any weight updates, a remarkable ability known as in-context learning (ICL). Despite its demonstrated efficacy across various domains, the theoretical understanding of ICL is still developing. Whereas most existing theory has focused on linear models, we study ICL in the nonlinear regression setting. Through the interaction mechanism in attention, we explicitly construct transformer networks to realize nonlinear features, such as polynomial or spline bases, which span a wide class of functions. Based on this construction, we establish a framework to analyze end-to-end in-context nonlinear regression with the constructed features. Our theory provides finite-sample generalization error bounds in terms of context length and training set size. We numerically validate the theory on synthetic regression tasks.
• Abstract（参考訳）: 事前訓練されたトランスフォーマーは、ウェイト更新なしでプロンプトの一部として提供される例から学習することができる。 様々な領域で有効性が証明されているにもかかわらず、ICLの理論的理解はまだ発展途上である。 既存の理論では線形モデルに焦点が当てられているが、非線形回帰環境ではICLを研究する。 注目される相互作用機構を通じて,多種多様な関数にまたがる多項式やスプライン基底などの非線形特徴を実現するために,トランスフォーマネットワークを明示的に構築する。 この構成に基づいて、構築した特徴量を用いて、エンド・ツー・エンド・エンド・エンドの非線形回帰を解析する枠組みを確立する。 我々の理論は文脈長とトレーニングセットサイズの観点から有限サンプル一般化誤差境界を提供する。 合成回帰タスクの理論を数値的に検証する。

関連論文リスト

• Invariant Learning Dynamics of Transformers in Inductive Reasoning Tasks [50.79340930913805]
  文献で知られているいくつかの合成タスクを統一する帰納的タスクのクラスについて検討する。 低次元力学現象として回路形成を鋳造することにより、トランスフォーマーの学習方法に関する予測理論へと進む。
  論文  参考訳（メタデータ） (2026-07-13T17:56:11Z)
• Ghost in the Kernel: In-Context Learning with Efficient Transformers via Domain Generalization [17.68725202024536]
  トランスフォーマーに基づく大規模モデルは、様々なタスクにまたがる顕著な一般化能力を示している。 よりリッチなコンテキストでは、トランスフォーマーはパラメータを更新せずに現在のユースケースにより効果的に適応する。 しかし、文脈長に関する二次計算とメモリの複雑さは、ソフトマックス変換器のデータ処理を著しく遅くする。
  論文  参考訳（メタデータ） (2026-07-01T06:03:14Z)
• When Does Context Help? Error Dynamics of Contextual Information in Large Language Models [64.88201012057822]
  大規模言語モデルにおける任意の文脈情報の影響を分析するための統合理論フレームワークを提案する。 本分析は,出力誤差ダイナミクスによる文脈的影響を特徴付ける。 ICL、検索拡張生成、メモリ進化に関する実験は、我々の理論を検証し、原則化された文脈選択戦略を動機づける。
  論文  参考訳（メタデータ） (2026-02-09T05:58:41Z)
• Provable In-Context Learning of Nonlinear Regression with Transformers [66.99048542127768]
  In-context Learning (ICL) は、パラメータを更新することなくタスク固有のプロンプトを使用して見えないタスクを実行する能力である。 最近の研究はICLの背後にあるトレーニングのダイナミクスを積極的に探求しており、その多くは比較的単純なタスクに重点を置いている。 本稿では、変換器が文脈内学習能力をいかに獲得するかを明らかにすることを目的として、より複雑な非線形回帰タスクについて検討する。
  論文  参考訳（メタデータ） (2025-07-28T00:09:28Z)
• Exact Learning Dynamics of In-Context Learning in Linear Transformers and Its Application to Non-Linear Transformers [1.7034813545878589]
  トランスフォーマーモデルは、顕著なインコンテキスト学習(ICL)を示す 我々の研究は、ICLの正確な動的モデルを提供し、複雑なトランスフォーマートレーニングを解析するための理論的基盤ツールを提供する。
  論文  参考訳（メタデータ） (2025-04-17T13:05:33Z)
• Re-examining learning linear functions in context [4.126494564662494]
  In-context Learning (ICL) は大規模言語モデル(LLM)を様々なタスクに容易に適応するための強力なパラダイムとして登場した。 合成学習データを用いた制御設定でICLの簡単なモデルについて検討する。 本研究は,線形関数を文脈内で学習するためのアルゴリズム的アプローチをトランスフォーマーが採用する,一般的な物語に挑戦するものである。
  論文  参考訳（メタデータ） (2024-11-18T10:58:46Z)
• Cross-Entropy Is All You Need To Invert the Data Generating Process [29.94396019742267]
  経験的現象は、教師付きモデルが線形な方法で変化の解釈可能な要因を学習できることを示唆している。 近年の自己教師型学習の進歩により,データ生成過程を反転させることで潜在構造を復元できることが示されている。 標準分類タスクにおいても,モデルが線形変換までの変動の基底構造因子の表現を学習することが証明された。
  論文  参考訳（メタデータ） (2024-10-29T09:03:57Z)
• Learning Linear Attention in Polynomial Time [127.14106124669645]
  線形注意を持つ単層変圧器の学習性に関する最初の結果を提供する。 線形アテンションは RKHS で適切に定義された線形予測器とみなすことができる。 我々は,すべての経験的リスクが線形変換器と同等のトレーニングデータセットを効率的に識別する方法を示す。
  論文  参考訳（メタデータ） (2024-10-14T02:41:01Z)
• Asymptotic theory of in-context learning by linear attention [37.3817914656799]
  インコンテキスト学習はトランスフォーマーの成功の土台である。 ICLを成功させるためには、必要なサンプルの複雑さ、事前学習タスクの多様性、コンテキストの長さに関する質問は未解決のままである。
  論文  参考訳（メタデータ） (2024-05-20T03:24:24Z)
• How Do Nonlinear Transformers Learn and Generalize in In-Context Learning? [82.51626700527837]
  トランスフォーマーベースの大規模言語モデルでは、トレーニング済みのモデルが微調整なしで新しいタスクを処理できるような、コンテキスト内学習機能が印象的だった。 我々は、TransformerがICLを実現する方法の仕組みが、Transformerにおけるトレーニング問題の技術的課題にどのように貢献するかを分析する。
  論文  参考訳（メタデータ） (2024-02-23T21:07:20Z)
• Transformers Implement Functional Gradient Descent to Learn Non-Linear Functions In Context [44.949726166566236]
  非線形変換器は自然に関数空間の勾配降下を実装することを学習する。 また、非線形活性化の最適選択は、学習すべき関数のクラスに自然に依存していることも示している。
  論文  参考訳（メタデータ） (2023-12-11T17:05:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。