論文の概要: Generalization Analysis of Transformers in Distribution Regression

• arxiv url: http://arxiv.org/abs/2606.29256v1
• Date: Sun, 28 Jun 2026 07:54:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:15.859935
• Title: Generalization Analysis of Transformers in Distribution Regression
• Title（参考訳）: 分散回帰における変圧器の一般化解析
• Abstract要約: 本稿ではトランスフォーマーとその関連技術の背後にあるメカニズムについて考察する。 注意演算子により、変換器は情報を失うことなく分布を関数表現に圧縮できることを示す。 新たなアテンション演算子の利点により、Transformersは畳み込みニューラルネットワークや完全に接続されたネットワークよりも複雑な構造を持つ関数を学ぶことができる。
• 参考スコア（独自算出の注目度）: 17.68725202024536
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, models based on the Transformer architecture have seen widespread applications and have become one of the core tools in the field of deep learning. Numerous successful techniques, such as parameter-efficient fine-tuning and efficient scaling, have been proposed surrounding their applications to further enhance performance. However, the success of these strategies has always lacked the support of rigorous mathematical theory. To study the underlying mechanisms behind Transformers and related techniques, we first propose a Transformer learning framework motivated by distribution regression, with distributions being inputs, connect a two-stage sampling process with natural language processing, and present a mathematical formulation of the attention mechanism called attention operator. We demonstrate that by the attention operator, Transformers can compress distributions into function representations without loss of information. Moreover, with the advantages of our novel attention operator, Transformers exhibit a stronger capability to learn functionals with more complex structures than convolutional neural networks and fully connected networks. Finally, we obtain a generalization bound within the distribution regression framework. Through the aforementioned theoretical results, we further discuss some successful techniques emerging with large language models (LLMs), such as prompt tuning, parameter-efficient fine-tuning, and efficient scaling. We also provide theoretical insights behind these techniques within our novel analysis framework.
• Abstract（参考訳）: 近年、Transformerアーキテクチャに基づくモデルは広く応用されており、ディープラーニング分野における中核的なツールの1つとなっている。 パラメータ効率のよい微調整や効率的なスケーリングといった多くの手法が提案されている。 しかし、これらの戦略の成功は常に厳密な数学的理論の支持を欠いていた。 トランスフォーマーとその関連技術の背後にあるメカニズムを研究するため,まず,分散回帰を動機としたトランスフォーマー学習フレームワークを提案し,その分布を入力とし,2段階のサンプリングプロセスと自然言語処理を接続し,アテンション演算子と呼ばれるアテンション機構の数学的定式化を提案する。 注意演算子により、変換器は情報を失うことなく分布を関数表現に圧縮できることを示す。 さらに、新しいアテンション演算子の利点により、Transformersは畳み込みニューラルネットワークや完全に接続されたネットワークよりも複雑な構造を持つ関数を学習する能力がある。 最後に、分布回帰フレームワーク内での一般化を得る。 以上の理論的な結果を通じて、プロンプトチューニング、パラメータ効率の良い微調整、効率的なスケーリングなど、大規模言語モデル(LLM)で現れるいくつかの成功技術についてさらに議論する。 また、新しい分析フレームワークにおいて、これらの技術の背後にある理論的洞察を提供する。

関連論文リスト

• Universal Approximation Theorem for a Single-Layer Transformer [0.0]
  ディープラーニングでは、バックプロパゲーションアルゴリズムによってトレーニングされた多層ニューラルネットワークを採用している。 トランスフォーマーは自然言語処理において最先端のパフォーマンスを達成した。 本研究では,ReLUアクティベーション付き位置対応フィードフォワードネットワークを付加した自己アテンション層からなる単一層トランスフォーマーが,コンパクト領域上の連続シーケンス・ツー・シーケンスマッピングを任意の精度で実現可能であることを証明した。
  論文  参考訳（メタデータ） (2025-07-11T11:37:39Z)
• Interpreting Affine Recurrence Learning in GPT-style Transformers [54.01174470722201]
  インコンテキスト学習により、GPTスタイルのトランスフォーマーは、重みを変更することなく推論中に一般化できる。 本稿では,ICLタスクとしてアフィンの再発を学習し,予測する能力に着目する。 実験的手法と理論的手法の両方を用いてモデルの内部動作を分析する。
  論文  参考訳（メタデータ） (2024-10-22T21:30:01Z)
• Strengthening Structural Inductive Biases by Pre-training to Perform Syntactic Transformations [75.14793516745374]
  中間学習によりトランスフォーマーの構造的帰納バイアスを強化することを提案する。 実験の結果,チャンキングなどの構文的タスクのわずかな学習に有効であることが確認された。 分析の結果,中間的事前学習は,どのトークンにシナティクス変換を適用する必要があるかを追尾する注意を喚起することが明らかとなった。
  論文  参考訳（メタデータ） (2024-07-05T14:29:44Z)
• Learning on Transformers is Provable Low-Rank and Sparse: A One-layer Analysis [63.66763657191476]
  低ランク計算としての効率的な数値学習と推論アルゴリズムはトランスフォーマーに基づく適応学習に優れた性能を持つことを示す。 我々は、等級モデルが適応性を改善しながら一般化にどのように影響するかを分析する。 適切なマグニチュードベースのテストは,テストパフォーマンスに多少依存している,と結論付けています。
  論文  参考訳（メタデータ） (2024-06-24T23:00:58Z)
• Dynamical Mean-Field Theory of Self-Attention Neural Networks [0.0]
  トランスフォーマーベースのモデルは、様々な領域で例外的な性能を示している。 動作方法や期待されるダイナミクスについてはほとんど分かっていない。 非平衡状態における非対称ホップフィールドネットワークの研究に手法を用いる。
  論文  参考訳（メタデータ） (2024-06-11T13:29:34Z)
• End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes [52.818579746354665]
  本稿では,ニューラルネットワークを一般化し,トランスフォーマーアーキテクチャを用いて獲得関数を学習する,エンド・ツー・エンドの差別化可能な最初のメタBOフレームワークを提案する。 我々は、この強化学習(RL)によるエンドツーエンドのフレームワークを、ラベル付き取得データの欠如に対処できるようにします。
  論文  参考訳（メタデータ） (2023-05-25T10:58:46Z)
• Convexifying Transformers: Improving optimization and understanding of transformer networks [56.69983975369641]
  本研究では,注目/変圧器ネットワークのトレーニング問題について検討し,新しい凸解析手法を提案する。 まず,自己注意機構の代替として凸を導入し,変圧器ネットワークの正規化学習問題を再構成する。 凸解析の副産物として,トークン間の空間性を促進する暗黙の規則化機構を明らかにする。
  論文  参考訳（メタデータ） (2022-11-20T18:17:47Z)
• Transformers are Meta-Reinforcement Learners [0.060917028769172814]
  本稿では,トランスアーキテクチャを用いたメモリ再配置機構を模倣したメタRLエージェントTrMRLを提案する。 本稿では,各層におけるベイズリスクを最小限に抑えるコンセンサス表現を自己注意で計算することを示す。 その結果, TrMRLは同等あるいは優れた性能, サンプル効率, アウト・オブ・ディストリビューションの一般化を示すことがわかった。
  論文  参考訳（メタデータ） (2022-06-14T06:21:13Z)
• CSformer: Bridging Convolution and Transformer for Compressive Sensing [65.22377493627687]
  本稿では,CNNからの詳細な空間情報を活用するためのハイブリッドフレームワークと,表現学習の強化を目的としたトランスフォーマーが提供するグローバルコンテキストを統合することを提案する。 提案手法は、適応的なサンプリングとリカバリからなるエンドツーエンドの圧縮画像センシング手法である。 実験により, 圧縮センシングにおける専用トランスアーキテクチャの有効性が示された。
  論文  参考訳（メタデータ） (2021-12-31T04:37:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。