論文の概要: Convexifying Transformers: Improving optimization and understanding of
transformer networks
- arxiv url: http://arxiv.org/abs/2211.11052v1
- Date: Sun, 20 Nov 2022 18:17:47 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-22 17:16:52.117246
- Title: Convexifying Transformers: Improving optimization and understanding of
transformer networks
- Title(参考訳): 対流変圧器:変圧器ネットワークの最適化と理解の改善
- Authors: Tolga Ergen, Behnam Neyshabur, Harsh Mehta
- Abstract要約: 本研究では,注目/変圧器ネットワークのトレーニング問題について検討し,新しい凸解析手法を提案する。
まず,自己注意機構の代替として凸を導入し,変圧器ネットワークの正規化学習問題を再構成する。
凸解析の副産物として,トークン間の空間性を促進する暗黙の規則化機構を明らかにする。
- 参考スコア(独自算出の注目度): 56.69983975369641
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Understanding the fundamental mechanism behind the success of transformer
networks is still an open problem in the deep learning literature. Although
their remarkable performance has been mostly attributed to the self-attention
mechanism, the literature still lacks a solid analysis of these networks and
interpretation of the functions learned by them. To this end, we study the
training problem of attention/transformer networks and introduce a novel convex
analytic approach to improve the understanding and optimization of these
networks. Particularly, we first introduce a convex alternative to the
self-attention mechanism and reformulate the regularized training problem of
transformer networks with our alternative convex attention. Then, we cast the
reformulation as a convex optimization problem that is interpretable and easier
to optimize. Moreover, as a byproduct of our convex analysis, we reveal an
implicit regularization mechanism, which promotes sparsity across tokens.
Therefore, we not only improve the optimization of attention/transformer
networks but also provide a solid theoretical understanding of the functions
learned by them. We also demonstrate the effectiveness of our theory through
several numerical experiments.
- Abstract(参考訳): トランスフォーマーネットワークの成功の背後にある基本的なメカニズムを理解することは、ディープラーニング文学において依然として未解決の問題である。
彼らの顕著なパフォーマンスは、主に自己認識機構によるものであるが、これらのネットワークのしっかりとした分析とそれらが学習した関数の解釈がまだ欠けている。
そこで本研究では,アテンション/トランスフォーマーネットワークのトレーニング問題を考察し,これらのネットワークの理解と最適化を改善するための新しい凸解析手法を提案する。
特に,まず,自己着脱機構に代わる凸方式を導入し,代替凸に注目した変圧器ネットワークの正規化トレーニング問題を再構成する。
そこで我々は,この改定を,解釈可能かつ容易に最適化できる凸最適化問題とみなした。
さらに,凸解析の副産物として,トークン間のスパーシティを促進する暗黙の正規化機構を明らかにする。
したがって、注意/変圧器ネットワークの最適化を改良するだけでなく、それらが学習した関数に関する理論的な理解も提供する。
また,いくつかの数値実験により,本理論の有効性を示す。
関連論文リスト
- Analyzing and Enhancing the Backward-Pass Convergence of Unrolled
Optimization [50.38518771642365]
ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。
この設定における中心的な課題は最適化問題の解によるバックプロパゲーションであり、しばしば閉形式を欠いている。
本稿では, 非線形最適化の後方通過に関する理論的知見を提供し, 特定の反復法による線形システムの解と等価であることを示す。
Folded Optimizationと呼ばれるシステムが提案され、非ローリングなソルバ実装からより効率的なバックプロパゲーションルールを構築する。
論文 参考訳(メタデータ) (2023-12-28T23:15:18Z) - On the Convergence of Encoder-only Shallow Transformers [62.639819460956176]
エンコーダのみの浅部変圧器のグローバル収束理論を現実的な条件下で構築する。
我々の結果は、現代のトランスフォーマー、特にトレーニング力学の理解を深める道を開くことができる。
論文 参考訳(メタデータ) (2023-11-02T20:03:05Z) - An Adaptive Tangent Feature Perspective of Neural Networks [4.900298402690262]
特徴量の線形変換を考察し、パラメータと双線型制約による変換を共同で最適化する。
ニューラルネットワークの構造に特化して、機能がどのように変化し、カーネル関数が変化するかについての洞察を得る。
実ニューラルネットワークのカーネルアライメントにおける理論的観察を検証する。
論文 参考訳(メタデータ) (2023-08-29T17:57:20Z) - Centered Self-Attention Layers [89.21791761168032]
変圧器の自己保持機構とグラフニューラルネットワークのメッセージ通過機構を繰り返し適用する。
我々は、このアプリケーションが必然的に、より深い層での同様の表現に過剰なスムーシングをもたらすことを示す。
これらの機構の集約演算子に補正項を提示する。
論文 参考訳(メタデータ) (2023-06-02T15:19:08Z) - Backpropagation of Unrolled Solvers with Folded Optimization [55.04219793298687]
ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。
1つの典型的な戦略はアルゴリズムのアンローリングであり、これは反復解法の操作による自動微分に依存している。
本稿では,非ロール最適化の後方通過に関する理論的知見を提供し,効率よく解けるバックプロパゲーション解析モデルを生成するシステムに繋がる。
論文 参考訳(メタデータ) (2023-01-28T01:50:42Z) - Convergence Analysis and Implicit Regularization of Feedback Alignment
for Deep Linear Networks [27.614609336582568]
ニューラルネットワークのトレーニングのためのバックプロパゲーションの効率的な代替手段であるフィードバックアライメント(FA)アルゴリズムを理論的に解析する。
我々は、連続力学と離散力学の両方に対して、ディープ線形ネットワークのレートで収束保証を提供する。
論文 参考訳(メタデータ) (2021-10-20T22:57:03Z) - Attention that does not Explain Away [54.42960937271612]
Transformerアーキテクチャに基づくモデルは、大規模なタスクに対して競合するアーキテクチャに基づくモデルよりも精度が高い。
Transformerのユニークな特徴は、任意の距離で自由な情報の流れを可能にする自己認識機構の普遍的な応用である。
本稿では,実装が簡単で,"説明的回避"効果を避けるための理論的保証を提供する,二重正規化アテンション方式を提案する。
論文 参考訳(メタデータ) (2020-09-29T21:05:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。