論文の概要: Why are Sensitive Functions Hard for Transformers?
- arxiv url: http://arxiv.org/abs/2402.09963v3
- Date: Sun, 3 Mar 2024 08:42:07 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-07 00:08:57.188198
- Title: Why are Sensitive Functions Hard for Transformers?
- Title(参考訳): なぜトランスフォーマーに敏感な機能が難しいのか?
- Authors: Michael Hahn, Mark Rofin
- Abstract要約: トランスアーキテクチャでは,ロスランドスケープは入力空間の感度によって制約されていることを示す。
我々は,この理論が変圧器の学習能力とバイアスに関する幅広い経験的観察を統一することを示す。
- 参考スコア(独自算出の注目度): 1.2561115505627547
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Empirical studies have identified a range of learnability biases and
limitations of transformers, such as a persistent difficulty in learning to
compute simple formal languages such as PARITY, and a bias towards low-degree
functions. However, theoretical understanding remains limited, with existing
expressiveness theory either overpredicting or underpredicting realistic
learning abilities. We prove that, under the transformer architecture, the loss
landscape is constrained by the input-space sensitivity: Transformers whose
output is sensitive to many parts of the input string inhabit isolated points
in parameter space, leading to a low-sensitivity bias in generalization. We
show theoretically and empirically that this theory unifies a broad array of
empirical observations about the learning abilities and biases of transformers,
such as their generalization bias towards low sensitivity and low degree, and
difficulty in length generalization for PARITY. This shows that understanding
transformers' inductive biases requires studying not just their in-principle
expressivity, but also their loss landscape.
- Abstract(参考訳): 実証的研究は、PARITYのような単純な形式言語を計算することの難しさや、低次関数に対するバイアスなど、トランスフォーマーの学習可能性バイアスと制限の幅を特定している。
しかし、理論的な理解は限られており、既存の表現力理論は現実的な学習能力を過大に予測または過小に予測している。
入力文字列の多くの部分に敏感な出力を持つトランスは、パラメータ空間内の孤立した点に存在し、一般化において低感度のバイアスをもたらす。
本研究では, この理論が, 低感度・低度への一般化バイアス, PARITYにおける長さ一般化の難しさなど, 変圧器の学習能力とバイアスに関する幅広い経験的観察を統一することを示す。
これは、トランスフォーマーの帰納的バイアスを理解するには、原理的な表現性だけでなく、損失の風景も研究する必要があることを示している。
関連論文リスト
- Simplicity Bias of Transformers to Learn Low Sensitivity Functions [19.898451497341714]
トランスフォーマーは多くのタスクで最先端の精度と堅牢性を達成する。
彼らが持っている誘導バイアスと、それらのバイアスが他のニューラルネットワークアーキテクチャとどのように異なるかを理解することは、まだ解明されていない。
論文 参考訳(メタデータ) (2024-03-11T17:12:09Z) - Transformers are Expressive, But Are They Expressive Enough for
Regression? [43.123290672073814]
我々は変換器が連続関数を確実に近似するのに苦労し、分割的に一定間隔の近似に頼っていることを論じる。
我々の貢献には、関数近似におけるトランスフォーマーの極限の根元を示す理論的解析と、その限界を検証するための広範な実験が含まれる。
論文 参考訳(メタデータ) (2024-02-23T18:12:53Z) - On the Convergence of Encoder-only Shallow Transformers [62.639819460956176]
エンコーダのみの浅部変圧器のグローバル収束理論を現実的な条件下で構築する。
我々の結果は、現代のトランスフォーマー、特にトレーニング力学の理解を深める道を開くことができる。
論文 参考訳(メタデータ) (2023-11-02T20:03:05Z) - Transformers learn in-context by gradient descent [58.24152335931036]
自己回帰目標におけるトランスフォーマーの訓練は、勾配に基づくメタラーニングの定式化と密接に関連している。
トレーニングされたトランスフォーマーがメザ最適化器となる方法,すなわち,前方通過における勾配降下によるモデル学習方法を示す。
論文 参考訳(メタデータ) (2022-12-15T09:21:21Z) - Simplicity Bias in Transformers and their Ability to Learn Sparse
Boolean Functions [29.461559919821802]
最近の研究によると、トランスフォーマーは反復モデルと比較していくつかの形式言語をモデル化するのに苦労している。
このことは、トランスフォーマーが実際になぜうまく機能するのか、また、リカレントモデルよりも良く一般化できるプロパティがあるかどうかという疑問を提起する。
論文 参考訳(メタデータ) (2022-11-22T15:10:48Z) - A Probabilistic Interpretation of Transformers [91.3755431537592]
本稿では,変圧器の指数点積注意の確率論的解釈と指数列に基づくコントラスト学習を提案する。
我々は、我々の理論とホップフィールド理論の理論的限界を述べ、分解の方向性を提案する。
論文 参考訳(メタデータ) (2022-04-28T23:05:02Z) - XAI for Transformers: Better Explanations through Conservative
Propagation [60.67748036747221]
変換器の勾配は局所的にのみ関数を反映しており、入力特徴の予測への寄与を確実に識別できないことを示す。
我々の提案は、よく確立されたLPP法のトランスフォーマーへの適切な拡張と見なすことができる。
論文 参考訳(メタデータ) (2022-02-15T10:47:11Z) - Pushing the Limits of Rule Reasoning in Transformers through Natural
Language Satisfiability [30.01308882849197]
本稿では,アルゴリズム推論データセットを作成するための新しい手法を提案する。
鍵となる考え方は、ハードプロポーズSAT問題の経験的なサンプリングや、言語に関する複雑性理論的な研究から洞察を得ることである。
十分なトレーニングデータを得た現在のトランスフォーマーは、結果のNLSat問題を解決するのに驚くほど堅牢であることがわかった。
論文 参考訳(メタデータ) (2021-12-16T17:47:20Z) - On the Power of Saturated Transformers: A View from Circuit Complexity [87.20342701232869]
飽和変圧器はハードアテンション変圧器の限界を超越していることを示す。
硬度から飽和度へのジャンプは、変換器の有効回路深さを$O(log n)$の係数で増加させると解釈できる。
論文 参考訳(メタデータ) (2021-06-30T17:09:47Z) - Is Supervised Syntactic Parsing Beneficial for Language Understanding?
An Empirical Investigation [71.70562795158625]
従来のNLPは、高レベルセマンティック言語理解(LU)の成功に必要な構文解析を長い間保持(教師付き)してきた。
近年のエンドツーエンドニューラルネットワークの出現、言語モデリング(LM)による自己監視、および幅広いLUタスクにおける成功は、この信念に疑問を投げかけている。
本研究では,LM-Pretrained Transformer Network の文脈における意味的LUに対する教師あり構文解析の有用性を実証的に検討する。
論文 参考訳(メタデータ) (2020-08-15T21:03:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。