論文の概要: Simplicity Bias of Transformers to Learn Low Sensitivity Functions

• arxiv url: http://arxiv.org/abs/2403.06925v1
• Date: Mon, 11 Mar 2024 17:12:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-12 17:53:30.949569
• Title: Simplicity Bias of Transformers to Learn Low Sensitivity Functions
• Title（参考訳）: 低感度関数学習のための変圧器の単純バイアス
• Authors: Bhavya Vasudeva, Deqing Fu, Tianyi Zhou, Elliott Kau, Youqi Huang, Vatsal Sharan
• Abstract要約: トランスフォーマーは多くのタスクで最先端の精度と堅牢性を達成する。 彼らが持っている誘導バイアスと、それらのバイアスが他のニューラルネットワークアーキテクチャとどのように異なるかを理解することは、まだ解明されていない。
• 参考スコア（独自算出の注目度）: 19.898451497341714
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Transformers achieve state-of-the-art accuracy and robustness across many tasks, but an understanding of the inductive biases that they have and how those biases are different from other neural network architectures remains elusive. Various neural network architectures such as fully connected networks have been found to have a simplicity bias towards simple functions of the data; one version of this simplicity bias is a spectral bias to learn simple functions in the Fourier space. In this work, we identify the notion of sensitivity of the model to random changes in the input as a notion of simplicity bias which provides a unified metric to explain the simplicity and spectral bias of transformers across different data modalities. We show that transformers have lower sensitivity than alternative architectures, such as LSTMs, MLPs and CNNs, across both vision and language tasks. We also show that low-sensitivity bias correlates with improved robustness; furthermore, it can also be used as an efficient intervention to further improve the robustness of transformers.
• Abstract（参考訳）: トランスフォーマーは多くのタスクにおいて最先端の精度と堅牢性を達成するが、それらが持つ帰納的バイアスと、それらのバイアスが他のニューラルネットワークアーキテクチャとどのように異なるかを理解することは、まだ解明されていない。 完全連結ネットワークのような様々なニューラルネットワークアーキテクチャは、データの単純な関数に対する単純バイアスを持つことが分かっており、この単純バイアスの1つのバージョンは、フーリエ空間で単純な関数を学ぶためのスペクトルバイアスである。 本研究では,入力のランダムな変化に対するモデルの感度の概念を,データモダリティの異なるトランスフォーマーの単純さとスペクトルバイアスを説明するための統一された指標である単純度バイアスの概念として同定する。 我々は、トランスフォーマーが視覚と言語の両方でLSTM、MLP、CNNなどの代替アーキテクチャよりも感度が低いことを示す。 また,低感度バイアスは頑健性の向上と相関することを示すとともに,変圧器の頑健性向上のための効果的な介入として利用することもできる。

関連論文リスト

• A distributional simplicity bias in the learning dynamics of transformers [50.91742043564049]
  自然言語データに基づいてトレーニングされたトランスフォーマーは、単純さのバイアスも示している。 具体的には、入力トークン間の多体相互作用を逐次学習し、低次相互作用の予測誤差において飽和点に達する。 このアプローチは、自然言語処理などにおいて、データ内の異なる順序の相互作用が学習にどのように影響するかを研究する可能性を開く。
  論文  参考訳（メタデータ） (2024-10-25T15:39:34Z)
• What Does It Mean to Be a Transformer? Insights from a Theoretical Hessian Analysis [8.008567379796666]
  Transformerアーキテクチャは、間違いなくディープラーニングに革命をもたらした。 中心となる注意ブロックは、ディープラーニングにおける他のほとんどのアーキテクチャコンポーネントと形式と機能の違いです。 これらの外向きの表現の背後にある根本原因と、それらを管理する正確なメカニズムは、まだ理解されていないままである。
  論文  参考訳（メタデータ） (2024-10-14T18:15:02Z)
• Learning on Transformers is Provable Low-Rank and Sparse: A One-layer Analysis [63.66763657191476]
  低ランク計算としての効率的な数値学習と推論アルゴリズムはトランスフォーマーに基づく適応学習に優れた性能を持つことを示す。 我々は、等級モデルが適応性を改善しながら一般化にどのように影響するかを分析する。 適切なマグニチュードベースのテストは,テストパフォーマンスに多少依存している,と結論付けています。
  論文  参考訳（メタデータ） (2024-06-24T23:00:58Z)
• Why are Sensitive Functions Hard for Transformers? [1.0632690677209804]
  トランスアーキテクチャでは,ロスランドスケープは入力空間の感度によって制約されていることを示す。 我々は,この理論が変圧器の学習能力とバイアスに関する幅広い経験的観察を統一することを示す。
  論文  参考訳（メタデータ） (2024-02-15T14:17:51Z)
• A Scalable Walsh-Hadamard Regularizer to Overcome the Low-degree Spectral Bias of Neural Networks [79.28094304325116]
  任意の関数を学習するニューラルネットワークの能力にもかかわらず、勾配降下によって訓練されたモデルは、しばしばより単純な関数に対するバイアスを示す。 我々は、この低度周波数に対するスペクトルバイアスが、現実のデータセットにおけるニューラルネットワークの一般化を実際にいかに損なうかを示す。 本稿では,ニューラルネットワークによる高次周波数学習を支援する,スケーラブルな機能正規化手法を提案する。
  論文  参考訳（メタデータ） (2023-05-16T20:06:01Z)
• Mitigating Bias in Visual Transformers via Targeted Alignment [8.674650784377196]
  コンピュータビジョンに適用されたトランスフォーマーの公正性について検討し、先行研究からいくつかのバイアス緩和アプローチをベンチマークする。 本稿では,主にクエリ行列の特徴からバイアスを発見し,除去することを目的とした,デバイアス変換器のアライメント戦略であるTADeTを提案する。
  論文  参考訳（メタデータ） (2023-02-08T22:11:14Z)
• Simplicity Bias in Transformers and their Ability to Learn Sparse Boolean Functions [29.461559919821802]
  最近の研究によると、トランスフォーマーは反復モデルと比較していくつかの形式言語をモデル化するのに苦労している。 このことは、トランスフォーマーが実際になぜうまく機能するのか、また、リカレントモデルよりも良く一般化できるプロパティがあるかどうかという疑問を提起する。
  論文  参考訳（メタデータ） (2022-11-22T15:10:48Z)
• Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
  勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。 その後、トレーニング中にのみ高次の統計を利用する。 本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
  論文  参考訳（メタデータ） (2022-11-21T15:27:22Z)
• Vision Transformers are Robust Learners [65.91359312429147]
  ビジョントランスフォーマー(ViT)の一般的な腐敗や摂動、分布シフト、自然逆転例に対する堅牢性について検討します。 ViTsが実際により堅牢な学習者である理由を説明するために、定量的および定性的な指標を提供する分析を提示します。
  論文  参考訳（メタデータ） (2021-05-17T02:39:22Z)
• Robustness Verification for Transformers [165.25112192811764]
  我々はトランスフォーマーのための最初のロバスト性検証アルゴリズムを開発した。 提案手法で計算したロバスト性境界は, 素粒子間境界伝播法で計算したロバスト性境界よりもかなり厳密である。 これらの境界はまた、感情分析における異なる単語の重要性を常に反映しているトランスフォーマーの解釈にも光を当てている。
  論文  参考訳（メタデータ） (2020-02-16T17:16:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。