論文の概要: Simplicity Bias of Transformers to Learn Low Sensitivity Functions

• arxiv url: http://arxiv.org/abs/2403.06925v1
• Date: Mon, 11 Mar 2024 17:12:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-12 17:53:30.949569
• Title: Simplicity Bias of Transformers to Learn Low Sensitivity Functions
• Title（参考訳）: 低感度関数学習のための変圧器の単純バイアス
• Authors: Bhavya Vasudeva, Deqing Fu, Tianyi Zhou, Elliott Kau, Youqi Huang, Vatsal Sharan
• Abstract要約: トランスフォーマーは多くのタスクで最先端の精度と堅牢性を達成する。 彼らが持っている誘導バイアスと、それらのバイアスが他のニューラルネットワークアーキテクチャとどのように異なるかを理解することは、まだ解明されていない。
• 参考スコア（独自算出の注目度）: 19.898451497341714
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Transformers achieve state-of-the-art accuracy and robustness across many tasks, but an understanding of the inductive biases that they have and how those biases are different from other neural network architectures remains elusive. Various neural network architectures such as fully connected networks have been found to have a simplicity bias towards simple functions of the data; one version of this simplicity bias is a spectral bias to learn simple functions in the Fourier space. In this work, we identify the notion of sensitivity of the model to random changes in the input as a notion of simplicity bias which provides a unified metric to explain the simplicity and spectral bias of transformers across different data modalities. We show that transformers have lower sensitivity than alternative architectures, such as LSTMs, MLPs and CNNs, across both vision and language tasks. We also show that low-sensitivity bias correlates with improved robustness; furthermore, it can also be used as an efficient intervention to further improve the robustness of transformers.
• Abstract（参考訳）: トランスフォーマーは多くのタスクにおいて最先端の精度と堅牢性を達成するが、それらが持つ帰納的バイアスと、それらのバイアスが他のニューラルネットワークアーキテクチャとどのように異なるかを理解することは、まだ解明されていない。 完全連結ネットワークのような様々なニューラルネットワークアーキテクチャは、データの単純な関数に対する単純バイアスを持つことが分かっており、この単純バイアスの1つのバージョンは、フーリエ空間で単純な関数を学ぶためのスペクトルバイアスである。 本研究では,入力のランダムな変化に対するモデルの感度の概念を,データモダリティの異なるトランスフォーマーの単純さとスペクトルバイアスを説明するための統一された指標である単純度バイアスの概念として同定する。 我々は、トランスフォーマーが視覚と言語の両方でLSTM、MLP、CNNなどの代替アーキテクチャよりも感度が低いことを示す。 また,低感度バイアスは頑健性の向上と相関することを示すとともに,変圧器の頑健性向上のための効果的な介入として利用することもできる。

関連論文リスト

• Differential Transformer [99.5117269150629]
  トランスフォーマーは、無関係な文脈に注意を向ける傾向がある。 Diff Transformerを導入し、ノイズをキャンセルしながら関連するコンテキストに注意を向ける。 ロングコンテキストモデリング、キー情報検索、幻覚緩和、インコンテキスト学習、アクティベーションアウトリーの削減など、実用的な応用において顕著な利点がある。
  論文  参考訳（メタデータ） (2024-10-07T17:57:38Z)
• Why are Sensitive Functions Hard for Transformers? [1.0632690677209804]
  トランスアーキテクチャでは,ロスランドスケープは入力空間の感度によって制約されていることを示す。 我々は,この理論が変圧器の学習能力とバイアスに関する幅広い経験的観察を統一することを示す。
  論文  参考訳（メタデータ） (2024-02-15T14:17:51Z)
• Simplicity Bias in Transformers and their Ability to Learn Sparse Boolean Functions [29.461559919821802]
  最近の研究によると、トランスフォーマーは反復モデルと比較していくつかの形式言語をモデル化するのに苦労している。 このことは、トランスフォーマーが実際になぜうまく機能するのか、また、リカレントモデルよりも良く一般化できるプロパティがあるかどうかという疑問を提起する。
  論文  参考訳（メタデータ） (2022-11-22T15:10:48Z)
• The Lazy Neuron Phenomenon: On Emergence of Activation Sparsity in Transformers [59.87030906486969]
  本稿では,Transformer アーキテクチャを用いた機械学習モデルにおいて,アクティベーションマップが疎いという興味深い現象について考察する。 本稿では, 自然言語処理と視覚処理の両方において, スパーシリティが顕著な現象であることを示す。 本稿では,変換器のFLOP数を大幅に削減し,効率を向上する手法について論じる。
  論文  参考訳（メタデータ） (2022-10-12T15:25:19Z)
• The Nuts and Bolts of Adopting Transformer in GANs [124.30856952272913]
  高忠実度画像合成のためのGAN(Generative Adversarial Network)フレームワークにおけるTransformerの特性について検討する。 我々の研究は、STrans-Gと呼ばれる畳み込みニューラルネットワーク(CNN)フリージェネレータであるGANにおけるトランスフォーマーの新しい代替設計につながる。
  論文  参考訳（メタデータ） (2021-10-25T17:01:29Z)
• Vision Transformers are Robust Learners [65.91359312429147]
  ビジョントランスフォーマー(ViT)の一般的な腐敗や摂動、分布シフト、自然逆転例に対する堅牢性について検討します。 ViTsが実際により堅牢な学習者である理由を説明するために、定量的および定性的な指標を提供する分析を提示します。
  論文  参考訳（メタデータ） (2021-05-17T02:39:22Z)
• On the Adversarial Robustness of Visual Transformers [129.29523847765952]
  本研究は、視覚変換器(ViT)の対逆的摂動に対する堅牢性に関する最初の包括的な研究を提供する。 さまざまなホワイトボックスとトランスファーアタック設定でテストされた ViT は、畳み込みニューラルネットワーク (CNN) と比較して、より優れた敵対的堅牢性を持っています。
  論文  参考訳（メタデータ） (2021-03-29T14:48:24Z)
• Translational Equivariance in Kernelizable Attention [3.236198583140341]
  本稿では,カーネル可能な注意に基づく効率的なトランスフォーマにおいて,翻訳等価性を実現する方法を示す。 実験では,提案手法が入力画像のシフトに対する演奏者のロバスト性を大幅に改善することを強調する。
  論文  参考訳（メタデータ） (2021-02-15T17:14:15Z)
• Robustness Verification for Transformers [165.25112192811764]
  我々はトランスフォーマーのための最初のロバスト性検証アルゴリズムを開発した。 提案手法で計算したロバスト性境界は, 素粒子間境界伝播法で計算したロバスト性境界よりもかなり厳密である。 これらの境界はまた、感情分析における異なる単語の重要性を常に反映しているトランスフォーマーの解釈にも光を当てている。
  論文  参考訳（メタデータ） (2020-02-16T17:16:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。