論文の概要: Benign or Not-Benign Overfitting in Token Selection of Attention Mechanism

• arxiv url: http://arxiv.org/abs/2409.17625v1
• Date: Thu, 26 Sep 2024 08:20:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-28 21:53:57.539649
• Title: Benign or Not-Benign Overfitting in Token Selection of Attention Mechanism
• Title（参考訳）: 留意機構の選択におけるベニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニ
• Authors: Keitaro Sakamoto, Issei Sato,
• Abstract要約: 注目アーキテクチャのトークン選択機構における良性過剰適合の解析を行う。 私たちの知る限りでは、注意機構に対する良心過剰適合を特徴づける最初の研究である。
• 参考スコア（独自算出の注目度）: 34.316270145027616
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern over-parameterized neural networks can be trained to fit the training data perfectly while still maintaining a high generalization performance. This "benign overfitting" phenomenon has been studied in a surge of recent theoretical work; however, most of these studies have been limited to linear models or two-layer neural networks. In this work, we analyze benign overfitting in the token selection mechanism of the attention architecture, which characterizes the success of transformer models. We first show the existence of a benign overfitting solution and explain its mechanism in the attention architecture. Next, we discuss whether the model converges to such a solution, raising the difficulties specific to the attention architecture. We then present benign overfitting cases and not-benign overfitting cases by conditioning different scenarios based on the behavior of attention probabilities during training. To the best of our knowledge, this is the first study to characterize benign overfitting for the attention mechanism.
• Abstract（参考訳）: 現代の過パラメータニューラルネットワークは、高い一般化性能を維持しながら、トレーニングデータを完璧に適合するようにトレーニングすることができる。 この「良性過剰適合」現象は近年の理論的研究の急増の中で研究されてきたが、これらの研究のほとんどは線形モデルや二層ニューラルネットワークに限られている。 本研究では,アテンションアーキテクチャのトークン選択機構における良性過剰適合の解析を行い,トランスフォーマーモデルの成功を特徴付ける。 まず、良質な過剰適合解の存在を示し、注意アーキテクチャにおけるそのメカニズムを説明します。 次に、モデルがそのような解に収束するかどうかを議論し、注意アーキテクチャに特有の困難を提起する。 次に,訓練中の注意確率の挙動に基づいて,異なるシナリオを条件づけることにより,良性過適合事例と良性過適合症例を提示する。 私たちの知る限りでは、注意機構に対する良心過剰適合を特徴づける最初の研究である。

関連論文リスト

• Deep Learning Through A Telescoping Lens: A Simple Model Provides Empirical Insights On Grokking, Gradient Boosting & Beyond [61.18736646013446]
  その驚くべき振る舞いをより深く理解するために、トレーニングされたニューラルネットワークの単純かつ正確なモデルの有用性について検討する。 3つのケーススタディで、様々な顕著な現象に関する新しい経験的洞察を導き出すためにどのように適用できるかを説明します。
  論文  参考訳（メタデータ） (2024-10-31T22:54:34Z)
• A phase transition between positional and semantic learning in a solvable model of dot-product attention [30.96921029675713]
  学習可能な,低次元の問合せとキーデータを備えた非次元自己注意層として,高次モデルドット積注意法について検討した。 位置注意機構(それぞれの位置に基づくトークンを含む)と意味注意機構(それぞれの意味に基づいて互いに結びついているトークンを含む)と、サンプルの複雑さが増大する前者から後者への遷移が示される。
  論文  参考訳（メタデータ） (2024-02-06T11:13:54Z)
• A Survey on Transferability of Adversarial Examples across Deep Neural Networks [53.04734042366312]
  逆の例では、機械学習モデルを操作して誤った予測を行うことができます。 敵の例の転送可能性により、ターゲットモデルの詳細な知識を回避できるブラックボックス攻撃が可能となる。 本研究は, 対角移動可能性の展望を考察した。
  論文  参考訳（メタデータ） (2023-10-26T17:45:26Z)
• Unraveling Feature Extraction Mechanisms in Neural Networks [10.13842157577026]
  本稿では, ニューラルネットワークカーネル(NTK)に基づく理論的手法を提案し, そのメカニズムを解明する。 これらのモデルが勾配降下時の統計的特徴をどのように活用し、最終決定にどのように統合されるかを明らかにする。 自己注意モデルとCNNモデルはn-gramの学習の限界を示すが、乗算モデルはこの領域で優れていると考えられる。
  論文  参考訳（メタデータ） (2023-10-25T04:22:40Z)
• Robust Graph Representation Learning via Predictive Coding [46.22695915912123]
  予測符号化は、当初脳の情報処理をモデル化するために開発されたメッセージパッシングフレームワークである。 本研究では,予測符号化のメッセージパス規則に依存するモデルを構築する。 提案したモデルは,帰納的タスクと帰納的タスクの両方において,標準的なモデルに匹敵する性能を示す。
  論文  参考訳（メタデータ） (2022-12-09T03:58:22Z)
• Attention mechanisms for physiological signal deep learning: which attention should we take? [0.0]
  我々は,4つのアテンション機構(例えば,圧縮励起,非局所的,畳み込みブロックアテンションモジュール,マルチヘッド自己アテンション)と3つの畳み込みニューラルネットワーク(CNN)アーキテクチャを実験的に解析した。 生理信号深層学習モデルの性能と収束性に関する複数の組み合わせを評価した。
  論文  参考訳（メタデータ） (2022-07-04T07:24:08Z)
• Benign Overfitting in Two-layer Convolutional Neural Networks [90.75603889605043]
  2層畳み込みニューラルネットワーク(CNN)の訓練における良性過剰適合現象の検討 信号対雑音比が一定の条件を満たすと、勾配降下により訓練された2層CNNが任意に小さな訓練と試験損失を達成できることを示す。 一方、この条件が保たない場合、オーバーフィッティングは有害となり、得られたCNNは一定レベルのテスト損失しか達成できない。
  論文  参考訳（メタデータ） (2022-02-14T07:45:51Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• On the Dynamics of Training Attention Models [30.85940880569692]
  勾配勾配勾配を用いた簡単な注意に基づく分類モデルの訓練の力学について検討する。 我々は、注意出力が線形分類器によって分類される場合、訓練は識別語への参加に収束しなければならないことを証明した。
  論文  参考訳（メタデータ） (2020-11-19T18:55:30Z)
• Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
  グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。 この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
  論文  参考訳（メタデータ） (2020-11-18T18:52:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。