論文の概要: Benign or Not-Benign Overfitting in Token Selection of Attention Mechanism

• arxiv url: http://arxiv.org/abs/2409.17625v1
• Date: Thu, 26 Sep 2024 08:20:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-28 21:53:57.539649
• Title: Benign or Not-Benign Overfitting in Token Selection of Attention Mechanism
• Title（参考訳）: 留意機構の選択におけるベニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニ
• Authors: Keitaro Sakamoto, Issei Sato,
• Abstract要約: 注目アーキテクチャのトークン選択機構における良性過剰適合の解析を行う。 私たちの知る限りでは、注意機構に対する良心過剰適合を特徴づける最初の研究である。
• 参考スコア（独自算出の注目度）: 34.316270145027616
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern over-parameterized neural networks can be trained to fit the training data perfectly while still maintaining a high generalization performance. This "benign overfitting" phenomenon has been studied in a surge of recent theoretical work; however, most of these studies have been limited to linear models or two-layer neural networks. In this work, we analyze benign overfitting in the token selection mechanism of the attention architecture, which characterizes the success of transformer models. We first show the existence of a benign overfitting solution and explain its mechanism in the attention architecture. Next, we discuss whether the model converges to such a solution, raising the difficulties specific to the attention architecture. We then present benign overfitting cases and not-benign overfitting cases by conditioning different scenarios based on the behavior of attention probabilities during training. To the best of our knowledge, this is the first study to characterize benign overfitting for the attention mechanism.
• Abstract（参考訳）: 現代の過パラメータニューラルネットワークは、高い一般化性能を維持しながら、トレーニングデータを完璧に適合するようにトレーニングすることができる。 この「良性過剰適合」現象は近年の理論的研究の急増の中で研究されてきたが、これらの研究のほとんどは線形モデルや二層ニューラルネットワークに限られている。 本研究では,アテンションアーキテクチャのトークン選択機構における良性過剰適合の解析を行い,トランスフォーマーモデルの成功を特徴付ける。 まず、良質な過剰適合解の存在を示し、注意アーキテクチャにおけるそのメカニズムを説明します。 次に、モデルがそのような解に収束するかどうかを議論し、注意アーキテクチャに特有の困難を提起する。 次に,訓練中の注意確率の挙動に基づいて,異なるシナリオを条件づけることにより,良性過適合事例と良性過適合症例を提示する。 私たちの知る限りでは、注意機構に対する良心過剰適合を特徴づける最初の研究である。

関連論文リスト

• On the Emergence of Position Bias in Transformers [59.87743433861665]
  本稿では,多層アテンションにおける位置バイアスを解析するための新しいグラフ理論フレームワークを提案する。 我々は,トークンが逐次位置に基づいてコンテキスト情報とどのように相互作用するかを定量化する。 我々のフレームワークは、トランスにおける位置バイアスを理解するための原則的な基盤を提供する。
  論文  参考訳（メタデータ） (2025-02-04T02:53:07Z)
• Active-Dormant Attention Heads: Mechanistically Demystifying Extreme-Token Phenomena in LLMs [77.66717051042032]
  実践者は変圧器に基づく大言語モデルにおいて、3つのパズリング現象を一貫して観察してきた。 これらの現象は、ある種のいわゆる「シンクトークン」が不当に高い注意重みを負っているのが特徴である。 極端トーケン現象のメカニズムを解明する。
  論文  参考訳（メタデータ） (2024-10-17T17:54:06Z)
• CAFO: Feature-Centric Explanation on Time Series Classification [6.079474513317929]
  MTSの現在の説明法は、主に時間中心の説明に焦点を当てており、重要な期間を特定できるが、重要な特徴を特定するのにはあまり効果がない。 本研究は,MCSのための新しい特徴中心的説明・評価フレームワークであるCAFOについて紹介する。 フレームワークの有効性は、2つの主要な公開ベンチマークと実世界のデータセットに関する広範な実証分析を通じて検証される。
  論文  参考訳（メタデータ） (2024-06-03T23:06:45Z)
• A phase transition between positional and semantic learning in a solvable model of dot-product attention [30.96921029675713]
  学習可能な,低次元の問合せとキーデータを備えた非次元自己注意層として,高次モデルドット積注意法について検討した。 位置注意機構(それぞれの位置に基づくトークンを含む)と意味注意機構(それぞれの意味に基づいて互いに結びついているトークンを含む)と、サンプルの複雑さが増大する前者から後者への遷移が示される。
  論文  参考訳（メタデータ） (2024-02-06T11:13:54Z)
• Naturalness of Attention: Revisiting Attention in Code Language Models [3.756550107432323]
  CodeBERTのようなコードの言語モデルは、高度なソースコード表現を学習する機能を提供するが、その不透明さは、取得したプロパティを理解する上で障壁となる。 本研究は、注意重みを超える注意機構のこれまで無視されていた要因について、いくつかの光を当てることを目的としている。
  論文  参考訳（メタデータ） (2023-11-22T16:34:12Z)
• A Theoretical Understanding of Shallow Vision Transformers: Learning, Generalization, and Sample Complexity [71.11795737362459]
  自己注意モジュールを持つViTは、最近多くのタスクで経験的な成功を収めた。 しかし、理論学習の一般化分析は、ほとんどノイズが多く、解答的である。 本稿では,分類タスクのための浅いViTの理論的解析を行った。
  論文  参考訳（メタデータ） (2023-02-12T22:12:35Z)
• Guiding Visual Question Answering with Attention Priors [76.21671164766073]
  本稿では,言語・視覚的接地による注意機構の導出について述べる。 この基礎は、クエリ内の構造化言語概念を視覚オブジェクト間の参照物に接続することで導かれる。 このアルゴリズムは、注意に基づく推論モデルを調べ、関連する連想的知識を注入し、コア推論プロセスを制御する。
  論文  参考訳（メタデータ） (2022-05-25T09:53:47Z)
• SparseBERT: Rethinking the Importance Analysis in Self-attention [107.68072039537311]
  トランスフォーマーベースのモデルは、その強力な能力のために自然言語処理(NLP)タスクに人気がある。 事前学習モデルの注意マップの可視化は,自己着脱機構を理解するための直接的な方法の一つである。 本研究では,sparsebert設計の指導にも適用可能な微分可能アテンションマスク(dam)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-25T14:13:44Z)
• Attention or memory? Neurointerpretable agents in space and time [0.0]
  本研究では,意味的特徴空間にタスク状態表現を実装する自己認識機構を組み込んだモデルの設計を行う。 エージェントの選択的特性を評価するために,多数のタスク非関連特徴を観察に付加する。 神経科学の予測に従って、自己注意は、ベンチマークモデルと比較してノイズに対する堅牢性を高める。
  論文  参考訳（メタデータ） (2020-07-09T15:04:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。