論文の概要: Benign Overfitting in Token Selection of Attention Mechanism

• arxiv url: http://arxiv.org/abs/2409.17625v2
• Date: Fri, 31 Jan 2025 13:09:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-03 13:58:43.769827
• Title: Benign Overfitting in Token Selection of Attention Mechanism
• Title（参考訳）: 留意機構の選択における便益オーバーフィッティング
• Authors: Keitaro Sakamoto, Issei Sato,
• Abstract要約: ラベルノイズを伴う分類問題における注意機構の学習力学と一般化能力について検討した。 本稿では,信号対雑音比(SNR)の特性から,アテンション機構のトークン選択が過度に適合することを示す。 我々の研究は、オーバーフィッティングの初期段階の後に一般化の獲得が遅れていることも示している。
• 参考スコア（独自算出の注目度）: 34.316270145027616
• License:
• Abstract: Attention mechanism is a fundamental component of the transformer model and plays a significant role in its success. However, the theoretical understanding of how attention learns to select tokens is still an emerging area of research. In this work, we study the training dynamics and generalization ability of the attention mechanism under classification problems with label noise. We show that, with the characterization of signal-to-noise ratio (SNR), the token selection of attention mechanism achieves benign overfitting, i.e., maintaining high generalization performance despite fitting label noise. Our work also demonstrates an interesting delayed acquisition of generalization after an initial phase of overfitting. Finally, we provide experiments to support our theoretical analysis using both synthetic and real-world datasets.
• Abstract（参考訳）: 注意機構はトランスモデルの基本的な構成要素であり、その成功に重要な役割を果たす。 しかし、注意がどのようにトークンを選択するかについての理論的理解は、いまだに新しい研究領域である。 本研究では,ラベルノイズを伴う分類問題における注意機構の学習力学と一般化能力について検討する。 本稿では,信号対雑音比(SNR)の特性から,アテンション機構のトークン選択により,ラベルノイズに適合しながら高い一般化性能を維持することができることを示す。 我々の研究は、オーバーフィッティングの初期段階の後に一般化の獲得が遅れていることも示している。 最後に,合成データセットと実世界のデータセットの両方を用いて理論的解析を支援する実験を行った。

関連論文リスト

• On the Emergence of Position Bias in Transformers [59.87743433861665]
  本稿では,多層アテンションにおける位置バイアスを解析するための新しいグラフ理論フレームワークを提案する。 我々は,トークンが逐次位置に基づいてコンテキスト情報とどのように相互作用するかを定量化する。 我々のフレームワークは、トランスにおける位置バイアスを理解するための原則的な基盤を提供する。
  論文  参考訳（メタデータ） (2025-02-04T02:53:07Z)
• Active-Dormant Attention Heads: Mechanistically Demystifying Extreme-Token Phenomena in LLMs [77.66717051042032]
  実践者は変圧器に基づく大言語モデルにおいて、3つのパズリング現象を一貫して観察してきた。 これらの現象は、ある種のいわゆる「シンクトークン」が不当に高い注意重みを負っているのが特徴である。 極端トーケン現象のメカニズムを解明する。
  論文  参考訳（メタデータ） (2024-10-17T17:54:06Z)
• CAFO: Feature-Centric Explanation on Time Series Classification [6.079474513317929]
  MTSの現在の説明法は、主に時間中心の説明に焦点を当てており、重要な期間を特定できるが、重要な特徴を特定するのにはあまり効果がない。 本研究は,MCSのための新しい特徴中心的説明・評価フレームワークであるCAFOについて紹介する。 フレームワークの有効性は、2つの主要な公開ベンチマークと実世界のデータセットに関する広範な実証分析を通じて検証される。
  論文  参考訳（メタデータ） (2024-06-03T23:06:45Z)
• A phase transition between positional and semantic learning in a solvable model of dot-product attention [30.96921029675713]
  学習可能な,低次元の問合せとキーデータを備えた非次元自己注意層として,高次モデルドット積注意法について検討した。 位置注意機構(それぞれの位置に基づくトークンを含む)と意味注意機構(それぞれの意味に基づいて互いに結びついているトークンを含む)と、サンプルの複雑さが増大する前者から後者への遷移が示される。
  論文  参考訳（メタデータ） (2024-02-06T11:13:54Z)
• Naturalness of Attention: Revisiting Attention in Code Language Models [3.756550107432323]
  CodeBERTのようなコードの言語モデルは、高度なソースコード表現を学習する機能を提供するが、その不透明さは、取得したプロパティを理解する上で障壁となる。 本研究は、注意重みを超える注意機構のこれまで無視されていた要因について、いくつかの光を当てることを目的としている。
  論文  参考訳（メタデータ） (2023-11-22T16:34:12Z)
• A Theoretical Understanding of Shallow Vision Transformers: Learning, Generalization, and Sample Complexity [71.11795737362459]
  自己注意モジュールを持つViTは、最近多くのタスクで経験的な成功を収めた。 しかし、理論学習の一般化分析は、ほとんどノイズが多く、解答的である。 本稿では,分類タスクのための浅いViTの理論的解析を行った。
  論文  参考訳（メタデータ） (2023-02-12T22:12:35Z)
• Guiding Visual Question Answering with Attention Priors [76.21671164766073]
  本稿では,言語・視覚的接地による注意機構の導出について述べる。 この基礎は、クエリ内の構造化言語概念を視覚オブジェクト間の参照物に接続することで導かれる。 このアルゴリズムは、注意に基づく推論モデルを調べ、関連する連想的知識を注入し、コア推論プロセスを制御する。
  論文  参考訳（メタデータ） (2022-05-25T09:53:47Z)
• SparseBERT: Rethinking the Importance Analysis in Self-attention [107.68072039537311]
  トランスフォーマーベースのモデルは、その強力な能力のために自然言語処理(NLP)タスクに人気がある。 事前学習モデルの注意マップの可視化は,自己着脱機構を理解するための直接的な方法の一つである。 本研究では,sparsebert設計の指導にも適用可能な微分可能アテンションマスク(dam)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-25T14:13:44Z)
• Attention or memory? Neurointerpretable agents in space and time [0.0]
  本研究では,意味的特徴空間にタスク状態表現を実装する自己認識機構を組み込んだモデルの設計を行う。 エージェントの選択的特性を評価するために,多数のタスク非関連特徴を観察に付加する。 神経科学の予測に従って、自己注意は、ベンチマークモデルと比較してノイズに対する堅牢性を高める。
  論文  参考訳（メタデータ） (2020-07-09T15:04:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。