論文の概要: Integral Transformer: Denoising Attention, Not Too Much Not Too Little

• arxiv url: http://arxiv.org/abs/2508.18387v1
• Date: Mon, 25 Aug 2025 18:19:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-27 17:42:38.5486
• Title: Integral Transformer: Denoising Attention, Not Too Much Not Too Little
• Title（参考訳）: インテグレーショナル・トランスフォーマー(動画あり)
• Authors: Ivan Kobyzev, Abbas Ghaddar, Dingtao Hu, Boxing Chen,
• Abstract要約: ソフトマックスの自己注意は、特別なトークンや句読点のような意味的に非形式的なトークンに不均等な重みを割り当てる。 本稿では,ロジット分布からサンプリングした信号を統合することで注意を喚起する新しい自己認識機構であるIntegral Transformerを提案する。 提案手法は, モデル性能に重要な特別なトークンの寄与を保ちながら, ノイズを緩和する。
• 参考スコア（独自算出の注目度）: 22.670315809624466
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Softmax self-attention often assigns disproportionate weight to semantically uninformative tokens such as special tokens and punctuation, a phenomenon known as attention noise. While recent methods like Cog Attention and the Differential Transformer have addressed this by introducing negative attention scores, they risk discarding useful information. In this paper, we propose the Integral Transformer, a novel self-attention mechanism that denoises attention by integrating signals sampled from the logit distribution. Our approach mitigates noise while preserving the contributions of special tokens critical for model performance. Extensive experiments demonstrate that our model outperforms vanilla, Cog, and Differential attention variants on well-established knowledge and reasoning language benchmarks. Moreover, our analysis reveals that employing vanilla self-attention in the lower Transformer layers enhances performance and that the Integral Transformer effectively balances attention distributions and reduces rank collapse in upper layers.
• Abstract（参考訳）: ソフトマックス・セルフアテンション(Softmax self-attention)はしばしば、注意ノイズとして知られる特別なトークンや句読点のような意味的に非形式的なトークンに不均等な重みを割り当てる。 Cog Attentionやdifferial Transformerといった最近の手法では、ネガティブなアテンションスコアを導入してこの問題に対処しているが、有用な情報を捨てるリスクがある。 本稿では,ロジット分布からサンプリングした信号を統合することで注意を損なう新しい自己認識機構であるIntegral Transformerを提案する。 提案手法は, モデル性能に重要な特殊トークンの寄与を保ちながら, ノイズを緩和する。 大規模な実験により、我々のモデルは、よく確立された知識と推論言語ベンチマークにおいて、バニラ、コグ、微分アテンションの変異よりも優れていることが示された。 さらに,下層変圧器層におけるバニラ自己注意の導入により性能が向上し,インテグレータ変換器は注意分布のバランスを効果的に保ち,上層変圧器のランク崩壊を低減する。

関連論文リスト

• From Fake Focus to Real Precision: Confusion-Driven Adversarial Attention Learning in Transformers [0.0]
  トランスフォーマーに基づくモデルが感情分析タスクに広く採用されている。 既存のモデルでは、主に一般的な単語に注意を向ける傾向があり、あまり人気がないがタスク関連性の高い用語を見越す傾向にある。 そこで本研究では,注意重みを適切な焦点に自動的に再分配する,AFA(Adversarial Feedback for Attention)トレーニング機構を提案する。
  論文  参考訳（メタデータ） (2025-12-19T01:48:25Z)
• Transformers Learn Faster with Semantic Focus [57.97235825738412]
  学習性と一般化の観点からスパース変圧器について検討する。 入力依存のスパースアテンションモデルは、標準アテンションモデルよりも早く収束し、より一般化しているように見える。
  論文  参考訳（メタデータ） (2025-06-17T01:19:28Z)
• Differential Transformer [99.5117269150629]
  トランスフォーマーは、無関係な文脈に注意を向ける傾向がある。 Diff Transformerを導入し、ノイズをキャンセルしながら関連するコンテキストに注意を向ける。 ロングコンテキストモデリング、キー情報検索、幻覚緩和、インコンテキスト学習、アクティベーションアウトリーの削減など、実用的な応用において顕著な利点がある。
  論文  参考訳（メタデータ） (2024-10-07T17:57:38Z)
• Efficient Diffusion Transformer with Step-wise Dynamic Attention Mediators [83.48423407316713]
  本稿では,クエリとキーを別々に扱うために,追加の仲介者トークンを組み込んだ新しい拡散トランスフォーマーフレームワークを提案する。 本モデルでは, 正確な非曖昧な段階を呈し, 詳細に富んだ段階へと徐々に遷移する。 本手法は,最近のSiTと統合した場合に,最先端のFIDスコア2.01を達成する。
  論文  参考訳（メタデータ） (2024-08-11T07:01:39Z)
• Noise-Free Explanation for Driving Action Prediction [11.330363757618379]
  我々は, この欠陥を解消するための, 実装が容易だが効果的な方法を提案する: 平滑な騒音ノルム注意(SNNA) 変換された値ベクトルのノルムで注意を重み付け、アテンション勾配でラベル固有の信号を誘導し、入力摂動をランダムにサンプリングし、対応する勾配を平均化し、ノイズのない属性を生成する。 定性的かつ定量的な評価結果は、より明確な視覚的説明図を作成し、入力画素の重要度をランク付けする他のSOTA注意に基づく説明可能な方法と比較して、SNNAの優位性を示している。
  論文  参考訳（メタデータ） (2024-07-08T19:21:24Z)
• Unveiling and Controlling Anomalous Attention Distribution in Transformers [8.456319173083315]
  ウェイバー現象は、要素が情報への貢献に影響を与えることなく過剰な注意を吸収することを可能にする。 特定のモデルでは、位置符号化と注意パターンの違いにより、モデルによるウェイブラー要素の選択は2つの方法に分類できることがわかった。
  論文  参考訳（メタデータ） (2024-06-26T11:53:35Z)
• FAST: Factorizable Attention for Speeding up Transformers [1.3637227185793512]
  本稿では,スペーシフィケーションを伴わずに,注目行列の完全な表現を維持する線形スケールアテンション機構を提案する。 その結果、我々の注意機構は堅牢な性能を示し、自己注意が使用される多様なアプリケーションに対して大きな可能性を秘めていることが示唆された。
  論文  参考訳（メタデータ） (2024-02-12T18:59:39Z)
• Stabilizing Transformer Training by Preventing Attention Entropy Collapse [56.45313891694746]
  本研究は,トランスフォーマーのトレーニングダイナミクスについて,注目層の進化について検討する。 我々は、$sigma$Reparamが注意層におけるエントロピー崩壊を防ぎ、より安定したトレーニングを促進することを示す。 画像分類、画像自己教師型学習、機械翻訳、音声認識、言語モデリングタスクについて、$sigma$Reparamで実験を行った。
  論文  参考訳（メタデータ） (2023-03-11T03:30:47Z)
• How Much Does Attention Actually Attend? Questioning the Importance of Attention in Pretrained Transformers [59.57128476584361]
  本稿では,入力依存型アテンション行列を一定値に置き換える新しい探索手法PAPAを紹介する。 入力依存の注意を払わずに、全てのモデルが競争性能を達成できることがわかった。 より弱いモデルよりも、我々の手法を適用することでより良い性能のモデルが失われることが示され、入力依存の注意機構の利用がその成功の要因である可能性が示唆された。
  論文  参考訳（メタデータ） (2022-11-07T12:37:54Z)
• Attention that does not Explain Away [54.42960937271612]
  Transformerアーキテクチャに基づくモデルは、大規模なタスクに対して競合するアーキテクチャに基づくモデルよりも精度が高い。 Transformerのユニークな特徴は、任意の距離で自由な情報の流れを可能にする自己認識機構の普遍的な応用である。 本稿では,実装が簡単で,"説明的回避"効果を避けるための理論的保証を提供する,二重正規化アテンション方式を提案する。
  論文  参考訳（メタデータ） (2020-09-29T21:05:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。