Fugu-MT 論文翻訳(概要): Exclusive Self Attention

論文の概要: Exclusive Self Attention

arxiv url: http://arxiv.org/abs/2603.09078v1
Date: Tue, 10 Mar 2026 01:39:31 GMT
ステータス: 翻訳完了
システム内更新日: 2026-03-11 15:25:23.931408
Title: Exclusive Self Attention
Title（参考訳）: 排他的自己注意
Authors: Shuangfei Zhai,
Abstract要約: 我々は、トランスフォーマーのシーケンスモデリング性能を改善するための、簡単な自己注意修正(SA)である排他的自己注意(XSA)を導入する。 XSAは、モデルサイズ2.7BのパラメータでSAを一貫して上回り、シーケンスの長さが大きくなるにつれてより大きなゲインを示す。
参考スコア（独自算出の注目度）: 11.351690641271029
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We introduce exclusive self attention (XSA), a simple modification of self attention (SA) that improves Transformer's sequence modeling performance. The key idea is to constrain attention to capture only information orthogonal to the token's own value vector (thus excluding information of self position), encouraging better context modeling. Evaluated on the standard language modeling task, XSA consistently outperforms SA across model sizes up to 2.7B parameters and shows increasingly larger gains as sequence length grows.
Abstract（参考訳）: 我々は、トランスフォーマーのシーケンスモデリング性能を改善するための、簡単な自己注意修正(SA)である排他的自己注意(XSA)を導入する。鍵となる考え方は、トークンの値ベクトル(自己位置の情報を除く)に直交する情報のみをキャプチャし、より良いコンテキストモデリングを促進するように注意を拘束することである。標準言語モデリングタスクに基づいて評価され、XSAはモデルサイズ2.7BまでのパラメータでSAを一貫して上回り、シーケンスの長さが大きくなるにつれて増加傾向が増している。

関連論文リスト

SAS: Simulated Attention Score [75.1409882298863]
我々は,多数の注目ヘッドと1頭あたりの隠れ特徴次元をシミュレートしながら,コンパクトなモデルサイズを維持するSAS(Simulated Attention Score)を導入する。各種データセットとタスクに関する総合的な実験により,提案手法の有効性が示された。
論文参考訳（メタデータ） (2025-07-10T12:16:16Z)
SeRpEnt: Selective Resampling for Expressive State Space Models [5.7918134313332414]
状態空間モデル(SSM)は、最近、シークエンスモデリングのディープラーニング分野において注目されている。我々は,マンバにおける選択時間間隔が情報の線形近似器として機能することを示す。我々は、情報認識方式でシーケンスを圧縮するための選択性をさらに活用するSSMであるSeRpEntアーキテクチャを提案する。
論文参考訳（メタデータ） (2025-01-20T20:27:50Z)
Stanceformer: Target-Aware Transformer for Stance Detection [59.69858080492586]
スタンス検出は、テキストで表現されたスタンスを特定の主題やターゲットに向けて識別する。以前の作業は、ターゲットを効果的に優先順位付けする能力に欠ける既存のトランスフォーマーモデルに依存していた。本稿では,学習と推論の両方において,目標に対する注意を高めるターゲット対応トランスフォーマーモデルであるStanceformerを紹介する。
論文参考訳（メタデータ） (2024-10-09T17:24:28Z)
BA-SAM: Scalable Bias-Mode Attention Mask for Segment Anything Model [65.92173280096588]
我々は,Segment Anything Model (SAM)における画像分解能変動の課題に対処する。 SAMはゼロショットの汎用性で知られており、さまざまな画像サイズを持つデータセットに直面するとパフォーマンスが低下する。我々は、各トークンが隣り合う情報を優先順位付けできるバイアスモードのアテンションマスクを提案する。
論文参考訳（メタデータ） (2024-01-04T15:34:44Z)
SRU++: Pioneering Fast Recurrence with Attention for Speech Recognition [49.42625022146008]
複数のASRベンチマークでコンフォーマーと比較することにより,SRU++をASRタスクに適用する利点を示す。具体的には,SRU++ が長文音声入力において Conformer を追い越すことができる。
論文参考訳（メタデータ） (2021-10-11T19:23:50Z)
Scaling Local Self-Attention For Parameter Efficient Visual Backbones [29.396052798583234]
自己注意は、パラメータ非依存のスケールとコンテンツ依存の相互作用により、コンピュータビジョンシステムを改善するという約束がある。私たちは、ImageNet分類ベンチマークのパラメータ制限設定で最新の精度に達する新しいセルフアテンションモデルファミリー、emphHaloNetsを開発しました。
論文参考訳（メタデータ） (2021-03-23T17:56:06Z)
SparseBERT: Rethinking the Importance Analysis in Self-attention [107.68072039537311]
トランスフォーマーベースのモデルは、その強力な能力のために自然言語処理(NLP)タスクに人気がある。事前学習モデルの注意マップの可視化は,自己着脱機構を理解するための直接的な方法の一つである。本研究では,sparsebert設計の指導にも適用可能な微分可能アテンションマスク(dam)アルゴリズムを提案する。
論文参考訳（メタデータ） (2021-02-25T14:13:44Z)
Stochastic Attention Head Removal: A simple and effective method for improving Transformer Based ASR Models [40.991809705930955]
トレーニング中に無作為にアテンションヘッドを取り除き、全てのアテンションヘッドをテスト時に保持し、最終モデルは異なるアーキテクチャを持つモデルのアンサンブルである。提案手法は,ウォールストリートジャーナル,AISHELL,Switchboard,AMIデータセットにおいて,強力なベースラインよりも一貫したパフォーマンス向上を実現する。
論文参考訳（メタデータ） (2020-11-08T15:41:03Z)
SAC: Accelerating and Structuring Self-Attention via Sparse Adaptive Connection [51.376723069962]
本稿では,スパース適応接続(Sparse Adaptive Connection)を提案する。 SACでは、入力シーケンスをグラフとみなし、リンクノード間のアテンション操作を行う。我々は,SACが最先端モデルと競合する一方で,メモリコストを大幅に削減することを示した。
論文参考訳（メタデータ） (2020-03-22T07:58:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。