Fugu-MT 論文翻訳(概要): Dual Triangle Attention: Effective Bidirectional Attention Without Positional Embeddings

論文の概要: Dual Triangle Attention: Effective Bidirectional Attention Without Positional Embeddings

arxiv url: http://arxiv.org/abs/2604.18603v1
Date: Thu, 09 Apr 2026 19:32:11 GMT
ステータス: 翻訳完了
システム内更新日: 2026-05-04 02:32:14.035839
Title: Dual Triangle Attention: Effective Bidirectional Attention Without Positional Embeddings
Title（参考訳）: Dual Triangle Attention: 位置埋め込みを伴わない効果的な双方向アテンション
Abstract要約: 本稿では,2つの相補的な三角形マスクに,頭部の問合せキー部分空間を分離する新しい双方向アテンション機構であるDual Triangle Attentionを紹介する。この設計は、両方向における因果マスクの暗黙的な位置誘導バイアスを維持しながら、双方向のコンテキストを提供する。本研究は,(1)合成argmax位置プローブ,(2)自然言語によるマスキング言語モデリング(MLM),(3)タンパク質配列の3つの設定にまたがって二重三角形の注意度を評価する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Bidirectional transformers are the foundation of many sequence modeling tasks across natural, biological, and chemical language domains, but they are permutation-invariant without explicit positional embeddings. In contrast, unidirectional attention inherently encodes positional information through its triangular mask, enabling models to operate without positional embeddings altogether. Here, we introduce Dual Triangle Attention, a novel bidirectional attention mechanism that separates the query-key subspace of each attention head into two complementary triangular masks: one that attends to past-and-self positions and one that attends to future-and-self positions. This design provides bidirectional context while maintaining the causal mask's implicit positional inductive bias in both directions. Using PyTorch's flex_attention, Dual Triangle Attention is implemented as a single compiled kernel call with no additional parameters beyond standard multi-head attention. We evaluated Dual Triangle Attention across three settings: (1) a synthetic argmax position probe, (2) masked language modeling (MLM) on natural language, and (3) MLM on protein sequences. In the argmax task, both Dual Triangle Attention and causal attention learn positional information without explicit positional embeddings, whereas standard bidirectional attention cannot. In the MLM experiments, Dual Triangle Attention with Rotary Positional Embeddings (RoPE) achieved the best context extension performance and strong performance across the board. These findings suggest that Dual Triangle Attention is a viable attention mechanism for bidirectional transformers, with or without positional embeddings.
Abstract（参考訳）: 双方向トランスフォーマーは、自然、生物学的、化学言語ドメインにまたがる多くのシーケンスモデリングタスクの基盤であるが、それらは明示的な位置埋め込みを持たない置換不変である。対照的に、一方向の注意はその三角形のマスクを通じて位置情報を本質的に符号化し、位置埋め込みを全く含まないモデルが動作できるようにする。ここでは,2方向の注目機構であるDual Triangle Attentionを導入する。これは,各注目ヘッドの問合せキー部分空間を2つの相補的な三角マスクに分割する,新しい双方向の注意機構である。この設計は、両方向における因果マスクの暗黙的な位置誘導バイアスを維持しながら、双方向のコンテキストを提供する。 PyTorchのflex_attentionを使用して、デュアルトライアングルアテンションは、標準のマルチヘッドアテンション以上のパラメータを追加せずに、単一のコンパイルされたカーネルコールとして実装される。本研究は,(1)合成argmax位置プローブ,(2)自然言語によるマスキング言語モデリング(MLM),(3)タンパク質配列におけるMLMの3つの設定の2つの三角注意度を評価した。 argmaxタスクでは、デュアルトライアングル注意と因果注意の両方が明確な位置埋め込みなしで位置情報を学習するが、通常の双方向注意はできない。 MLM実験では、RoPE(Rotary Positional Embeddings)を用いたデュアルトライアングル注意(Dual Triangle Attention with Rotary Positional Embeddings)が、ボード全体で最高のコンテキスト拡張性能と強力なパフォーマンスを達成した。これらの結果から,二方向変圧器は位置埋め込みの有無にかかわらず,二方向変圧器の注意機構として有用であることが示唆された。

関連論文リスト

RASA: Disentangled Spatial-Motional Priors for Cross-Identity Character Animation [85.41886214825894]
クロスアイデンティティキャラクタアニメーションは、基準画像からターゲットアイデンティティを駆動し、駆動ビデオからソースキャラクタの動きに従うことを目的としている。本稿では,移動制御から空間マッピングを分離するフレームワークであるReference-Aware Structure Alignment (RASA)を紹介する。我々の研究は、不整合空間と動きの先行がロバストなキャラクターアニメーションの鍵となることを示す新しいパラダイムを確立する。
論文参考訳（メタデータ） (2026-08-28T11:36:44Z)
2D Rotary Position Embedding for Scene Text Recognition with Transformers [0.40611352512781856]
RoPE(Rotary Position Embedding)の軸方向2次元拡張は、視覚変換器には存在するが、大まかに正方形、等方形画像の内容を仮定し、エンコーダの自己注意の中でのみ回転を適用する。 2D-RoPE-STRは,(1)テキストのアスペクト比と一致する異方性行/カラム次元の割り当て,(2)エンコーダ・デコーダのクロスアテンションへの回転結合の拡張により,軸方向の2D-RoPEをこの設定に適応させる。
論文参考訳（メタデータ） (2026-07-15T05:38:24Z)
Mitigating Positional Leakage in 3D Masked Autoencoders for Robust Representation Learning [36.571886409536255]
マスク付きオートエンコーディングは,3Dポイントクラウド上での自己教師型学習のパラダイムとして注目されている。本研究では,既存の3D MAEフレームワークのデコーダが位置情報に過度に依存する傾向があることを明らかにする。本稿では,エンコーダ機能の利用性を高めつつ,位置過度を緩和するマスク付きポイントラーニングフレームワーク MPL-MAE を提案する。
論文参考訳（メタデータ） (2026-06-30T12:29:34Z)
Give it Space! Explicit Disentangling of Positional and Semantic Representations in Encoders [8.72344410197391]
位置符号化(PE)は、置換不変トランスフォーマーがシーケンス順序をどのように表すかを示す。 RoPEのようなPEメソッドは、長いコンテキストの理解や検索のようなタスクに苦戦している。我々は、位置的信号と意味的信号が、訓練されたトランスフォーマー内のほとんど閉じた部分空間を占有しているという証拠の上に構築する。
論文参考訳（メタデータ） (2026-05-28T14:42:25Z)
URoPE: Universal Relative Position Embedding across Geometric Spaces [55.651792747815854]
URoPEは回転位置埋め込み(Rotary Position Embedding, RoPE)の普遍的な拡張である。キー/値の画像パッチごとに、URoPEは事前に定義された奥行きアンカーで対応するカメラ線に沿って3Dポイントをサンプリングする。標準2D RoPEは、投影されたピクセル座標を用いて適用することができる。
論文参考訳（メタデータ） (2026-04-20T18:52:03Z)
C^2ROPE: Causal Continuous Rotary Positional Encoding for 3D Large Multimodal-Models Reasoning [21.822856191211184]
C2RoPEは視覚処理のための局所空間連続性と空間因果関係を明示的にモデル化する。まず1次元の時間的位置とカルテシアンに基づく空間座標を統合し、三重項ハイブリッド位置指数を構成する。 Chebyshev Causal Maskingは、2次元空間における画像トークンのChebyshev距離を計算することによって因果依存性を決定する。
論文参考訳（メタデータ） (2026-02-11T05:50:17Z)
Point2Insert: Video Object Insertion via Sparse Point Guidance [77.16016342941866]
Point2Insertは、ビデオにフレキシブルでユーザフレンドリーなオブジェクト挿入のためのスパースポイントベースのフレームワークである。正の点と負の点の両方をサポートし、挿入に適した領域または挿入に適さない領域を示す。一貫して強力なベースラインを上回り、$times$10のパラメータを持つモデルを超えています。
論文参考訳（メタデータ） (2026-02-04T03:01:15Z)
SeqPE: Transformer with Sequential Position Encoding [76.22159277300891]
SeqPEは、各$n$次元位置指数をシンボルシーケンスとして表現し、軽量なシーケンシャル位置エンコーダを用いて埋め込みを学習する。言語モデリング、長文質問応答、および2次元画像分類による実験により、SeqPEはパープレキシティ、正確なマッチング(EM)、精度の強いベースラインを超えるだけでなく、手作業によるアーキテクチャ再設計を必要とせず、多次元入力へのシームレスな一般化を可能にする。
論文参考訳（メタデータ） (2025-06-16T09:16:40Z)
On the Emergence of Position Bias in Transformers [59.87743433861665]
本稿では,多層構造における位置バイアスを解析するためのグラフ理論フレームワークを提案する。我々のフレームワークは、トランスにおける位置的相互作用を理解するための原則的な基盤を提供する。
論文参考訳（メタデータ） (2025-02-04T02:53:07Z)
OrientedFormer: An End-to-End Transformer-Based Oriented Object Detector in Remote Sensing Images [26.37802649901314]
リモートセンシング画像におけるオブジェクト指向物体検出は、複数方向のオブジェクトが分散しているため、難しい課題である。これらの問題に対処する3つの専用モジュールからなるエンドツーエンドのトランスフォーマベース指向オブジェクト検出器を提案する。従来のエンドツーエンド検出器と比較して、OrientedFormerはDIOR-RとDOTA-v1.0でそれぞれ1.16および1.21 AP$_50$を獲得し、トレーニングエポックを3$times$から1$times$に下げる。
論文参考訳（メタデータ） (2024-09-29T10:36:33Z)
PD-APE: A Parallel Decoding Framework with Adaptive Position Encoding for 3D Visual Grounding [20.422852022310945]
3Dビジュアルグラウンドは、特定の自然言語記述にマッチする3Dポイントクラウドシーン内のオブジェクトを特定することを目的としている。これは、モデルが対象のオブジェクト自体にフォーカスするだけでなく、周囲の環境も考慮する必要がある。本稿では,対象オブジェクト属性と周辺レイアウトを別々にデコードするデュアルブランチデコーディングフレームワークPD-APEを提案する。
論文参考訳（メタデータ） (2024-07-19T17:44:33Z)
Mask-Attention-Free Transformer for 3D Instance Segmentation [68.29828726317723]
トランスフォーマーベースの手法は、マスクの注意が一般的に関与する3Dインスタンスセグメンテーションを支配している。我々は、低リコール問題を克服し、位置対応を前提としたクロスアテンションを実現するために、一連の位置認識設計を開発する。実験の結果,既存の作業よりも4倍早く収束し,ScanNetv2 3Dインスタンスセグメンテーションベンチマークに新たな技術状態を設定し,さまざまなデータセットで優れたパフォーマンスを示す。
論文参考訳（メタデータ） (2023-09-04T16:09:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。