論文の概要: Dual Triangle Attention: Effective Bidirectional Attention Without Positional Embeddings

• arxiv url: http://arxiv.org/abs/2604.18603v1
• Date: Thu, 09 Apr 2026 19:32:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-04 02:32:14.035839
• Title: Dual Triangle Attention: Effective Bidirectional Attention Without Positional Embeddings
• Title（参考訳）: Dual Triangle Attention: 位置埋め込みを伴わない効果的な双方向アテンション
• Authors: Logan Hallee, Jason P. Gleghorn,
• Abstract要約: 本稿では,2つの相補的な三角形マスクに,頭部の問合せキー部分空間を分離する新しい双方向アテンション機構であるDual Triangle Attentionを紹介する。 この設計は、両方向における因果マスクの暗黙的な位置誘導バイアスを維持しながら、双方向のコンテキストを提供する。 本研究は,(1)合成argmax位置プローブ,(2)自然言語によるマスキング言語モデリング(MLM),(3)タンパク質配列の3つの設定にまたがって二重三角形の注意度を評価する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Bidirectional transformers are the foundation of many sequence modeling tasks across natural, biological, and chemical language domains, but they are permutation-invariant without explicit positional embeddings. In contrast, unidirectional attention inherently encodes positional information through its triangular mask, enabling models to operate without positional embeddings altogether. Here, we introduce Dual Triangle Attention, a novel bidirectional attention mechanism that separates the query-key subspace of each attention head into two complementary triangular masks: one that attends to past-and-self positions and one that attends to future-and-self positions. This design provides bidirectional context while maintaining the causal mask's implicit positional inductive bias in both directions. Using PyTorch's flex_attention, Dual Triangle Attention is implemented as a single compiled kernel call with no additional parameters beyond standard multi-head attention. We evaluated Dual Triangle Attention across three settings: (1) a synthetic argmax position probe, (2) masked language modeling (MLM) on natural language, and (3) MLM on protein sequences. In the argmax task, both Dual Triangle Attention and causal attention learn positional information without explicit positional embeddings, whereas standard bidirectional attention cannot. In the MLM experiments, Dual Triangle Attention with Rotary Positional Embeddings (RoPE) achieved the best context extension performance and strong performance across the board. These findings suggest that Dual Triangle Attention is a viable attention mechanism for bidirectional transformers, with or without positional embeddings.
• Abstract（参考訳）: 双方向トランスフォーマーは、自然、生物学的、化学言語ドメインにまたがる多くのシーケンスモデリングタスクの基盤であるが、それらは明示的な位置埋め込みを持たない置換不変である。 対照的に、一方向の注意はその三角形のマスクを通じて位置情報を本質的に符号化し、位置埋め込みを全く含まないモデルが動作できるようにする。 ここでは,2方向の注目機構であるDual Triangle Attentionを導入する。これは,各注目ヘッドの問合せキー部分空間を2つの相補的な三角マスクに分割する,新しい双方向の注意機構である。 この設計は、両方向における因果マスクの暗黙的な位置誘導バイアスを維持しながら、双方向のコンテキストを提供する。 PyTorchのflex_attentionを使用して、デュアルトライアングルアテンションは、標準のマルチヘッドアテンション以上のパラメータを追加せずに、単一のコンパイルされたカーネルコールとして実装される。 本研究は,(1)合成argmax位置プローブ,(2)自然言語によるマスキング言語モデリング(MLM),(3)タンパク質配列におけるMLMの3つの設定の2つの三角注意度を評価した。 argmaxタスクでは、デュアルトライアングル注意と因果注意の両方が明確な位置埋め込みなしで位置情報を学習するが、通常の双方向注意はできない。 MLM実験では、RoPE(Rotary Positional Embeddings)を用いたデュアルトライアングル注意(Dual Triangle Attention with Rotary Positional Embeddings)が、ボード全体で最高のコンテキスト拡張性能と強力なパフォーマンスを達成した。 これらの結果から,二方向変圧器は位置埋め込みの有無にかかわらず,二方向変圧器の注意機構として有用であることが示唆された。

関連論文リスト

• C^2ROPE: Causal Continuous Rotary Positional Encoding for 3D Large Multimodal-Models Reasoning [21.822856191211184]
  C2RoPEは視覚処理のための局所空間連続性と空間因果関係を明示的にモデル化する。 まず1次元の時間的位置とカルテシアンに基づく空間座標を統合し、三重項ハイブリッド位置指数を構成する。 Chebyshev Causal Maskingは、2次元空間における画像トークンのChebyshev距離を計算することによって因果依存性を決定する。
  論文  参考訳（メタデータ） (2026-02-11T05:50:17Z)
• SeqPE: Transformer with Sequential Position Encoding [76.22159277300891]
  SeqPEは、各$n$次元位置指数をシンボルシーケンスとして表現し、軽量なシーケンシャル位置エンコーダを用いて埋め込みを学習する。 言語モデリング、長文質問応答、および2次元画像分類による実験により、SeqPEはパープレキシティ、正確なマッチング(EM)、精度の強いベースラインを超えるだけでなく、手作業によるアーキテクチャ再設計を必要とせず、多次元入力へのシームレスな一般化を可能にする。
  論文  参考訳（メタデータ） (2025-06-16T09:16:40Z)
• On the Emergence of Position Bias in Transformers [59.87743433861665]
  本稿では,多層構造における位置バイアスを解析するためのグラフ理論フレームワークを提案する。 我々のフレームワークは、トランスにおける位置的相互作用を理解するための原則的な基盤を提供する。
  論文  参考訳（メタデータ） (2025-02-04T02:53:07Z)
• OrientedFormer: An End-to-End Transformer-Based Oriented Object Detector in Remote Sensing Images [26.37802649901314]
  リモートセンシング画像におけるオブジェクト指向物体検出は、複数方向のオブジェクトが分散しているため、難しい課題である。 これらの問題に対処する3つの専用モジュールからなるエンドツーエンドのトランスフォーマベース指向オブジェクト検出器を提案する。 従来のエンドツーエンド検出器と比較して、OrientedFormerはDIOR-RとDOTA-v1.0でそれぞれ1.16および1.21 AP$_50$を獲得し、トレーニングエポックを3$times$から1$times$に下げる。
  論文  参考訳（メタデータ） (2024-09-29T10:36:33Z)
• PD-APE: A Parallel Decoding Framework with Adaptive Position Encoding for 3D Visual Grounding [20.422852022310945]
  3Dビジュアルグラウンドは、特定の自然言語記述にマッチする3Dポイントクラウドシーン内のオブジェクトを特定することを目的としている。 これは、モデルが対象のオブジェクト自体にフォーカスするだけでなく、周囲の環境も考慮する必要がある。 本稿では,対象オブジェクト属性と周辺レイアウトを別々にデコードするデュアルブランチデコーディングフレームワークPD-APEを提案する。
  論文  参考訳（メタデータ） (2024-07-19T17:44:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。