論文の概要: Hasse Diagrams for Attention: A Partial Order Framework for Designing Transformer Masks
- arxiv url: http://arxiv.org/abs/2606.09951v1
- Date: Mon, 08 Jun 2026 09:27:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-10 15:40:58.083171
- Title: Hasse Diagrams for Attention: A Partial Order Framework for Designing Transformer Masks
- Title（参考訳）: 注意のためのハッシュダイアグラム:変圧器マスク設計のための部分順序フレームワーク
- Authors: Chentao Li, Han Guo,
- Abstract要約: 本稿では,任意の注意用マスクの完全な理論的枠組みを開発する。
変換器の情報フローは半順序を表す有向非巡回グラフであるハセ図形に収束することを示す。
フレームワークを応用して、トレーニングと推論の整合性を保証するブロック世代アテンションマスクと、完全に監督された双方向アテンションマスクの2つの新しいマスクを設計する。
- 参考スコア（独自算出の注目度）: 9.276851330300621
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: During the training of large Transformer models, attention masks regulate the scope and direction of information flow across a sequence. Numerous mask variants exist, and operators such as FlexAttention already support arbitrary attention masks. Nevertheless, a systematic formal analysis of the information-flow structure induced by arbitrary masks has been missing. This paper develops a complete theoretical framework. We prove that, with sufficient depth, the information flow of a multi-layer Transformer converges to a Hasse diagram -- a directed acyclic graph representing a partial order. Building on this, we recast the design of parallel training tasks as the problem of finding a minimal common supergraph of Hasse diagrams, and we establish a criterion for the minimal common supergraph. This yields a constructive method to derive attention masks directly from a family of tasks. Applying the framework, we design two novel masks: a block-generation attention mask that ensures training-inference consistency (Block Two-Stream Attention), and a fully supervised bidirectional attention mask (Butterfly Attention). These results demonstrate the framework's capacity to discover new structures.
- Abstract（参考訳）: 大型トランスフォーマーモデルのトレーニング中、アテンションマスクはシーケンスを横断する情報の流れの範囲と方向を調節する。
多くのマスク変種が存在し、FlexAttentionのようなオペレータはすでに任意のアテンションマスクをサポートしている。
それにもかかわらず、任意のマスクによって誘導される情報フロー構造の体系的な形式解析が欠落している。
本稿では,完全に理論的な枠組みを整備する。
十分な深さで、多層トランスフォーマーの情報フローが、半順序を表す有向非巡回グラフであるハセ図形に収束することを証明する。
これに基づいて、我々は、ハッセ図形の最小共通スーパーグラフを見つける問題として並列トレーニングタスクの設計を再考し、最小共通スーパーグラフの基準を確立する。
これにより、タスクのファミリーから直接注意マスクを導出する構成的手法が得られる。
本フレームワークを応用した2つの新しいマスクを設計する: トレーニングと推論の整合性を保証するブロック世代アテンションマスク(Block Two-Stream Attention)と、完全に教師付き双方向アテンションマスク(Butterfly Attention)である。
これらの結果は、新しい構造を発見するためのフレームワークの能力を示している。
関連論文リスト
- Unifying and Enhancing Graph Transformers via a Hierarchical Mask Framework [18.725415922303632]
本稿では,モデルアーキテクチャとアテンションマスク構築の等価性を明らかにする統一階層型マスクフレームワークを提案する。
このフレームワークは、注意深く設計された注意マスクを通して多様なインタラクションをキャプチャすることで、一貫したモデリングパラダイムを実現する。
マルチレベルマスキングとデュアルアテンション計算を備えたM3Dphormerについて述べる。
論文 参考訳（メタデータ） (2025-10-21T17:22:32Z) - SeeDiff: Off-the-Shelf Seeded Mask Generation from Diffusion Models [16.109077391631917]
我々は,クロスアテンションだけで非常に粗い物体の局在が得られ,初期種子が得られることを示した。
また、単純なテキスト誘導合成画像は、一様背景を持つことが多く、対応を見つけるのが容易であることも観察した。
提案手法はSeeDiffと呼ばれ,Stable Diffusionから高品質なマスクをオフザシェルフで生成する。
論文 参考訳（メタデータ） (2025-07-26T05:44:00Z) - Evolved Hierarchical Masking for Self-Supervised Learning [49.77271430882176]
既存のマスケ画像モデリング手法では、固定マスクパターンを適用して自己指導型トレーニングを指導する。
本稿では,自己教師型学習における一般的な視覚的手がかりモデリングを追求する階層型マスキング手法を提案する。
論文 参考訳（メタデータ） (2025-04-12T09:40:14Z) - Adapting Vision-Language Model with Fine-grained Semantics for Open-Vocabulary Segmentation [42.020470627552136]
オープン語彙のセグメンテーションは、主にマスク生成ではなく、マスク分類によってボトルネックとなる。
本稿では,この制限に対処するためのFISA法を提案する。
FISAは、視覚符号化プロセスの初期に、この重要な意味情報を明示的に統合することにより、抽出した視覚的特徴をきめ細かな意味認識で強化する。
論文 参考訳（メタデータ） (2024-09-24T17:50:28Z) - Efficiently Dispatching Flash Attention For Partially Filled Attention Masks [29.36452085947087]
トランスフォーマーは様々な用途で広く使われており、その多くがスパースまたは部分的に満たされた注意行列である。
我々はBinary Block Maskingを紹介した。これは非常に効率的な修正であり、マスクを意識することでFlashの注意を高める。
実世界のシナリオから得られたアテンションマスクの実験は、9倍のランタイム改善を示す。
論文 参考訳（メタデータ） (2024-09-23T15:11:07Z) - ColorMAE: Exploring data-independent masking strategies in Masked AutoEncoders [53.3185750528969]
Masked AutoEncoders (MAE)は、堅牢な自己管理フレームワークとして登場した。
データに依存しないColorMAEという手法を導入し、ランダムノイズをフィルタすることで異なる二元マスクパターンを生成する。
ランダムマスキングと比較して,下流タスクにおける戦略の優位性を示す。
論文 参考訳（メタデータ） (2024-07-17T22:04:00Z) - UGMAE: A Unified Framework for Graph Masked Autoencoders [67.75493040186859]
グラフマスク付きオートエンコーダのための統一フレームワークであるUGMAEを提案する。
まず,ノードの特異性を考慮した適応型特徴マスク生成器を開発した。
次に,階層型構造再構成と特徴再構成を併用し,総合的なグラフ情報を取得する。
論文 参考訳（メタデータ） (2024-02-12T19:39:26Z) - CL-MAE: Curriculum-Learned Masked Autoencoders [49.24994655813455]
本稿では,自己指導型再建作業の複雑さを継続的に増大させるために,マスキング戦略を更新するカリキュラム学習手法を提案する。
我々は、ImageNet上でCL-MAE(Curriculum-Learned Masked Autoencoder)をトレーニングし、MAEよりも優れた表現学習能力を示すことを示す。
論文 参考訳（メタデータ） (2023-08-31T09:13:30Z) - Mask-free OVIS: Open-Vocabulary Instance Segmentation without Manual
Mask Annotations [86.47908754383198]
Open-Vocabulary (OV) 法は、大規模な画像キャプチャペアと視覚言語モデルを利用して、新しいカテゴリを学習する。
提案手法は,イメージキャプションペアに存在するオブジェクトに対して,事前学習された視覚言語モデルの局所化能力を活用することで,擬似マスクアノテーションを生成する。
擬似マスクを用いてトレーニングした手法は,MS-COCOデータセットとOpenImagesデータセットのmAPスコアを大幅に改善する。
論文 参考訳（メタデータ） (2023-03-29T17:58:39Z) - Differentiable Soft-Masked Attention [115.5770357189209]
Weakly Supervised Video Objectのタスクには,「識別可能なソフトマッシュアップ注意」が使用されている。
我々は、トランスフォーマーベースのトレーニングネットワークを開発したが、1つのアノテートフレームだけで、ビデオ上でのサイクル一貫性トレーニングの恩恵を受けることができる。
論文 参考訳（メタデータ） (2022-06-01T02:05:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。