Fugu-MT 論文翻訳(概要): Rethinking Causal Mask Attention for Vision-Language Inference

論文の概要: Rethinking Causal Mask Attention for Vision-Language Inference

arxiv url: http://arxiv.org/abs/2505.18605v1
Date: Sat, 24 May 2025 08:59:28 GMT
ステータス: 翻訳完了
システム内更新日: 2025-05-27 16:58:42.539736
Title: Rethinking Causal Mask Attention for Vision-Language Inference
Title（参考訳）: 視覚言語推論のための因果マスク注意の再考
Authors: Xiaohuan Pei, Tao Huang, YanXiang Ma, Chang Xu,
Abstract要約: 本研究では,異なる因果マスキング戦略が視覚言語推論にどのように影響するかを検討する。我々は,この設定に適した今後の注目の家族を提案する。将来的な意味的コンテキストを過去の表現に選択的に圧縮することは推論に有効であることを示す。
参考スコア（独自算出の注目度）: 17.450072268270773
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Causal attention has become a foundational mechanism in autoregressive vision-language models (VLMs), unifying textual and visual inputs under a single generative framework. However, existing causal mask-based strategies are inherited from large language models (LLMs) where they are tailored for text-only decoding, and their adaptation to vision tokens is insufficiently addressed in the prefill stage. Strictly masking future positions for vision queries introduces overly rigid constraints, which hinder the model's ability to leverage future context that often contains essential semantic cues for accurate inference. In this work, we empirically investigate how different causal masking strategies affect vision-language inference and then propose a family of future-aware attentions tailored for this setting. We first empirically analyze the effect of previewing future tokens for vision queries and demonstrate that rigid masking undermines the model's capacity to capture useful contextual semantic representations. Based on these findings, we propose a lightweight attention family that aggregates future visual context into past representations via pooling, effectively preserving the autoregressive structure while enhancing cross-token dependencies. We evaluate a range of causal masks across diverse vision-language inference settings and show that selectively compressing future semantic context into past representations benefits the inference.
Abstract（参考訳）: 因果的注意は、自動回帰視覚言語モデル(VLM)の基礎的なメカニズムとなり、単一の生成フレームワークの下でテキスト入力と視覚入力を統合する。しかし、既存の因果マスクベースの戦略は、テキストのみのデコードに適した大規模言語モデル(LLM)から受け継がれており、プリフィル段階ではビジョントークンへの適応が不十分である。視覚的クエリーの将来の位置を厳密に隠蔽すると、過度に厳密な制約が伴うため、モデルが正確な推論に不可欠なセマンティック・キューを含む将来のコンテキストを活用できない。本研究では,異なる因果マスキング戦略が視覚言語推論にどのように影響するかを実証的に検討し,この設定に適した将来意識のファミリを提案する。まず,視覚質問に対する将来のトークンのプレビューの効果を実証的に分析し,厳密なマスキングが有用な文脈意味表現を捕捉するモデルの能力を損なうことを実証する。これらの知見に基づき, 自動回帰構造を効果的に保ちつつ, 相互依存を保ちつつ, 将来的な視覚的コンテキストをプールを通して過去の表現に集約する軽量アテンションファミリーを提案する。多様な視覚言語推論設定における因果マスクの範囲を評価し、過去の表現に将来的な意味的コンテキストを選択的に圧縮することが推論に有効であることを示す。

論文の概要: Rethinking Causal Mask Attention for Vision-Language Inference

関連論文リスト