Fugu-MT 論文翻訳(概要): Attention Guided Alignment in Efficient Vision-Language Models

論文の概要: Attention Guided Alignment in Efficient Vision-Language Models

arxiv url: http://arxiv.org/abs/2511.17793v1
Date: Fri, 21 Nov 2025 21:36:48 GMT
ステータス: 翻訳完了
システム内更新日: 2025-11-25 18:34:24.431359
Title: Attention Guided Alignment in Efficient Vision-Language Models
Title（参考訳）: 視覚・言語モデルにおける注意誘導アライメント
Abstract要約: VLM(Large Vision-Language Models)は、事前訓練された視覚エンコーダとLLM(Large Language Models)の効果的なマルチモーダルアライメントに依存している。本稿では,効率的なVLMにおける注意パターンの包括的解析について述べる。本稿では,Attention-Guided Efficient Vision-Language Models (AGE-VLM)を紹介する。
参考スコア（独自算出の注目度）: 56.20286899428444
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Large Vision-Language Models (VLMs) rely on effective multimodal alignment between pre-trained vision encoders and Large Language Models (LLMs) to integrate visual and textual information. This paper presents a comprehensive analysis of attention patterns in efficient VLMs, revealing that concatenation-based architectures frequently fail to distinguish between semantically matching and non-matching image-text pairs. This is a key factor for object hallucination in these models. To address this, we introduce Attention-Guided Efficient Vision-Language Models (AGE-VLM), a novel framework that enhances visual grounding through interleaved cross-attention layers to instill vision capabilities in pretrained small language models. This enforces in VLM the ability "look" at the correct image regions by leveraging spatial knowledge distilled from the Segment Anything Model (SAM), significantly reducing hallucination. We validate our approach across different vision-centric benchmarks where our method is better or comparable to prior work on efficient VLMs. Our findings provide valuable insights for future research aimed at achieving enhanced visual and linguistic understanding in VLMs.
Abstract（参考訳）: VLM(Large Vision-Language Models)は、視覚情報とテキスト情報を統合するために、事前訓練された視覚エンコーダとLLM(Large Language Models)の効果的なマルチモーダルアライメントに依存する。本稿では、効率的なVLMにおける注意パターンの包括的分析を行い、連結に基づくアーキテクチャは、意味的マッチングと非マッチング的画像テキストペアの区別にしばしば失敗することを示した。これはこれらのモデルにおける対象幻覚の重要な要素である。そこで,本研究では,Attention-Guided Efficient Vision-Language Models (AGE-VLM)を紹介した。これは、SAM(Segment Anything Model)から抽出した空間知識を活用して、画像領域を「見る」能力をVLMで実現し、幻覚を著しく減少させる。提案手法は,従来の効率的なVLMの手法よりも優れているか,あるいは同等であるような,視覚中心の異なるベンチマークにまたがるアプローチを検証する。 VLMにおける視覚的・言語的理解の向上を目的とした今後の研究に有用な知見を提供する。

関連論文リスト

Hierarchical Pre-Training of Vision Encoders with Large Language Models [4.52797541666943]
HIVE(Hierarchical Pre-Training of Visions)は、視覚言語アライメントを強化する新しいフレームワークである。画像埋め込みをフラットにする従来の方法とは異なり、HIVEは複数の層にまたがる構造的特徴融合を可能にする。我々の結果は階層的な機能統合の利点を強調し、より効率的な視覚言語モデルへの道を開いた。
論文参考訳（メタデータ） (2026-03-31T18:00:39Z)
Predictive Regularization Against Visual Representation Degradation in Multimodal Large Language Models [84.94288033791346]
我々は,MLLMにおける視覚的表現の劣化という,広範にわたる課題を明らかにするために,詳細な診断分析を行う。我々は,この現象を,単一のテキスト生成目標によって引き起こされる視覚的犠牲とみなし,そのモデルが解答生成の最適化のためにその視覚的忠実度を損なう。本研究では,初期視覚特性を予測するために,劣化した中間特徴を強制的に予測し,MLLMの内部表現に固有の視覚特性を維持するための予測正則化を提案する。
論文参考訳（メタデータ） (2026-03-21T13:10:37Z)
Look Before Acting: Enhancing Vision Foundation Representations for Vision-Language-Action Models [66.96421290733126]
VLA(Vision-Language-Action)モデルは、ロボット操作のための有望なパラダイムとして登場した。我々はtextbfVision-Language Mixture-of-Transformers (VL-MoT) フレームワーク上に構築した textbfDeepVision-VLA を提案する。 DeepVision-VLAは、シミュレーションされたタスクと実世界のタスクで、それぞれ9.0%と7.5%の先行の最先端メソッドより優れている。
論文参考訳（メタデータ） (2026-03-16T17:59:54Z)
Towards Understanding Multimodal Fine-Tuning: Spatial Features [25.349396112139214]
Vision-Language Models (VLM) は、事前訓練された言語モデルとビジョンエンコーダをペアリングすることで、幅広いタスクにおいて強力なパフォーマンスを達成する。本稿では,ステージワイドモデル差分法によるVLM適応の最初の力学解析について述べる。
論文参考訳（メタデータ） (2026-02-06T18:48:18Z)
Visual Representation Alignment for Multimodal Large Language Models [38.319869213758686]
マルチモーダルな大規模言語モデル (MLLM) は、視覚的指導のチューニングで訓練され、様々なタスクにまたがって高い性能を達成している。しかし、それらはオブジェクトのカウントや空間的推論のような視覚中心のタスクに限られている。本稿では、MLLMの内部視覚表現と事前学習された視覚基盤モデルとを整合させる、シンプルで効果的な正規化戦略である視覚表現アライメント(VIRAL)を提案する。
論文参考訳（メタデータ） (2025-09-09T17:59:14Z)
AlignVLM: Bridging Vision and Language Latent Spaces for Multimodal Document Understanding [79.43306110124875]
AlignVLMは視覚的特徴をテキスト埋め込みの重み付き平均値にマッピングする視覚テキストアライメント手法である。実験の結果,AlignVLMは先行アライメント法と比較して最先端の性能を実現していることがわかった。
論文参考訳（メタデータ） (2025-02-03T13:34:51Z)
Chain-of-Spot: Interactive Reasoning Improves Large Vision-Language Models [81.71651422951074]
CoS(Chain-of-Spot)法は,注目領域に着目して特徴抽出を強化する手法である。この技術により、LVLMは元の画像解像度を変更することなく、より詳細な視覚情報にアクセスすることができる。実験の結果,LVLMの視覚的内容の理解と推論能力は著しく改善した。
論文参考訳（メタデータ） (2024-03-19T17:59:52Z)
Unified Language-Vision Pretraining in LLM with Dynamic Discrete Visual Tokenization [52.935150075484074]
非言語的なイメージを外国語のような個別のトークン列に変換するために、よく設計されたビジュアルトークン化器を導入する。結果として得られる視覚トークンは、単語に相応しいハイレベルな意味論を含み、画像から変化する動的シーケンス長もサポートする。この統合によりLaVITは、マルチモーダルコンテンツの理解と生成を同時に行うための印象的な汎用インターフェースとして機能する。
論文参考訳（メタデータ） (2023-09-09T03:01:38Z)
DiMBERT: Learning Vision-Language Grounded Representations with Disentangled Multimodal-Attention [101.99313208598569]
視覚と言語(V-L)タスクは、視覚内容と自然言語の両方を理解する必要がある。視覚と言語に対する注意空間を分離したDiMBERT(Disentangled Multimodal-Attention BERT)を提案する。 DiMBERTは3つのタスクに対して最新のパフォーマンスを新たに設定する。
論文参考訳（メタデータ） (2022-10-28T23:00:40Z)
VLMAE: Vision-Language Masked Autoencoder [21.97700040013084]
視覚言語事前学習のための視覚言語マスク付きオートエンコーダフレームワーク(VLMAE)を提案する。 VLMAEは視覚的生成学習を採用しており、モデルが細粒度で偏りのない特徴を取得するのを容易にする。
論文参考訳（メタデータ） (2022-08-19T14:39:18Z)
Behind the Scene: Revealing the Secrets of Pre-trained Vision-and-Language Models [65.19308052012858]
最近のTransformerベースの大規模事前学習モデルは、視覚言語(V+L)研究に革命をもたらした。 VALUEは,マルチモーダル事前学習における内部動作の解明を目的とした,精密に設計された探索タスクのセットである。主要な観察:事前訓練されたモデルは、推論中の画像よりもテキストに出席する傾向を示す。
論文参考訳（メタデータ） (2020-05-15T01:06:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。