Fugu-MT 論文翻訳(概要): Spatially Grounded Explanations in Vision Language Models for Document Visual Question Answering

論文の概要: Spatially Grounded Explanations in Vision Language Models for Document Visual Question Answering

arxiv url: http://arxiv.org/abs/2507.12490v1
Date: Tue, 15 Jul 2025 20:05:25 GMT
ステータス: 翻訳完了
システム内更新日: 2025-07-18 20:10:24.207648
Title: Spatially Grounded Explanations in Vision Language Models for Document Visual Question Answering
Title（参考訳）: 視覚的質問応答のための視覚言語モデルにおける空間的接地説明
Authors: Maximiliano Hormazábal Lagos, Héctor Cerezo-Costas, Dimosthenis Karatzas,
Abstract要約: EaGERSは、視覚言語モデルを通して自然言語の有理を生成できる完全トレーニングフリーで、モデルに依存しないパイプラインである。一致精度と平均正規化Levenshtein類似度測定値に基づいて,我々の最適構成がベースモデルより優れていることを示す。
参考スコア（独自算出の注目度）: 7.981907917890143
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We introduce EaGERS, a fully training-free and model-agnostic pipeline that (1) generates natural language rationales via a vision language model, (2) grounds these rationales to spatial sub-regions by computing multimodal embedding similarities over a configurable grid with majority voting, and (3) restricts the generation of responses only from the relevant regions selected in the masked image. Experiments on the DocVQA dataset demonstrate that our best configuration not only outperforms the base model on exact match accuracy and Average Normalized Levenshtein Similarity metrics but also enhances transparency and reproducibility in DocVQA without additional model fine-tuning.
Abstract（参考訳）: EaGERSは,(1)視覚言語モデルを用いて自然言語の有理を生成し,(2)多数決で構成可能なグリッド上の類似性を計算し,(3)マスキング画像に選択された関連領域からのみ応答の生成を制限することにより,これらの有理を空間的なサブリージョンに基礎付ける,完全トレーニングフリーでモデルに依存しないパイプラインである。 DocVQAデータセットの実験では、我々の最高の構成が、正確なマッチング精度でベースモデルを上回るだけでなく、平均正規化Levenshtein類似度測定値も向上し、モデルの微調整なしにDocVQAの透明性と再現性を向上することを示した。

関連論文リスト

LGD: Leveraging Generative Descriptions for Zero-Shot Referring Image Segmentation [9.759008308251127]
ゼロショット参照画像セグメンテーションは、参照表現に基づいてターゲット領域の特定とセグメンテーションを目的としている。従来の作業では、ビジョンランゲージモデルとマスク提案ネットワークを領域テキストマッチングに利用することで、この問題に対処している。本稿では,LGD(Leveraging Generative Descriptions)について述べる。
論文参考訳（メタデータ） (2025-04-20T02:51:11Z)
Exploring Multiple Strategies to Improve Multilingual Coreference Resolution in CorefUD [0.8602553195689511]
我々はCorefUD 1.1データセットを利用した新しいエンドツーエンドのニューラルコア参照解決システムを提案する。提案モデルは、標準のエンドツーエンドのニューラルコア参照解決システムに基づいている。多様な言語文脈における性能向上のためのいくつかの拡張を提案する。
論文参考訳（メタデータ） (2024-08-29T20:27:05Z)
FUSE-ing Language Models: Zero-Shot Adapter Discovery for Prompt Optimization Across Tokenizers [55.2480439325792]
FUSEは、あるモデルのテキスト埋め込み空間から別のモデルへのマッピングを行うアダプタ層を、異なるトークン化器にまたがっても近似するアプローチである。画像キャプションと感情に基づく画像キャプションのための視覚言語モデルと因果言語モデルに対する多目的最適化によるアプローチの有効性を示す。
論文参考訳（メタデータ） (2024-08-09T02:16:37Z)
REVISION: Rendering Tools Enable Spatial Fidelity in Vision-Language Models [67.55362046790512]
視覚言語モデルには、空間的関係を正しく推論する能力がない。視覚言語モデルにおける空間忠実度を改善するREVISIONフレームワークを開発した。本研究の結果から,レンダリングベースのフレームワークは空間認識モデルの開発に有効な手法であることが示唆された。
論文参考訳（メタデータ） (2024-08-05T04:51:46Z)
WIDIn: Wording Image for Domain-Invariant Representation in Single-Source Domain Generalization [63.98650220772378]
We present WIDIn, Wording Images for Domain-Invariant representation, to disentangleative discriminative visual representation。まず、ドメイン固有の言語を適応的に識別し、削除するために使用可能な、きめ細かいアライメントを組み込んだ言語を推定する。 WIDInは、CLIPのような事前訓練された視覚言語モデルと、MoCoやBERTのような個別訓練されたユニモーダルモデルの両方に適用可能であることを示す。
論文参考訳（メタデータ） (2024-05-28T17:46:27Z)
Enhancing Visual-Language Modality Alignment in Large Vision Language Models via Self-Improvement [102.22911097049953]
大規模視覚言語モデル(LVLM)は、視覚的質問応答および推論タスクにおいて印象的な結果を得た。既存の手法は、しばしば外部モデルやデータに依存し、制御不能で不安定なアライメント結果をもたらす。本稿では,外部依存を伴わない視覚的・言語的モダリティアライメントを向上させる自己改善フレームワークSIMAを提案する。
論文参考訳（メタデータ） (2024-05-24T23:09:27Z)
Unified Language-driven Zero-shot Domain Adaptation [55.64088594551629]
Unified Language-driven Zero-shot Domain Adaptation (ULDA)は、新しいタスクセットである。これにより、ドメインIDの知識を明示することなく、単一のモデルを多様なターゲットドメインに適応させることができる。
論文参考訳（メタデータ） (2024-04-10T16:44:11Z)
FLIP: Fine-grained Alignment between ID-based Models and Pretrained Language Models for CTR Prediction [49.510163437116645]
クリックスルーレート(CTR)予測は、パーソナライズされたオンラインサービスにおいてコア機能モジュールとして機能する。 CTR予測のための従来のIDベースのモデルは、表形式の1ホットエンコードされたID特徴を入力として取る。事前訓練された言語モデル(PLM)は、テキストのモダリティの文を入力として取る別のパラダイムを生み出した。本稿では,CTR予測のためのIDベースモデルと事前学習言語モデル(FLIP)間の細粒度特徴レベルのアライメントを提案する。
論文参考訳（メタデータ） (2023-10-30T11:25:03Z)
To token or not to token: A Comparative Study of Text Representations for Cross-Lingual Transfer [23.777874316083984]
ゼロショットと少数ショットの両方の評価を重み付けして表現できるスコアリング言語クオシアン計量を提案する。解析の結果,言語が密接に関連し,視覚的に類似したスクリプトを共有する場合,画像ベースモデルは言語間移動に優れることがわかった。単語関係が重要な役割を果たす依存性解析タスクでは、キャラクタレベルに焦点を当てたモデルが他よりも優れています。
論文参考訳（メタデータ） (2023-10-12T06:59:10Z)
T1: Scaling Diffusion Probabilistic Fields to High-Resolution on Unified Visual Modalities [69.16656086708291]
拡散確率場(DPF)は、距離空間上で定義された連続関数の分布をモデル化する。本稿では,局所構造学習に着目したビューワイズサンプリングアルゴリズムによる新しいモデルを提案する。モデルは、複数のモダリティを統一しながら、高解像度のデータを生成するためにスケールすることができる。
論文参考訳（メタデータ） (2023-05-24T03:32:03Z)
Grounding Visual Representations with Texts for Domain Generalization [9.554646174100123]
相互モダリティの監督は、ドメイン不変の視覚表現の接地に成功することができる。提案手法は,5つのマルチドメインデータセットの平均性能を1位に評価する。
論文参考訳（メタデータ） (2022-07-21T03:43:38Z)
Incorporating Linguistic Knowledge for Abstractive Multi-document Summarization [20.572283625521784]
ニューラルネットワークに基づく抽象的多文書要約(MDS)モデルを開発した。依存関係情報を言語誘導型注意機構に処理する。言語信号の助けを借りて、文レベルの関係を正しく捉えることができる。
論文参考訳（メタデータ） (2021-09-23T08:13:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。