論文の概要: DisasterVLG: Vision-Language Grounding and Evidence-Based Reasoning for Disaster Scene Understanding
- arxiv url: http://arxiv.org/abs/2611.12144v2
- Date: Wed, 11 Nov 2026 13:32:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:32.885619
- Title: DisasterVLG: Vision-Language Grounding and Evidence-Based Reasoning for Disaster Scene Understanding
- Title(参考訳): 災害現場理解のための視覚言語接地とエビデンスに基づく推論
- Abstract要約: 汎用視覚言語モデルは、その固有のノイズ、あいまいさ、災害イベント間の高い変動のために、危機的なイメージに苦しむ。
DisasterVLGは、142カ国の災害画像を3300万の構造化アノテーションと組み合わせた大規模なマルチタスクデータセットである。
分類に焦点を絞った以前の災害ベンチマークとは異なり、DermaVLGは認識、根拠推論、不確実性認識の解釈を統一する。
- 参考スコア(独自算出の注目度): 11.579912804000516
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: General-purpose vision-language models struggle with crisis imagery due to its inherent noise, ambiguity, and high variability across disaster events - yet timely, accurate scene understanding is critical for humanitarian response. To address this, we introduce DisasterVLG, a large-scale multi-task dataset containing 1.24 million disaster images from 142 countries paired with 33 million structured annotations spanning dense captioning with localization, incident assessment, relational scene descriptions, and crisis-grounded visual question answering (VQA) across diverse hazard types and scene contexts worldwide. Unlike prior disaster benchmarks that focus narrowly on classification, DisasterVLG unifies recognition, grounded reasoning, and uncertainty-aware interpretation. A distinguishing feature is its evidence-grounded annotation design: each VQA instance includes supporting evidence text that links visual observations to answers, alongside positive and negative question pairs, multiple answer formats, and difficulty labels. Visual grounding layer links caption phrases to image regions and relationship statements to subject-object boxes, with explicit labels for visual supports and clues. To support rigorous evaluation, we construct a human-verified test set of 38K images (1.15M annotations) spanning broad geographic regions and disaster types. Experiments with domain-adapted vision-language models demonstrate strong performance across disaster captioning, incident recognition, and grounded VQA, while also exposing the limitations of general-purpose models in crisis-specific reasoning. DisasterVLG establishes a scalable, reproducible benchmark for vision-language models that must reason reliably under real-world uncertainty. We will publicly release the dataset, trained models, and code.
- Abstract(参考訳): 汎用視覚言語モデルは、その固有のノイズ、曖昧さ、災害イベント間の高い変動のために危機的なイメージに苦しむ。
そこで本研究では,142カ国1424万件の災害画像と,密接なキャプション,インシデントアセスメント,リレーショナルシーン記述,危機対応型視覚質問応答(VQA)を含む3300万件の構造化アノテーションを組み合わせた,大規模マルチタスクデータセットであるDermaVLGを紹介する。
分類に焦点を絞った以前の災害ベンチマークとは異なり、DeramVLGは認識、根拠推論、不確実性認識の解釈を統一する。
それぞれのVQAインスタンスには、肯定的および否定的な質問ペア、複数の回答フォーマット、難易度ラベルとともに、視覚的な観察と回答をリンクするエビデンステキストが含まれている。
ビジュアルグラウンドティングレイヤは、キャプションフレーズをイメージ領域にリンクし、リレーションステートメントをサブジェクトオブジェクトボックスにリンクし、ビジュアルサポートとヒントのための明示的なラベルを付ける。
厳密な評価を支援するため,広い地域と災害タイプにまたがる38K画像(1.15Mアノテーション)の人間検証テストセットを構築した。
ドメイン適応型視覚言語モデルを用いた実験は、災害のキャプション、インシデント認識、接地されたVQAにまたがる強力な性能を示しながら、危機固有の推論における汎用モデルの限界を明らかにしている。
DisasterVLGは、実世界の不確実性の下で確実に推論する必要がある視覚言語モデルのスケーラブルで再現可能なベンチマークを確立する。
データセット、トレーニングされたモデル、コードを公開します。
関連論文リスト
- RVG-Bench: A Benchmark for Reasoning-Driven Audio-Visual Temporal Grounding [53.49326569528548]
RVGベンチ(RVG-Bench)は、推論駆動型音声視覚時間的グラウンドのベンチマークである。
すべてのクエリは、クエリの根底にある意図を推論することで、ターゲットセグメントを識別できるように構成されている。
RVG-Benchは、1,255のビデオと、8つの推論タイプにまたがる1,890のクエリインターバルペアで構成されている。
論文 参考訳(メタデータ) (2026-10-23T07:25:26Z) - CapProbe: Evaluating Detailed Image Captions via Full-Scene Dense Question Answering [6.875316321208349]
CapProbeは、詳細なキャプション評価を地域ごとの事実チェックに変換する、フルシーンの高密度QAベンチマークである。
346のイメージ、1,868のリージョン、25,650の質問からなる。
言語判断者はキャプションだけで答える; 不確実なオプションと有効精度は、未回答のプローブと不正に解決されたプローブを区別するための判断依存のプロキシを提供する。
論文 参考訳(メタデータ) (2026-08-11T15:36:10Z) - Evidence Attribution in Visual Document Understanding without Coordinates or Region Labels [8.720698253117837]
視覚言語モデルでは,解答が正しい場合でも,適切な領域を識別できない場合が多い。
本研究は,モデルが座標を通して表現できることによって,この故障が部分的に制限されているかどうかを考察する。
論文 参考訳(メタデータ) (2026-07-27T16:49:36Z) - Evidence-Backed Video Question Answering [90.93225758130426]
既存の説明可能性の取り組みは、テキストの合理性やまばらなバウンディングボックスに依存している。
E-VQA(Evidence-Backed Video Question Answering)を提案する。
これをサポートするために,識別的および生成的画素レベルのグラウンド化のための最初の人為的検証ベンチマークST-Evidenceを導入する。
論文 参考訳(メタデータ) (2026-07-13T17:49:10Z) - DIAGRAMS: A Review Framework for Reasoning-Level Attribution in Diagram QA [56.73431446011309]
ダイアグラム質問応答(ダイアグラムQA)は、各問合せ対を答えを導き出すために必要なすべての視覚領域にリンクする推論レベルの属性を必要とする。
私たちは、データセット固有の構造からインターフェースロジックを分離する軽量でスキーマ駆動のレビューフレームワークであるDIAGRAMSを紹介します。
論文 参考訳(メタデータ) (2026-04-29T02:34:51Z) - DRAGON: A Benchmark for Evidence-Grounded Visual Reasoning over Diagrams [54.39165467997251]
ダイアグラムにおけるエビデンスグラウンドの視覚的推論を評価するためのベンチマークであるDRAGONを紹介する。
ダイアグラム、質問、そして正しい答えが与えられた場合、モデルは答えを正当化するために必要な視覚的要素に対応する境界ボックスを予測する必要がある。
DRAGONデータセットには、6つの図QAデータセットから収集された11,664の注釈付き質問インスタンスが含まれている。
論文 参考訳(メタデータ) (2026-04-28T05:24:05Z) - VideoZeroBench: Probing the Limits of Video MLLMs with Spatio-Temporal Evidence Verification [73.02304272829785]
VideoBenchは、証拠を厳格に検証する長ビデオ応答のための階層的なベンチマークだ。
これは、13のドメインに500の注釈付き質問を手動で記述し、時間間隔と空間境界ボックスを組み合わせて証拠とする。
GeminiPro-3-Proでさえ、標準のエンドツーエンドのQA設定で17%未満の質問に正しく答えている。
その結果,表面レベルでの回答の正しさと真正な証拠に基づく推論との間に大きなギャップが生じた。
論文 参考訳(メタデータ) (2026-04-02T03:29:43Z) - DisastQA: A Comprehensive Benchmark for Evaluating Question Answering in Disaster Management [27.25517951457221]
我々は8つの災害タイプにまたがる3000の厳格に検証された質問(2000の多重選択と1,000のオープンエンド)の大規模ベンチマークであるDisastQAを紹介した。
オープンエンドQAでは,冗長性よりも事実的完全性を重視した,人間の検証されたキーポイントに基づく評価プロトコルを提案する。
20モデルを用いた実験では、MMLU-Proのような汎用のリーダーボードとはかなりの相違が見られる。
論文 参考訳(メタデータ) (2026-01-07T07:46:42Z) - Unpaired Referring Expression Grounding via Bidirectional Cross-Modal
Matching [53.27673119360868]
表現基盤の参照はコンピュータビジョンにおいて重要かつ困難な課題である。
本稿では,これらの課題に対処する新しい双方向クロスモーダルマッチング(BiCM)フレームワークを提案する。
私たちのフレームワークは、2つの一般的なグラウンドデータセットで、以前の作業の6.55%と9.94%を上回っています。
論文 参考訳(メタデータ) (2022-01-18T01:13:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。