論文の概要: NoteVQA: Benchmarking VLMs on Real-Life Questions from Human Communities
- arxiv url: http://arxiv.org/abs/2609.15695v2
- Date: Sun, 20 Sep 2026 11:40:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-23 03:38:27.352655
- Title: NoteVQA: Benchmarking VLMs on Real-Life Questions from Human Communities
- Title（参考訳）: ノートVQA:人間コミュニティからのリアルタイム質問に対するVLMのベンチマーク
- Abstract要約: 視覚言語モデル(VLM)は、消費者が対象とするAI検索のパワーを増す一方で、日常的な視覚的質問の多様性を評価することは依然として困難である。
12のトピックカテゴリと7のユーザ意図にまたがる252項目をキュレートし、短問合せの正しさとインターリーブドの質を評価した。
9つのフロンティアVLMで、最短回答精度は52.8%、Qwen3.5397B-A17Bにエージェント検索を追加すると、精度はわずか2.0%向上する。
- 参考スコア（独自算出の注目度）: 13.249979860359288
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision-language models (VLMs) increasingly power consumer-facing AI search, yet evaluating them on the diversity of everyday visual questions remains challenging. Existing benchmarks often target predefined capabilities, such as multi-hop retrieval or long-form synthesis, whereas users ask photo-grounded questions spanning a long tail of everyday scenarios. Despite advances in VLMs, users on Xiaohongshu, a mainstream Chinese image-sharing platform, continue to turn to other people for help with everyday visual questions. Motivated by this behaviour, we curate NoteVQA from these questions, yielding 252 items across 12 topical categories and 7 user intents. Each item includes a concise reference distilled from expert community responses and a human-audited interleaved reference answer that combines textual explanations with supporting visual evidence. We evaluate both short-answer correctness and interleaved-answer quality. To support the latter, we introduce AgenticInterleave, a single-agent ReAct framework for retrieval-supported answer generation, together with IVR-12, a 12-dimensional rubric for assessing the content, presentation, and image quality of interleaved references and model outputs. Across 9 frontier VLMs, the highest short-answer accuracy is 52.8\%, while adding agentic search to Qwen3.5-397B-A17B improves accuracy by only 2.0\%. For interleaved answers, the same model running AgenticInterleave scores 3.52 under IVR-12, compared with 4.65 for the human-audited references, with the largest gap in content quality. These results highlight the challenges that everyday visual questions pose for current VLMs in both answer accuracy and the quality of visually grounded explanations.
- Abstract（参考訳）: 視覚言語モデル(VLM)は、消費者が対象とするAI検索のパワーを増す一方で、日常的な視覚的質問の多様性を評価することは依然として困難である。
既存のベンチマークでは、マルチホップ検索やロングフォーム合成などの事前定義された機能をターゲットにしているが、ユーザは、日常的なシナリオの長いテールにまたがるフォトグラウンドの質問をする。
VLMの進歩にもかかわらず、中国の主要画像共有プラットフォームであるXiaohongshuのユーザーは、日々の視覚的な質問に助けを求めるために、他の人々に目を向け続けている。
この行動に触発されて、これらの質問からNoteVQAをキュレートし、12のトピックカテゴリに252項目、ユーザ意図に7項目を与えました。
それぞれの項目は、専門家コミュニティの反応から抽出された簡潔な参照と、文章の説明と視覚的証拠を結合した人間監査のインターリーブされた参照回答を含んでいる。
短問合せ精度とインターリーブ型問合せ品質を評価した。
後者をサポートするために,検索支援応答生成のための単一エージェントReActフレームワークであるAgenticInterleaveと,インターリーブ参照とモデル出力のコンテンツ,表示,画像品質を評価する12次元ルーリックであるIVR-12を紹介する。
9つのフロンティアVLM全体では、最短回答精度は52.8 %であり、Qwen3.5-397B-A17Bにエージェントサーチを追加すると、精度はわずか2.0 %向上する。
インターリーブされた回答については、AgenicInterleaveが動作しているのと同じモデルがIVR-12で3.52点、人間による参照では4.65点、コンテンツ品質では最大の差がある。
これらの結果は,日常的な視覚的質問が現在のVLMにもたらす課題を,解答精度と視覚的根拠のある説明の質の両方で強調する。
関連論文リスト
- Companion-style QA Assistance in Ego-Vision [55.53073147495282]
本稿では,エゴセントリックなストリーミングビデオにおける協調型質問応答(QA)のベンチマークであるBuddyVQAを紹介する。
毎日の1対1のQAアシストで一般的な2つの重要な特徴があるが、既存のVideoQAベンチマークではほとんど見落とされている。
提案するMyBuddyは,マルチモーダル・チェーン・オブ・シークレット推論機構を特徴とするQAアシスタントである。
論文 参考訳（メタデータ） (2026-09-06T16:49:45Z) - Self-Evolving Visual Questioner [53.949845616431624]
視覚言語モデル(VLM)は一般的に受動応答器として訓練される。
VLMは外部の監督なしに視覚的質問者として継続的に改善できることを示す。
本稿では,VLM自体をプロジェクタとフィルタの両方として使用する自己進化型フレームワークを提案する。
論文 参考訳（メタデータ） (2026-06-11T21:45:46Z) - IRIS: Intent Resolution via Inference-time Saccades for Open-Ended VQA in Large Vision-Language Models [2.3699325153255404]
オープンエンドVQAにおけるあいまいさを解決するために,視線追跡データをリアルタイムで利用するトレーニングフリーのアプローチであるIRISを導入する。
500のユニークな画像検索ペアを用いた総合的なユーザスタディを通じて、参加者が口頭で質問を始める時間に最も近い修正が、大きなVLMにおける曖昧さの最も有益であることを示す。
我々は、視線移動データを用いた新しいベンチマークデータセットを、あいまいなVQA、新しいリアルタイム対話プロトコル、評価スイートとしてリリースする。
論文 参考訳（メタデータ） (2026-02-18T02:06:24Z) - WearVQA: A Visual Question Answering Benchmark for Wearables in Egocentric Authentic Real-world scenarios [19.156760664417718]
我々は、スマートグラスのようなウェアラブルデバイス上で、マルチモデルAIアシスタントの視覚質問回答機能を評価するために設計された最初のベンチマークであるWearVQAを紹介する。
WearVQAは、エゴ中心のインタラクションのユニークな課題を反映している。
ベンチマークは、2,520個の精巧にキュレートされた画像検索用三つ子で構成され、7つの異なる画像ドメインにまたがる。
論文 参考訳（メタデータ） (2025-11-27T06:44:49Z) - Respond Beyond Language: A Benchmark for Video Generation in Response to Realistic User Intents [30.228721661677493]
RealVideoQuestは、リアルタイムで視覚的に接地されたクエリに応答するテキスト・ツー・ビデオ(T2V)モデルの能力を評価するように設計されている。
ビデオ応答インテントで7.5Kの実際のユーザクエリを特定し、4.5Kの高品質なクエリとビデオのペアを構築する。
実験によると、現在のT2Vモデルは、実際のユーザクエリに効果的に対処するのに苦労している。
論文 参考訳（メタデータ） (2025-06-02T13:52:21Z) - LENS: Multi-level Evaluation of Multimodal Reasoning with Large Language Models [59.0256377330646]
Lensは3.4Kの現代画像と8つのタスクと12の日次シナリオをカバーする60K以上の人間による質問のベンチマークである。
このデータセットは本質的に、基本的な知覚から構成的推論に至るまで、画像不変のプロンプトを処理するためのMLLMの評価をサポートする。
我々は,Qwen2.5-VL-72B,InternVL3-78B,GPT-4oおよび2つの推論モデルQVQ-72B-previewとKim-VLなどの15以上のフロンティアMLLMを評価する。
論文 参考訳（メタデータ） (2025-05-21T15:06:59Z) - Seeking and Updating with Live Visual Knowledge [75.25025869244837]
107,143のサンプルと12のカテゴリデータを備えた、第一種データセットであるLiveVQAを紹介する。
LiveVQAは、モデルが知識境界を越えて最新の視覚情報をどう扱うかを評価することができる。
最新の17種類のMLLMの総合的なベンチマークでは、知識の遮断を超えてコンテンツに顕著なパフォーマンスギャップが示される。
論文 参考訳（メタデータ） (2025-04-07T17:39:31Z) - VQA$^2$: Visual Question Answering for Video Quality Assessment [76.81110038738699]
ビデオ品質アセスメント(VQA)は、低レベルの視覚知覚において古典的な分野である。
画像領域における最近の研究は、視覚質問応答(VQA)が視覚的品質を著しく低レベルに評価できることを示した。
VQA2インストラクションデータセットは,ビデオ品質評価に焦点をあてた最初の視覚的質問応答インストラクションデータセットである。
VQA2シリーズは、ビデオにおける空間的時間的品質の詳細の知覚を高めるために、視覚的および運動的トークンをインターリーブする。
論文 参考訳（メタデータ） (2024-11-06T09:39:52Z) - An Evaluation of GPT-4V and Gemini in Online VQA [31.77015255871848]
GPT-4VとGeminiの2つの最先端LMMを,新しい視覚的質問応答データセットを用いて評価した。
約2000の視覚的質問に対して,7種類のメタデータを生成し,きめ細かい分析を行う。
ゼロショットのパフォーマンス分析では、両方のモデルで最も難しい質問のタイプを強調しています。
論文 参考訳（メタデータ） (2023-12-17T07:38:43Z) - Towards Top-Down Reasoning: An Explainable Multi-Agent Approach for Visual Question Answering [47.668572102657684]
本稿では,視覚言語モデル(VLM)の能力を高めるために,LLM(Large Language Models)の拡張的知識を活用することで,新しいマルチエージェントコラボレーションフレームワークを導入する。
論文 参考訳（メタデータ） (2023-11-29T03:10:42Z) - ViCLEVR: A Visual Reasoning Dataset and Hybrid Multimodal Fusion Model
for Visual Question Answering in Vietnamese [1.6340299456362617]
ベトナムにおける様々な視覚的推論能力を評価するための先駆的な収集であるViCLEVRデータセットを紹介した。
我々は、現代の視覚的推論システムの包括的な分析を行い、その強みと限界についての貴重な洞察を提供する。
PhoVITは、質問に基づいて画像中のオブジェクトを識別する総合的なマルチモーダル融合である。
論文 参考訳（メタデータ） (2023-10-27T10:44:50Z) - Rephrase, Augment, Reason: Visual Grounding of Questions for Vision-Language Models [59.05769810380928]
Rephrase, Augment and Reason (RepARe) は勾配のないフレームワークで、基礎となる視覚言語モデルを用いて画像に関する詳細な情報を抽出する。
その結果、VQAv2では3.85%(絶対)、A-OKVQAでは6.41%、VizWizでは7.94%の増加が見られた。
論文 参考訳（メタデータ） (2023-10-09T16:57:57Z) - Learning to Answer Questions in Dynamic Audio-Visual Scenarios [81.19017026999218]
本稿では,視覚的物体の異なる音と映像の関連性に関する質問に答えることを目的としたAVQAタスクに着目した。
我々のデータセットには、様々なモダリティと質問タイプにまたがる45万以上の質問応答ペアが含まれています。
A-SIC, V-SIC, AVQA のアプローチでは, AVQA は多感性知覚の恩恵を受けており, モデルでは近年の A-SIC, V-SIC, AVQA のアプローチよりも優れていた。
論文 参考訳（メタデータ） (2022-03-26T13:03:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。