論文の概要: KnowVis: Dual-View Evaluation and Diagnosis of World-Knowledge Grounding in Text-to-Image Models
- arxiv url: http://arxiv.org/abs/2611.18101v1
- Date: Fri, 13 Nov 2026 12:30:50 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-16 19:25:42.154588
- Title: KnowVis: Dual-View Evaluation and Diagnosis of World-Knowledge Grounding in Text-to-Image Models
- Title(参考訳): KnowVis: テキスト・画像モデルによる世界知識接地の評価と診断
- Abstract要約: 本稿では,T2Iモデルにおける世界知識基盤の二重視点評価と診断のためのKnowVisについて紹介する。
ケースレベルのアノテーションを備えた階層的な知識分類に基づいて構築されたKnowVisは、2つのベンチマークビューと構造化MLLMベースのVQA判断プロトコルを組み合わせる。
KnowVisは、既存のT2Iモデル間でのワールド知識の接地における顕著なギャップを明らかにし、知識集約画像生成のための構造化診断信号を提供する。
- 参考スコア(独自算出の注目度): 15.032081374877734
- License:
- Abstract: Text-to-image (T2I) models have made substantial progress in visual realism, aesthetic quality, and instruction following. However, real-world prompts often go beyond explicit visual descriptions and require implicit facts, structured knowledge, and domain-specific commonsense. Existing evaluations mainly focus on explicit prompt-to-image semantic alignment or specific knowledge subdomains, lacking unified evaluation and diagnosis of world-knowledge grounding in T2I models. We introduce KnowVis for dual-view evaluation and diagnosis of world-knowledge grounding in T2I generation. Built on a hierarchical knowledge taxonomy with case-level annotations, KnowVis combines two complementary benchmark views with a structured MLLM-based VQA judge protocol. The Skill-Tree Benchmark supports fine-grained atomic knowledge evaluation, while the Generalized Benchmark examines open-ended knowledge composition and expression. The protocol uses Required VQAs to assess atomic knowledge correctness in the Skill-Tree Benchmark, and combines Required, Optional, and dynamically discovered knowledge expressions with human-judge collaborative evaluation in the Generalized Benchmark. We validate the protocol's reliability on the Skill-Tree validation split, enabling scalable evaluation and diagnostic error attribution. Experiments show that KnowVis reveals notable gaps in world-knowledge grounding across existing T2I models and provides structured diagnostic signals for knowledge-intensive image generation.
- Abstract(参考訳): テキスト・トゥ・イメージ(T2I)モデルは視覚リアリズム、美的品質、その後の指導に大きく進歩した。
しかし、現実世界のプロンプトはしばしば明示的な視覚的記述を超えて、暗黙的な事実、構造化された知識、ドメイン固有の常識を必要とする。
既存の評価は,T2Iモデルにおける世界知識基盤の統一的評価と診断が欠如している,明示的な即時的セマンティックアライメントや特定の知識サブドメインに重点を置いている。
本稿では,T2I 世代における世界知識基盤の二重視点評価と診断のための KnowVis について紹介する。
ケースレベルのアノテーションを備えた階層的な知識分類に基づいて構築されたKnowVisは、2つの補完的なベンチマークビューと構造化MLLMベースのVQA判断プロトコルを組み合わせる。
Skill-Tree Benchmarkは微粒な原子知識評価をサポートし、Generalized Benchmarkはオープンな知識構成と表現を調査している。
このプロトコルは、Skill-Tree Benchmarkにおける原子知識の正確性を評価するために、Requireed VQAを使用し、Requireed、Optional、動的に発見された知識表現とGeneralized Benchmarkにおけるヒューマン・ジャッジ協調評価を組み合わせる。
我々は,Skill-Treeバリデーションスプリットにおけるプロトコルの信頼性を検証し,スケーラブルな評価と診断エラーの帰属を可能にする。
実験により、KnowVisは既存のT2Iモデル間での知識基盤の顕著なギャップを明らかにし、知識集約画像生成のための構造化診断信号を提供する。
関連論文リスト
- Knowledge Visualization: A Benchmark and Method for Knowledge-Intensive Text-to-Image Generation [26.409191201169367]
KVBenchは知識集約型T2I生成評価のためのカリキュラムベースベンチマークである。
KVBenchは、生物学、化学、地理学、歴史、数学、物理学の6つの上級科目をカバーしている。
そこで我々は、論理的推論、記号的精度、多言語的堅牢性に重大な欠陥があることを明らかにする。
論文 参考訳(メタデータ) (2026-04-24T07:33:52Z) - Beyond Accuracy: Evaluating Grounded Visual Evidence in Thinking with Images [34.324634481264034]
我々は、忠実な視覚的推論を評価するために設計されたプロセス検証可能なベンチマークであるViEBenchを提案する。
専門家による視覚的エビデンスを含む200個の高解像度画像を合成し、ViEBenchは難易度でタスクを知覚と推論の次元に分類する。
実験の結果,(1)VLMは無関係な領域に接するにもかかわらず,正しい最終回答を導き出すことができ,(2)正しい証拠を見つけることはできるが,正確な結論に至らなかった。
論文 参考訳(メタデータ) (2026-01-14T07:25:15Z) - Beyond Words and Pixels: A Benchmark for Implicit World Knowledge Reasoning in Generative Models [15.983959465314749]
我々は、暗黙の世界の知識とT2Iモデルの物理的因果推論の把握を評価する最初の総合的なベンチマークであるPicWorldを紹介する。
このベンチマークは、3つのコアカテゴリにわたる1,100のプロンプトで構成されている。
我々は、PicWorldで17の主流モデルT2Iを徹底的に分析し、暗黙の世界知識と物理的因果推論の能力に普遍的に限界があることを示した。
論文 参考訳(メタデータ) (2025-11-23T03:44:54Z) - Historical Report Guided Bi-modal Concurrent Learning for Pathology Report Generation [14.8602760818616]
病理学者の診断的推論を模擬したリポート「textbfBi-modal Concurrent Learning Framework for Pathology Report textbfGeneration (BiGen)」
BiGenは、ハイアテンションパッチにマッチして、事前に構築された医療知識銀行からWSI関連知識を取得する。
提案手法は,NLP指標が7.4%,Her-2予測のための分類指標が19.1%向上し,最先端性能を実現している。
論文 参考訳(メタデータ) (2025-06-23T14:00:21Z) - PhyBench: A Physical Commonsense Benchmark for Evaluating Text-to-Image Models [50.33699462106502]
テキスト・トゥ・イメージ(T2I)モデルは、物理コモンセンスと整合した画像を生成するのにしばしば失敗する。
現在のT2I評価ベンチマークは、精度、バイアス、安全性などの指標に焦点を当て、モデルの内部知識の評価を無視している。
メカニクス,光学,熱力学,材料特性の4つのカテゴリに700のプロンプトを含む総合的なT2I評価データセットであるPhyBenchを紹介する。
論文 参考訳(メタデータ) (2024-06-17T17:49:01Z) - Exploring the Spectrum of Visio-Linguistic Compositionality and Recognition [61.956088652094515]
視覚と言語モデル(VLM)は、驚くべきゼロショット認識能力を示した。
しかし、それらは視覚言語的構成性、特に言語的理解ときめ細かい画像テキストアライメントの課題に直面している。
本稿では,構成性と認識の複雑な関係について考察する。
論文 参考訳(メタデータ) (2024-06-13T17:58:39Z) - Knowledge-Aware Prompt Tuning for Generalizable Vision-Language Models [64.24227572048075]
本稿では,視覚言語モデルのためのKnowledge-Aware Prompt Tuning(KAPT)フレームワークを提案する。
我々のアプローチは、人間の知性からインスピレーションを得ており、外部知識は、通常、オブジェクトの新たなカテゴリを認識するために組み込まれています。
論文 参考訳(メタデータ) (2023-08-22T04:24:45Z) - REVIVE: Regional Visual Representation Matters in Knowledge-Based Visual
Question Answering [75.53187719777812]
本稿では,知識に基づく視覚的質問応答(VQA)における視覚表現を再考する。
本稿では,対象領域の明示的な情報を活用するための知識に基づく新しいVQA手法REVIVEを提案する。
我々は,新しい最先端性能,すなわち58.0%の精度を実現し,従来の最先端手法を大きなマージンで上回った。
論文 参考訳(メタデータ) (2022-06-02T17:59:56Z) - Reasoning over Vision and Language: Exploring the Benefits of
Supplemental Knowledge [59.87823082513752]
本稿では,汎用知識基盤(KB)から視覚言語変換器への知識の注入について検討する。
我々は複数のタスクやベンチマークに対する様々なkbの関連性を実証的に研究する。
この技術はモデルに依存しず、最小限の計算オーバーヘッドで任意の視覚言語変換器の適用可能性を拡張することができる。
論文 参考訳(メタデータ) (2021-01-15T08:37:55Z) - Medical Knowledge-enriched Textual Entailment Framework [5.493804101940195]
医用知識に富んだテキスト・エンタテインメント・フレームワークについて紹介する。
我々は、ベンチマークMEDIQA-RQEデータセット上でのフレームワークの評価を行い、知識の豊富な二重符号化機構を用いることで、SOTA言語モデルに対して8.27%の絶対的な改善が達成できることを示した。
論文 参考訳(メタデータ) (2020-11-10T17:25:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。