論文の概要: Evaluating Hallucination in Text-to-Image Diffusion Models with Scene-Graph based Question-Answering Agent

• arxiv url: http://arxiv.org/abs/2412.05722v1
• Date: Sat, 07 Dec 2024 18:44:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-10 14:55:14.232945
• Title: Evaluating Hallucination in Text-to-Image Diffusion Models with Scene-Graph based Question-Answering Agent
• Title（参考訳）: シーングラフに基づく質問応答エージェントを用いたテキスト・画像拡散モデルの幻覚評価
• Authors: Ziyuan Qin, Dongjie Cheng, Haoyu Wang, Huahui Yi, Yuting Shao, Zhiyuan Fan, Kang Li, Qicheng Lao,
• Abstract要約: 有効なテキスト・ツー・イメージ(T2I)評価指標は以下のとおりである: 生成された画像がテキストのプロンプトと一致しないインスタンスを検出する。 抽出したシーングラフを用いて質問応答を行うための大規模言語モデル (LLM) に基づく手法を提案し, 生成された画像に対する評価スコアを用いたデータセットを作成する。
• 参考スコア（独自算出の注目度）: 9.748808189341526
• License:
• Abstract: Contemporary Text-to-Image (T2I) models frequently depend on qualitative human evaluations to assess the consistency between synthesized images and the text prompts. There is a demand for quantitative and automatic evaluation tools, given that human evaluation lacks reproducibility. We believe that an effective T2I evaluation metric should accomplish the following: detect instances where the generated images do not align with the textual prompts, a discrepancy we define as the `hallucination problem' in T2I tasks; record the types and frequency of hallucination issues, aiding users in understanding the causes of errors; and provide a comprehensive and intuitive scoring that close to human standard. To achieve these objectives, we propose a method based on large language models (LLMs) for conducting question-answering with an extracted scene-graph and created a dataset with human-rated scores for generated images. From the methodology perspective, we combine knowledge-enhanced question-answering tasks with image evaluation tasks, making the evaluation metrics more controllable and easier to interpret. For the contribution on the dataset side, we generated 12,000 synthesized images based on 1,000 composited prompts using three advanced T2I models. Subsequently, we conduct human scoring on all synthesized images and prompt pairs to validate the accuracy and effectiveness of our method as an evaluation metric. All generated images and the human-labeled scores will be made publicly available in the future to facilitate ongoing research on this crucial issue. Extensive experiments show that our method aligns more closely with human scoring patterns than other evaluation metrics.
• Abstract（参考訳）: コンテンポラリーテキスト・トゥ・イメージ(T2I)モデルは、合成画像とテキストプロンプトの一貫性を評価するために、定性的な人間の評価に頻繁に依存する。 人間の評価には再現性がないため、定量的かつ自動評価ツールの需要がある。 生成した画像がテキストのプロンプトと一致しないインスタンスの検出,T2Iタスクにおける「幻覚問題」と定義する相違点,幻覚問題の種類と頻度の記録,エラーの原因を理解する上でユーザを支援すること,ヒューマンスタンダードに近い包括的かつ直感的なスコアリングを提供する。 これらの目的を達成するために,抽出したシーングラフを用いて質問応答を行う大規模言語モデル(LLM)に基づく手法を提案し,生成した画像に対する評価スコアを用いたデータセットを作成する。 方法論の観点から,知識に富んだ質問応答タスクと画像評価タスクを組み合わせることで,評価指標をより制御しやすく,解釈しやすくする。 データセット側のコントリビューションのために、3つの高度なT2Iモデルを用いて1,000の合成プロンプトに基づいて12,000の合成画像を生成した。 その後, 合成画像に対して人間によるスコアリングを行い, 提案手法の精度と妥当性を評価指標として評価する。 生成したすべての画像と人間ラベルのスコアは、将来的に公開され、この重要な問題に関する継続的な研究を促進する。 大規模な実験により,本手法は他の評価指標よりもヒトのスコアリングパターンとより密に一致していることが示された。

関連論文リスト

• Image2Text2Image: A Novel Framework for Label-Free Evaluation of Image-to-Text Generation with Text-to-Image Diffusion Models [16.00576040281808]
  本稿では,画像キャプションモデルを評価するための新しいフレームワークであるImage2Text2Imageを提案する。 高い類似度スコアは、このモデルが忠実なテキスト記述を生み出し、低いスコアは相違点を強調していることを示唆している。 本フレームワークは人手によるキャプション参照に依存しないので,画像キャプションモデルを評価する上で貴重なツールである。
  論文  参考訳（メタデータ） (2024-11-08T17:07:01Z)
• Evaluating Image Hallucination in Text-to-Image Generation with Question-Answering [13.490305443938817]
  我々は,新しい評価指標であるI-HallA (Image Hallucination Evaluation with Question Answering)を紹介する。 I-HallAは視覚的質問応答(VQA)を用いて生成画像の事実性を測定する 我々はI-HallAを用いて5つのテキスト・ツー・イメージモデルを評価し、これらの最先端モデルが事実情報を正確に伝達できない場合が多いことを明らかにした。
  論文  参考訳（メタデータ） (2024-09-19T13:51:21Z)
• Evaluating Multiview Object Consistency in Humans and Image Models [68.36073530804296]
  我々は、物体の形状に関するゼロショット視覚的推論を必要とする認知科学の実験的設計を活用する。 我々は500人以上の参加者から行動データの35万件の試行を収集した。 次に、一般的な視覚モデルの性能を評価する。
  論文  参考訳（メタデータ） (2024-09-09T17:59:13Z)
• A Novel Evaluation Framework for Image2Text Generation [15.10524860121122]
  本稿では,画像生成が可能な現代大規模言語モデル(LLM)に根ざした評価フレームワークを提案する。 高い類似度スコアは、画像キャプションモデルが正確にテキスト記述を生成することを示唆している。 類似度の低いスコアは相違点を示し、モデルの性能の潜在的な欠点を明らかにする。
  論文  参考訳（メタデータ） (2024-08-03T09:27:57Z)
• Information Theoretic Text-to-Image Alignment [49.396917351264655]
  本稿では,ステア画像生成のための情報理論アライメント尺度を用いた新しい手法を提案する。 提案手法は最先端の手法よりも優れているが,MIを推定するためには事前学習されたデノナイジングネットワークを必要としない。
  論文  参考訳（メタデータ） (2024-05-31T12:20:02Z)
• Multi-Modal Prompt Learning on Blind Image Quality Assessment [65.0676908930946]
  画像品質評価(IQA)モデルは意味情報から大きな恩恵を受け、異なる種類のオブジェクトを明瞭に扱うことができる。 十分な注釈付きデータが不足している従来の手法では、セマンティックな認識を得るために、CLIPイメージテキスト事前学習モデルをバックボーンとして使用していた。 近年のアプローチでは、このミスマッチに即時技術を使って対処する試みがあるが、これらの解決策には欠点がある。 本稿では、IQAのための革新的なマルチモーダルプロンプトベースの手法を提案する。
  論文  参考訳（メタデータ） (2024-04-23T11:45:32Z)
• Stellar: Systematic Evaluation of Human-Centric Personalized Text-to-Image Methods [52.806258774051216]
  我々は,個々のイメージを入力し,生成プロセスの基盤となるテキストと,所望の視覚的コンテキストを記述したテキストに焦点をあてる。 我々は,既存の関連するデータセットよりも桁違いの大きさの個人画像と,リッチなセマンティックな接地真実アノテーションが容易に利用できるパーソナライズされたプロンプトを含む標準化データセット(Stellar)を紹介した。 被験者ごとにテストタイムの微調整を必要とせず,新しいSoTAを定量的かつ人為的に設定した,シンプルで効率的でパーソナライズされたテキスト・ツー・イメージのベースラインを導出する。
  論文  参考訳（メタデータ） (2023-12-11T04:47:39Z)
• Let's ViCE! Mimicking Human Cognitive Behavior in Image Generation Evaluation [96.74302670358145]
  生成/編集された画像と対応するプロンプト/インストラクションの整合性を評価するために,視覚概念評価(ViCE)の自動手法を提案する。 ViCEは、Large Language Models(LLM)とVisual Question Answering(VQA)の強みを統合パイプラインに統合し、品質評価において人間の認知プロセスを再現することを目指している。
  論文  参考訳（メタデータ） (2023-07-18T16:33:30Z)
• ArtWhisperer: A Dataset for Characterizing Human-AI Interactions in Artistic Creations [26.4215586218117]
  本研究は,対象画像の生成にテキスト・ツー・イメージ・モデルをどのように利用するかを検討する。 私たちはArtWhispererを作った。これはユーザーがターゲットイメージを与えられたオンラインゲームで、ターゲットに類似した画像を生成するプロンプトを反復的に見つける。 我々は5万以上の人間とAIのインタラクションを記録し、各インタラクションはユーザによって生成された1つのテキストプロンプトと、それに対応する生成された画像に対応する。
  論文  参考訳（メタデータ） (2023-06-13T21:10:45Z)
• TeTIm-Eval: a novel curated evaluation data set for comparing text-to-image models [1.1252184947601962]
  テキスト・ツー・イメージ・モデルの評価と比較は難しい問題です。 本稿では,<i>i>i>i>i>i>i>i>i>i>i>i</i>i>i>i>i>i>i>i>i>i>i</i>i>i>i>i>i>i>i>i>i</i>i>i>i>i</i>i>i>i>i>i>i>i</i>i>i>i>i>i>i</i>i>i>i>i>i>i>i>i>i>i>i>i>i>i>i>i>i>i>i>i>i>i>i>i>i</i>i>i>i>i</i>i>i>i</i>i>i>i</i>i>i</i>i>i</i> 初期の実験結果から,ヒト判定の精度はCLIPスコアと完全に一致していることが明らかとなった。
  論文  参考訳（メタデータ） (2022-12-15T13:52:03Z)
• Transparent Human Evaluation for Image Captioning [70.03979566548823]
  画像キャプションモデルのためのルーリックに基づく人間評価プロトコルを開発した。 人為的キャプションは機械的キャプションよりも著しく高品質であることを示す。 この研究は、画像キャプションのためのより透明な評価プロトコルを促進することを願っている。
  論文  参考訳（メタデータ） (2021-11-17T07:09:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。