論文の概要: Do More Details Always Introduce More Hallucinations in LVLM-based Image Captioning?

• arxiv url: http://arxiv.org/abs/2406.12663v1
• Date: Tue, 18 Jun 2024 14:33:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-19 18:38:36.941681
• Title: Do More Details Always Introduce More Hallucinations in LVLM-based Image Captioning?
• Title（参考訳）: LVLMをベースとした画像キャプションでは、より詳細な幻覚が常に導入されるのか?
• Authors: Mingqian Feng, Yunlong Tang, Zeliang Zhang, Chenliang Xu,
• Abstract要約: LVLM(Large Vision-Language Models)は、視覚的コンテキストと言語的コンテキストを統合することで、詳細なコンテンツを生成する。 LVLMを使用して記述を生成すると、出力テキストが入力画像内の実際のオブジェクトを誤って表現するオブジェクト幻覚(OH)の課題に直面します。 本稿では,新しい復号化戦略である微分ビーム復号法(DBD)と信頼性の高い新しい評価指標を提案する。
• 参考スコア（独自算出の注目度）: 29.237078890377514
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Vision-Language Models (LVLMs) excel in integrating visual and linguistic contexts to produce detailed content, facilitating applications such as image captioning. However, using LVLMs to generate descriptions often faces the challenge of object hallucination (OH), where the output text misrepresents actual objects in the input image. While previous studies attribute the occurrence of OH to the inclusion of more details, our study finds technical flaws in existing metrics, leading to unreliable evaluations of models and conclusions about OH. This has sparked a debate on the question: Do more details always introduce more hallucinations in LVLM-based image captioning? In this paper, we address this debate by proposing a novel decoding strategy, Differentiated Beam Decoding (DBD), along with a reliable new set of evaluation metrics: CLIP-Precision, CLIP-Recall, and CLIP-F1. DBD decodes the wealth of information hidden in visual input into distinct language representations called unit facts in parallel. This decoding is achieved via a well-designed differential score that guides the parallel search and candidate screening. The selected unit facts are then aggregated to generate the final caption. Our proposed metrics evaluate the comprehensiveness and accuracy of image captions by comparing the embedding groups of ground-truth image regions and generated text partitions. Extensive experiments on the Visual Genome dataset validate the effectiveness of our approach, demonstrating that it produces detailed descriptions while maintaining low hallucination levels.
• Abstract（参考訳）: LVLM(Large Vision-Language Models)は、視覚的コンテキストと言語的コンテキストを統合して詳細なコンテンツを生成し、画像キャプションなどの応用を容易にする。 しかし、LVLMを使用して記述を生成する場合、出力テキストが入力画像内の実際のオブジェクトを誤って表現するオブジェクト幻覚(OH)の課題に直面することが多い。 従来の研究では、OHの発生はより詳細な情報を含むことに起因するが、既存のメトリクスの技術的欠陥が発見され、OHに関するモデルや結論の信頼性の低い評価につながった。 LVLMをベースとした画像キャプションでは、より詳細な情報に幻覚が常に導入されますか? 本稿では,新たな復号化戦略である差分ビーム復号法(DBD)を提案するとともに,CLIP-Precision,CLIP-Recall,CLIP-F1といった信頼性の高い新しい評価指標を提案する。 DBDは視覚入力に隠された情報の富を単位事実と呼ばれる異なる言語表現に並列にデコードする。 この復号化は、並列探索と候補スクリーニングを導くよく設計された差分スコアによって達成される。 選択された単位事実を集約して最終キャプションを生成する。 提案手法は,画像領域の埋め込みグループと生成されたテキスト分割を比較し,画像キャプションの包括性と精度を評価する。 視覚ゲノムデータセットの広範囲な実験により,低幻覚レベルを維持しながら詳細な記述を生成できることが実証された。

関連論文リスト

• Looking Beyond Text: Reducing Language bias in Large Vision-Language Models via Multimodal Dual-Attention and Soft-Image Guidance [67.26434607115392]
  大規模視覚言語モデル(LVLM)は様々な視覚言語タスクにおいて印象的な成果を上げている。 LVLMは言語バイアスによる幻覚に悩まされ、画像や非効果的な視覚的理解に焦点が当てられなくなった。 MDA (Multimodal duAl-attention meChanIsm) aNd soft-image Guidance (IFG) を用いたLVLMの言語バイアスに対処するためのLACingを提案する。
  論文  参考訳（メタデータ） (2024-11-21T16:33:30Z)
• Bridging the Visual Gap: Fine-Tuning Multimodal Models with Knowledge-Adapted Captions [31.637204677787576]
  我々は、モデルの既存の知識と視覚的理解でトレーニングデータを自動的に適応するデータ中心のアプローチである、知識適応(KnowAda)ファインチューニングを導入する。 KnowAdaは、高い記述性を維持しながら幻覚を最小限にする。 以上の結果から,KnowAdaは自動測定と人的評価の両方において,様々なベースラインを上回ります。
  論文  参考訳（メタデータ） (2024-11-13T20:50:04Z)
• Mitigating Hallucinations in Large Vision-Language Models via Summary-Guided Decoding [14.701135083174918]
  LVLM(Large Vision-Language Models)は、視覚入力から詳細でコヒーレントな応答を生成する。 言語に対する依存度が高すぎるため、幻覚を起こす傾向にある。 我々は,SGD(Session-Guided Decoding)という新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-10-17T08:24:27Z)
• Seeing is Believing: Mitigating Hallucination in Large Vision-Language Models via CLIP-Guided Decoding [36.81476620057058]
  LVLM(Large Vision-Language Models)は、物体の幻覚に影響を受けやすい。 現在のアプローチは、しばしばモデルのトークン可能性やその他の内部情報に依存する。 CLIP-Guided Decoding approach to reduce object hallucination at decoding time。
  論文  参考訳（メタデータ） (2024-02-23T12:57:16Z)
• Incorporating Visual Experts to Resolve the Information Loss in Multimodal Large Language Models [121.83413400686139]
  本稿では,MLLMの視覚知覚能力を向上させるために,知識の混合強化機構を提案する。 本稿では,マルチタスクエンコーダとビジュアルツールを既存のMLLM訓練と推論パイプラインに組み込む新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-06T02:02:34Z)
• Good Questions Help Zero-Shot Image Reasoning [110.1671684828904]
  質問駆動型視覚探索(QVix)は、大規模視覚言語モデル(LVLM)の探索能力を高める新しい促進戦略である。 QVixは、視覚的なシーンのより広い探索を可能にし、視覚的な質問応答や視覚的エンターテイメントといったタスクにおけるLVLMの推論精度と深さを改善している。 我々は,ScienceQAやきめ細かな視覚分類など,難易度の高いゼロショット視覚言語ベンチマークの評価を行い,QVixが既存の手法よりも優れていることを示した。
  論文  参考訳（メタデータ） (2023-12-04T03:18:51Z)
• Mitigating Hallucination in Visual Language Models with Visual Supervision [33.05550629039951]
  大きな視覚言語モデル(LVLM)は幻覚に悩まされている。 鍵となる問題は、マルチモーダルなコンテキストで詳細なコンテンツを理解できないことだ。 本稿では,LVLMのトレーニングを容易にするために,より詳細な視覚アノテーションとより識別可能な視覚モデルを提案する。
  論文  参考訳（メタデータ） (2023-11-27T09:30:02Z)
• Resolving References in Visually-Grounded Dialogue via Text Generation [3.8673630752805446]
  視覚言語モデル(VLM)は、単純なテキストクエリに基づく画像検索に有効であることが示されているが、会話入力に基づくテキスト画像検索は依然として課題である。 本稿では,言語文脈における中核的情報を要約した明確な記述を生成するために,因果的大言語モデル(LLM)の微調整を提案する。 次に、予め訓練されたVLMを使用して、生成された記述、ゼロショットに基づいて参照を識別する。
  論文  参考訳（メタデータ） (2023-09-23T17:07:54Z)
• Scene Graph as Pivoting: Inference-time Image-free Unsupervised Multimodal Machine Translation with Visual Scene Hallucination [88.74459704391214]
  本研究では,より現実的なマルチモーダル機械翻訳(UMMT)について検討する。 視覚・言語シーングラフ(SG)を用いて,入力画像とテキストを表現し,その微細な視覚言語特徴が意味論の全体的理解を確実にする。 教師なし翻訳学習には,SG-pivotingに基づく学習目的がいくつか導入されている。 提案手法は,タスクとセットアップにおいて,BLEUスコアの有意な向上により,最良性能のベースラインを上回ります。
  論文  参考訳（メタデータ） (2023-05-20T18:17:20Z)
• Prompt-based Learning for Unpaired Image Captioning [86.44188293709307]
  Unpaired Image Captioning (UIC) は、非整合視覚言語サンプルペアから画像記述を学習するために開発された。 近年のVision-Language Pre-Trained Models (VL-PTMs) の成功は、プロンプトベース学習の発展を引き起こしている。 本稿では,UICモデルをトレーニングするためのプロンプトに基づく新しいスキームを提案し,その強力な一般化能力を最大限に活用する。
  論文  参考訳（メタデータ） (2022-05-26T03:13:43Z)
• Fine-grained Image Captioning with CLIP Reward [104.71533106301598]
  ウェブから大量の画像テキストペアをトレーニングしたマルチモーダルエンコーダであるCLIPを用いて、マルチモーダル類似性を計算し、報酬関数として利用する。 また、追加のテキストアノテーションを必要としない文法を改善するために、CLIPテキストエンコーダの簡単な微調整戦略を提案する。 テキスト・ツー・イメージ検索とFineCapEvalの実験において、提案したCLIP誘導モデルは、CIDEr最適化モデルよりも顕著なキャプションを生成する。
  論文  参考訳（メタデータ） (2022-05-26T02:46:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。