論文の概要: Verb Mirage: Unveiling and Assessing Verb Concept Hallucinations in Multimodal Large Language Models

• arxiv url: http://arxiv.org/abs/2412.04939v1
• Date: Fri, 06 Dec 2024 10:53:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-09 15:56:06.678749
• Title: Verb Mirage: Unveiling and Assessing Verb Concept Hallucinations in Multimodal Large Language Models
• Title（参考訳）: Verb Mirage: マルチモーダル大規模言語モデルにおけるVerb概念の幻覚の展開と評価
• Authors: Zehao Wang, Xinpeng Liu, Xiaoqian Wu, Yudonglin Zhang, Zhou Fang, Yifan Fang, Junfu Pu, Cewu Lu, Yong-Lu Li,
• Abstract要約: その結果,ほとんどのMLLMは重度の動詞幻覚に悩まされていることがわかった。 本稿では,動詞の幻覚を軽減するために,動詞の知識に基づく新しいチューニング手法を提案する。
• 参考スコア（独自算出の注目度）: 51.50892380172863
• License:
• Abstract: Multimodal Large Language Models (MLLMs) have garnered significant attention recently and demonstrate outstanding capabilities in various tasks such as OCR, VQA, captioning, $\textit{etc}$. However, hallucination remains a persistent issue. While numerous methods have been proposed to mitigate hallucinations, achieving notable improvements, these methods primarily focus on mitigating hallucinations about $\textbf{object/noun-related}$ concepts. Verb concepts, crucial for understanding human actions, have been largely overlooked. In this paper, to the best of our knowledge, we are the $\textbf{first}$ to investigate the $\textbf{verb hallucination}$ phenomenon of MLLMs from various perspectives. Our findings reveal that most state-of-the-art MLLMs suffer from severe verb hallucination. To assess the effectiveness of existing mitigation methods for object concept hallucination on verb hallucination, we evaluated these methods and found that they do not effectively address verb hallucination. To address this issue, we propose a novel rich verb knowledge-based tuning method to mitigate verb hallucination. The experiment results demonstrate that our method significantly reduces hallucinations related to verbs. $\textit{Our code and data will be made publicly available}$.
• Abstract（参考訳）: MLLM(Multimodal Large Language Models)は近年,OCRやVQA,キャプション,$\textit{etc}$など,さまざまなタスクにおいて優れた機能を示している。 しかし、幻覚は依然として持続的な問題である。 幻覚を緩和する多くの方法が提案されているが、これらの手法は主に$\textbf{object/noun-related}$概念に関する幻覚を緩和することに焦点を当てている。 人間の行動を理解するために不可欠な動詞の概念は、ほとんど見過ごされてきた。 本稿では, MLLM の様々な視点から, $\textbf{first}$ と $\textbf{verb Hallucination}$ を調査するための $\textbf{first}$ について述べる。 以上の結果より,ほとんどのMLLM患者が重度の動詞幻覚を患っていることが明らかとなった。 対象概念の幻覚に対する既存の緩和手法が動詞の幻覚に与える影響を評価するために,これらの手法を評価した結果,動詞の幻覚に効果的に対処できないことがわかった。 この問題に対処するために,動詞の幻覚を緩和するリッチな動詞知識に基づくチューニング手法を提案する。 実験の結果,本手法は動詞に関連する幻覚を著しく低減することが示された。 $\textit{Our code and data will be public available}$.

関連論文リスト

• Interpreting and Mitigating Hallucination in MLLMs through Multi-agent Debate [34.17353224636788]
  MLLMにおける幻覚は、部分的には、これらのモデルにおいてゆっくり考え、異なる考えが欠如しているためである、と我々は主張する。 我々のアプローチは幻覚だけでなく、それらがなぜ起こるのかを解釈し、幻覚の特異点を詳述する。
  論文  参考訳（メタデータ） (2024-07-30T02:41:32Z)
• Does Object Grounding Really Reduce Hallucination of Large Vision-Language Models? [53.89380284760555]
  大型視覚言語モデル(LVLM)は、画像に見つからない概念に言及するキャプションを生成する。 これらの幻覚は、LVLMの信頼性を損なうものであり、ユビキタス採用の主な障害であることは間違いない。 最近の研究は、画像領域やオブジェクトをテキストスパンに明示的にアライメントする、接地目的の追加は、LVLM幻覚の量を減らすことを示唆している。
  論文  参考訳（メタデータ） (2024-06-20T16:56:11Z)
• Data-augmented phrase-level alignment for mitigating object hallucination [52.43197107069751]
  MLLM(Multimodal Large Language Models)はしばしば幻覚と呼ばれる事実的不正確な情報を生成する。 そこで,本研究では,MLLMの命令調整による幻覚の緩和に応用可能な新しい損失であるData-augmented Phrase-level Alignment(DPA)を提案する。
  論文  参考訳（メタデータ） (2024-05-28T23:36:00Z)
• Hallucination Diversity-Aware Active Learning for Text Summarization [46.00645048690819]
  LLM(Large Language Models)は、幻覚出力を生成するための妥当性を示す。 幻覚を緩和するための既存の方法は、通常、LLM出力の幻覚を識別し修正するために、人為的なアノテーションを必要とする。 LLM幻覚を緩和する最初のアクティブラーニングフレームワークを提案し,必要な幻覚アノテーションのコストを削減した。
  論文  参考訳（メタデータ） (2024-04-02T02:30:27Z)
• The Dawn After the Dark: An Empirical Study on Factuality Hallucination in Large Language Models [134.6697160940223]
  幻覚は、大きな言語モデルの信頼できるデプロイには大きな課題となります。 幻覚(検出)の検出方法、LLMが幻覚(ソース)をなぜ検出するのか、そしてそれを緩和するために何ができるか、という3つの重要な疑問がよく研究されるべきである。 本研究は, 幻覚検出, 発生源, 緩和の3つの側面に着目した, LLM幻覚の系統的研究である。
  論文  参考訳（メタデータ） (2024-01-06T12:40:45Z)
• Hallucination Augmented Contrastive Learning for Multimodal Large Language Model [53.65682783591723]
  マルチモーダル大規模言語モデル(MLLM)は、自然言語と視覚情報を効率的に統合し、マルチモーダルタスクを処理できることが示されている。 しかし、MLLMは幻覚の基本的な限界に直面しており、誤った情報や偽情報を生成する傾向がある。 本稿では,MLLMにおける幻覚を表現学習の新たな視点から論じる。
  論文  参考訳（メタデータ） (2023-12-12T04:05:15Z)
• Evaluating Object Hallucination in Large Vision-Language Models [122.40337582958453]
  本研究は,大規模視覚言語モデル(LVLM)の物体幻覚に関する最初の体系的研究である。 LVLMは、記述中の対象画像と矛盾しないオブジェクトを生成する傾向がある。 対象の幻覚を評価するために,POPEと呼ばれるポーリングに基づくクエリ手法を提案する。
  論文  参考訳（メタデータ） (2023-05-17T16:34:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。