論文の概要: The Curse of Multi-Modalities: Evaluating Hallucinations of Large Multimodal Models across Language, Visual, and Audio

• arxiv url: http://arxiv.org/abs/2410.12787v1
• Date: Wed, 16 Oct 2024 17:59:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-17 13:42:01.694205
• Title: The Curse of Multi-Modalities: Evaluating Hallucinations of Large Multimodal Models across Language, Visual, and Audio
• Title（参考訳）: マルチモーダル性の曲線:言語・視覚・オーディオにおける大規模マルチモーダルモデルの幻覚の評価
• Authors: Sicong Leng, Yun Xing, Zesen Cheng, Yang Zhou, Hang Zhang, Xin Li, Deli Zhao, Shijian Lu, Chunyan Miao, Lidong Bing,
• Abstract要約: 本稿では,大規模マルチモーダルモデル(LMM)における幻覚に関する最初の系統的研究について述べる。 本研究は,幻覚に対する2つの重要な要因を明らかにした。 私たちの研究は、モダリティ統合の不均衡やトレーニングデータからのバイアスなど、重要な脆弱性を強調し、モダリティ間のバランスの取れた学習の必要性を強調した。
• 参考スコア（独自算出の注目度）: 118.75449542080746
• License:
• Abstract: Recent advancements in large multimodal models (LMMs) have significantly enhanced performance across diverse tasks, with ongoing efforts to further integrate additional modalities such as video and audio. However, most existing LMMs remain vulnerable to hallucinations, the discrepancy between the factual multimodal input and the generated textual output, which has limited their applicability in various real-world scenarios. This paper presents the first systematic investigation of hallucinations in LMMs involving the three most common modalities: language, visual, and audio. Our study reveals two key contributors to hallucinations: overreliance on unimodal priors and spurious inter-modality correlations. To address these challenges, we introduce the benchmark The Curse of Multi-Modalities (CMM), which comprehensively evaluates hallucinations in LMMs, providing a detailed analysis of their underlying issues. Our findings highlight key vulnerabilities, including imbalances in modality integration and biases from training data, underscoring the need for balanced cross-modal learning and enhanced hallucination mitigation strategies. Based on our observations and findings, we suggest potential research directions that could enhance the reliability of LMMs.
• Abstract（参考訳）: 大規模マルチモーダルモデル(LMM)の最近の進歩は、ビデオやオーディオなどの追加のモダリティをさらに統合するために、様々なタスクにわたるパフォーマンスを著しく向上させてきた。 しかし、既存のLMMの多くは幻覚に弱いままであり、実際のマルチモーダル入力と生成されたテキスト出力との相違は、様々な現実のシナリオで適用性に制限されている。 本稿では,言語,視覚,音声の3つの最も一般的なモダリティを含むLMMにおける幻覚に関する最初の体系的研究について述べる。 本研究は,幻覚に対する2つの重要な要因を明らかにした。 これらの課題に対処するために,LMMにおける幻覚を包括的に評価するベンチマーク "The Curse of Multi-Modalities" (CMM) を導入する。 本研究は,モダリティ統合の不均衡やトレーニングデータからの偏見,バランスの取れたクロスモーダル学習の必要性,幻覚の緩和戦略の強化など,重要な脆弱性を浮き彫りにした。 その結果,LMMの信頼性を高める研究の方向性が示唆された。

関連論文リスト

• Combating Multimodal LLM Hallucination via Bottom-Up Holistic Reasoning [151.4060202671114]
  マルチモーダル大規模言語モデル(MLLM)は、視覚言語タスクを前進させる前例のない能力を示した。 本稿では,MLLMにおける幻覚に対処するためのボトムアップ推論フレームワークを提案する。 本フレームワークは、認識レベル情報と認知レベルコモンセンス知識を検証・統合することにより、視覚とテキストの両方の入力における潜在的な問題に体系的に対処する。
  論文  参考訳（メタデータ） (2024-12-15T09:10:46Z)
• Enhancing Multi-Agent Consensus through Third-Party LLM Integration: Analyzing Uncertainty and Mitigating Hallucinations in Large Language Models [1.4582633500696451]
  大きな言語モデル(LLM)は、複雑な推論タスクを扱う際にも問題に直面します。 本稿では,知識境界を拡張するために異なるLSMを統合する新しい手法を提案する。 算術的データセットの実験により,本手法の有効性が検証された。
  論文  参考訳（メタデータ） (2024-11-25T08:42:33Z)
• Exploring Large Language Models for Multimodal Sentiment Analysis: Challenges, Benchmarks, and Future Directions [0.0]
  マルチモーダル・アスペクトベース感性分析(MABSA)は、テキストや画像を含む多モーダル情報からアスペクト項とその対応する感情極性を抽出することを目的としている。 従来の教師付き学習手法はこの課題において有効性を示したが、大規模言語モデル(LLM)のMABSAへの適応性は未だ不明である。 Llama2、LLaVA、ChatGPTなどのLLMの最近の進歩は、一般的なタスクにおいて強力な能力を示しているが、MABSAのような複雑できめ細かなシナリオでは、その性能が過小評価されている。
  論文  参考訳（メタデータ） (2024-11-23T02:17:10Z)
• RA-BLIP: Multimodal Adaptive Retrieval-Augmented Bootstrapping Language-Image Pre-training [55.54020926284334]
  近年,MLLM (Multimodal Large Language Models) が注目されている。 検索拡張技術はLLMとMLLMの両方に有効なプラグインであることが証明されている。 本研究では,MLLMの新しい検索支援フレームワークであるRA-BLIP(Retrieval-Augmented Bootstrapping Language-Image Pre-training)を提案する。
  論文  参考訳（メタデータ） (2024-10-18T03:45:19Z)
• Understanding the Role of LLMs in Multimodal Evaluation Benchmarks [77.59035801244278]
  本稿では,MLLM評価におけるLarge Language Model (LLM)バックボーンの役割について検討する。 本研究は4つのMLLMベンチマークと8つの最先端MLLMベンチマークを含む。 鍵となる発見は、いくつかのベンチマークでは視覚的な入力がなくても高いパフォーマンスを実現しており、最大50%のエラーレートは、LLMバックボーンにおける不十分な世界的知識に起因していることを示している。
  論文  参考訳（メタデータ） (2024-10-16T07:49:13Z)
• Hallucination of Multimodal Large Language Models: A Survey [40.73148186369018]
  マルチモーダル大規模言語モデル(MLLM)は,多モーダルタスクにおいて顕著な進歩と顕著な能力を示した。 これらの有望な発展にもかかわらず、MLLMは視覚的内容と矛盾する出力をしばしば生成する。 本調査は,MLLMにおける幻覚の理解を深め,この分野のさらなる進歩を促すことを目的としている。
  論文  参考訳（メタデータ） (2024-04-29T17:59:41Z)
• Quantifying and Mitigating Unimodal Biases in Multimodal Large Language Models: A Causal Perspective [9.633811630889237]
  本稿では,視覚質問応答(VQA)問題におけるバイアスを解釈するための因果的枠組みを提案する。 マルチホップ推論を必要とする12,000の挑戦VQAインスタンスを備えた新しいデータセットを導入する。 実験の結果, MLLMはMOREに悪影響を及ぼし, 強い一方向偏差と限定的な意味理解を示すことがわかった。
  論文  参考訳（メタデータ） (2024-03-27T08:38:49Z)
• Examining Modality Incongruity in Multimodal Federated Learning for Medical Vision and Language-based Disease Detection [7.515840210206994]
  異なるクライアントにおけるモダリティの欠如の影響は、モダリティの不整合(modality incongruity)とも呼ばれるが、非常に見過ごされている。 本稿では、初めて、モダリティの不整合の影響を解析し、参加するクライアント間のデータ不均一性との関係を明らかにする。
  論文  参考訳（メタデータ） (2024-02-07T22:16:53Z)
• Beyond Task Performance: Evaluating and Reducing the Flaws of Large Multimodal Models with In-Context Learning [105.77733287326308]
  我々は,3Bから80Bパラメータスケールまでの最近のオープンソースLMMを,幻覚,禁忌,構成性,説明可能性,指示に従う5つの異なる軸で評価した。 トレーニングフリーなインコンテキスト学習(ICL)をソリューションとして検討し、それがこれらの制限に与える影響について検討する。 ICL研究に基づき、ICLをさらに推し進め、Multitask-ICL、Chain-of-Hindsight-ICL、Self-Correcting-ICLといった新しい多モードICL変種を提案する。
  論文  参考訳（メタデータ） (2023-10-01T12:02:59Z)
• Siren's Song in the AI Ocean: A Survey on Hallucination in Large Language Models [116.01843550398183]
  大規模言語モデル(LLM)は、様々な下流タスクで顕著な機能を示している。 LLMは時折、ユーザ入力から分岐するコンテンツを生成し、以前生成されたコンテキストと矛盾する。
  論文  参考訳（メタデータ） (2023-09-03T16:56:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。