論文の概要: ODE: Open-Set Evaluation of Hallucinations in Multimodal Large Language Models

• arxiv url: http://arxiv.org/abs/2409.09318v2
• Date: Mon, 02 Dec 2024 08:51:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-03 16:56:35.449146
• Title: ODE: Open-Set Evaluation of Hallucinations in Multimodal Large Language Models
• Title（参考訳）: ODE:マルチモーダル大言語モデルにおける幻覚のオープンセット評価
• Authors: Yahan Tu, Rui Hu, Jitao Sang,
• Abstract要約: 大規模言語モデル(MLLM)における幻覚を評価するためのオープンセット動的プロトコルを提案する。 ODEは、現実世界のオブジェクト概念、それらの属性、それらの間の分布関係を表現するために、グラフベースの構造を用いる。 生成タスクと識別タスクの両方において幻覚を評価する構造化クエリのさまざまなサンプルを生成する。
• 参考スコア（独自算出の注目度）: 15.156359255401812
• License:
• Abstract: Hallucination poses a persistent challenge for multimodal large language models (MLLMs). However, existing benchmarks for evaluating hallucinations are generally static, which may overlook the potential risk of data contamination. To address this issue, we propose ODE, an open-set, dynamic protocol designed to evaluate object hallucinations in MLLMs at both the existence and attribute levels. ODE employs a graph-based structure to represent real-world object concepts, their attributes, and the distributional associations between them. This structure facilitates the extraction of concept combinations based on diverse distributional criteria, generating varied samples for structured queries that evaluate hallucinations in both generative and discriminative tasks. Through the generation of new samples, dynamic concept combinations, and varied distribution frequencies, ODE mitigates the risk of data contamination and broadens the scope of evaluation. This protocol is applicable to both general and specialized scenarios, including those with limited data. Experimental results demonstrate the effectiveness of our protocol, revealing that MLLMs exhibit higher hallucination rates when evaluated with ODE-generated samples, which indicates potential data contamination. Furthermore, these generated samples aid in analyzing hallucination patterns and fine-tuning models, offering an effective approach to mitigating hallucinations in MLLMs.
• Abstract（参考訳）: 幻覚はマルチモーダル大言語モデル(MLLM)にとって永続的な課題である。 しかしながら、幻覚を評価するための既存のベンチマークは一般的に静的であり、データ汚染の潜在的なリスクを見逃す可能性がある。 この問題に対処するために,MLLMにおけるオブジェクト幻覚を,属性レベルと存在レベルの両方で評価するオープンセット動的プロトコルODEを提案する。 ODEは、現実世界のオブジェクト概念、それらの属性、それらの間の分布関係を表現するために、グラフベースの構造を用いる。 この構造は、多様な分布基準に基づいて概念組合せの抽出を容易にし、生成的タスクと識別的タスクの両方において幻覚を評価する構造化クエリの多様なサンプルを生成する。 新しいサンプルの生成、動的概念の組み合わせ、様々な分布周波数によって、ODEはデータ汚染のリスクを軽減し、評価の範囲を広げる。 このプロトコルは、限られたデータを含む一般的なシナリオと特殊なシナリオの両方に適用できる。 実験により,本プロトコルの有効性を実証し,データ汚染の可能性を示すODE生成試料を用いて評価すると,MLLMは高い幻覚率を示すことが明らかとなった。 さらに、これらのサンプルは幻覚パターンや微調整モデルの解析に役立ち、MLLMの幻覚を緩和するための効果的なアプローチを提供する。

関連論文リスト

• HuDEx: Integrating Hallucination Detection and Explainability for Enhancing the Reliability of LLM responses [0.12499537119440242]
  本稿では,HuDExと命名された幻覚検出モデルについて説明する。 提案モデルでは,検出を説明と統合する新たなアプローチを提供し,ユーザとLLM自体がエラーを理解し,低減することができる。
  論文  参考訳（メタデータ） (2025-02-12T04:17:02Z)
• Enhancing Hallucination Detection through Noise Injection [9.582929634879932]
  大型言語モデル(LLM)は、幻覚として知られる、もっとも不正確な応答を生成する傾向にある。 ベイズ感覚のモデル不確実性を考慮し,検出精度を著しく向上できることを示す。 サンプリング中にモデルパラメータの適切なサブセット、あるいは等価に隠されたユニットアクティベーションを摂動する、非常に単純で効率的なアプローチを提案する。
  論文  参考訳（メタデータ） (2025-02-06T06:02:20Z)
• Improving Factuality in Large Language Models via Decoding-Time Hallucinatory and Truthful Comparators [14.705475420665117]
  大きな言語モデル(LLM)は、検証可能な事実に矛盾する応答を生成する傾向がある。 応答幻覚を軽減するために,比較器駆動型復号時間(CDT)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-22T12:00:31Z)
• CODE: Contrasting Self-generated Description to Combat Hallucination in Large Multi-modal Models [51.70129969269271]
  CODE(Countering Description Contrastive Decoding)という,新しいコントラストベースのデコーディング手法を提案する。 提案手法は幻覚を著しく低減し,様々なベンチマークや最先端のLMM間の相互整合性を改善する。
  論文  参考訳（メタデータ） (2024-06-04T03:04:21Z)
• VALOR-EVAL: Holistic Coverage and Faithfulness Evaluation of Large Vision-Language Models [57.43276586087863]
  LVLM(Large Vision-Language Models)は幻覚に悩まされ、このモデルでは可聴音を発生させるが、実際には誤出力を発生させる。 既存のベンチマークはスコープに限られており、主にオブジェクト幻覚に焦点を当てている。 対象,属性,関係を多次元のベンチマークで表現し,連想バイアスに基づいて画像を選択する。
  論文  参考訳（メタデータ） (2024-04-22T04:49:22Z)
• Prescribing the Right Remedy: Mitigating Hallucinations in Large Vision-Language Models via Targeted Instruction Tuning [15.156359255401812]
  そこで本研究では,異なるモデルの幻覚特異性に合わせたDFTGという命令データ生成フレームワークを提案する。 幻覚ベンチマークによる実験結果から,本手法で生成した目標命令データの方が,従来よりも幻覚の緩和に有効であることが示唆された。
  論文  参考訳（メタデータ） (2024-04-16T07:14:32Z)
• Dual-View Data Hallucination with Semantic Relation Guidance for Few-Shot Image Recognition [49.26065739704278]
  本稿では、意味的関係を利用して、画像認識のための二重視点データ幻覚を導出するフレームワークを提案する。 インスタンスビューデータ幻覚モジュールは、新規クラスの各サンプルを幻覚して新しいデータを生成する。 プロトタイプビューデータ幻覚モジュールは、意味認識尺度を利用して、新しいクラスのプロトタイプを推定する。
  論文  参考訳（メタデータ） (2024-01-13T12:32:29Z)
• AutoHall: Automated Hallucination Dataset Generation for Large Language Models [56.92068213969036]
  本稿では,AutoHallと呼ばれる既存のファクトチェックデータセットに基づいて,モデル固有の幻覚データセットを自動的に構築する手法を提案する。 また,自己コントラディションに基づくゼロリソース・ブラックボックス幻覚検出手法を提案する。
  論文  参考訳（メタデータ） (2023-09-30T05:20:02Z)
• Detecting and Preventing Hallucinations in Large Vision Language Models [4.7264116948935975]
  M-HalDetectは、詳細な画像記述のための最初のマルチモーダル幻覚検出データセットである。 InstructBLIPから細粒度マルチモーダル報酬モデルを訓練し,その有効性を評価する。 LLaVAとmPLUG-OWLの幻覚をそれぞれ15%と57%低減する。
  論文  参考訳（メタデータ） (2023-08-11T21:35:20Z)
• Integrating Expert ODEs into Neural ODEs: Pharmacology and Disease Progression [71.7560927415706]
  潜在ハイブリッドモデル(LHM)は、専門家が設計したODEのシステムと機械学習したNeural ODEを統合し、システムのダイナミクスを完全に記述する。 新型コロナウイルス患者のLHMと実世界の集中治療データについて検討した。
  論文  参考訳（メタデータ） (2021-06-05T11:42:45Z)
• Robust Finite Mixture Regression for Heterogeneous Targets [70.19798470463378]
  本稿では,サンプルクラスタの探索と,複数の不完全な混合型ターゲットを同時にモデル化するFMRモデルを提案する。 我々は、高次元の学習フレームワークの下で、無症状のオラクルのパフォーマンス境界をモデルに提供します。 その結果,我々のモデルは最先端の性能を達成できることがわかった。
  論文  参考訳（メタデータ） (2020-10-12T03:27:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。