論文の概要: Mitigating Multilingual Hallucination in Large Vision-Language Models

• arxiv url: http://arxiv.org/abs/2408.00550v1
• Date: Thu, 1 Aug 2024 13:34:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-04 20:26:35.145900
• Title: Mitigating Multilingual Hallucination in Large Vision-Language Models
• Title（参考訳）: 大規模視覚言語モデルにおける多言語幻覚の緩和
• Authors: Xiaoye Qu, Mingyang Song, Wei Wei, Jianfeng Dong, Yu Cheng,
• Abstract要約: 大規模視覚言語モデル(LVLM)のための2段階多言語幻覚除去(MHR)フレームワークを提案する。 多言語リソースの複雑な手動アノテーションに頼る代わりに,新しい言語間アライメント手法を提案する。 当社のフレームワークは,13言語で平均19.0%の精度向上を実現しています。
• 参考スコア（独自算出の注目度）: 35.75851356840673
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While Large Vision-Language Models (LVLMs) have exhibited remarkable capabilities across a wide range of tasks, they suffer from hallucination problems, where models generate plausible yet incorrect answers given the input image-query pair. This hallucination phenomenon is even more severe when querying the image in non-English languages, while existing methods for mitigating hallucinations in LVLMs only consider the English scenarios. In this paper, we make the first attempt to mitigate this important multilingual hallucination in LVLMs. With thorough experiment analysis, we found that multilingual hallucination in LVLMs is a systemic problem that could arise from deficiencies in multilingual capabilities or inadequate multimodal abilities. To this end, we propose a two-stage Multilingual Hallucination Removal (MHR) framework for LVLMs, aiming to improve resistance to hallucination for both high-resource and low-resource languages. Instead of relying on the intricate manual annotations of multilingual resources, we fully leverage the inherent capabilities of the LVLM and propose a novel cross-lingual alignment method, which generates multiple responses for each image-query input and then identifies the hallucination-aware pairs for each language. These data pairs are finally used for direct preference optimization to prompt the LVLMs to favor non-hallucinating responses. Experimental results show that our MHR achieves a substantial reduction in hallucination generation for LVLMs. Notably, on our extended multilingual POPE benchmark, our framework delivers an average increase of 19.0% in accuracy across 13 different languages. Our code and model weights are available at https://github.com/ssmisya/MHR
• Abstract（参考訳）: LVLM(Large Vision-Language Models)は、様々なタスクにおいて顕著な能力を示してきたが、幻覚的な問題に悩まされ、入力された画像クエリ対に対して、モデルが妥当で不正確な答えを生成する。 この幻覚現象は、英語以外の言語で画像を検索する際にさらに深刻であるが、LVLMにおける幻覚を緩和するための既存の方法は、英語のシナリオのみを考慮している。 本稿では,LVLMにおけるこの重要な多言語幻覚を緩和するための最初の試みを行う。 徹底的な実験分析により,LVLMの多言語幻覚は多言語能力の欠如やマルチモーダル能力の欠如から生じるシステム的問題であることがわかった。 そこで本研究では,LVLMのための2段階多言語幻覚除去(MHR)フレームワークを提案する。 多言語リソースの複雑な手動アノテーションに頼る代わりに、LVLMの本質的な機能を完全に活用し、各画像クエリー入力に対して複数の応答を生成し、各言語に対する幻覚認識ペアを識別する新しい言語間アライメント手法を提案する。 これらのデータペアは最終的に直接選好最適化に使用され、LVLMが非幻覚応答を好むように促される。 実験結果から,LVLMの幻覚発生が著しく低下することが示唆された。 特に,拡張多言語POPEベンチマークでは,13言語で平均19.0%の精度向上を実現しています。 コードとモデルの重み付けはhttps://github.com/ssmisya/MHRで確認できる。

関連論文リスト

• Investigating and Mitigating the Multimodal Hallucination Snowballing in Large Vision-Language Models [33.19894606649144]
  視覚情報を人間の言語で理解する手法は進歩しているが、LVLM(Large Vision-Language Models)は多モード幻覚に悩まされている。 生成した幻覚に遭遇する際のLVLMの挙動を評価するためのMMHalballというフレームワークを提案する。 本稿では,LVLMの出力分布を残差視覚入力から導出した値で修正する,Residual Visual Decodingと呼ばれるトレーニング不要な手法を提案する。
  論文  参考訳（メタデータ） (2024-06-30T03:04:11Z)
• Data-augmented phrase-level alignment for mitigating object hallucination [52.43197107069751]
  MLLM(Multimodal Large Language Models)はしばしば幻覚と呼ばれる事実的不正確な情報を生成する。 そこで,本研究では,MLLMの命令調整による幻覚の緩和に応用可能な新しい損失であるData-augmented Phrase-level Alignment(DPA)を提案する。
  論文  参考訳（メタデータ） (2024-05-28T23:36:00Z)
• Detecting and Mitigating Hallucination in Large Vision Language Models via Fine-Grained AI Feedback [48.065569871444275]
  我々は,LVLM(Large Vision Language Models)における幻覚の検出と緩和について,きめ細かいAIフィードバックを用いて提案する。 プロプライエタリモデルによる小型幻覚アノテーションデータセットを生成する。 そこで本研究では,幻覚緩和モデルの訓練のための選好データセットを自動構築する検出テーマ書き換えパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-04-22T14:46:10Z)
• Hallucination Augmented Contrastive Learning for Multimodal Large Language Model [53.65682783591723]
  マルチモーダル大規模言語モデル(MLLM)は、自然言語と視覚情報を効率的に統合し、マルチモーダルタスクを処理できることが示されている。 しかし、MLLMは幻覚の基本的な限界に直面しており、誤った情報や偽情報を生成する傾向がある。 本稿では,MLLMにおける幻覚を表現学習の新たな視点から論じる。
  論文  参考訳（メタデータ） (2023-12-12T04:05:15Z)
• Analyzing and Mitigating Object Hallucination in Large Vision-Language Models [110.12460299261531]
  大規模視覚言語モデル(LVLM)は、人間の言語で視覚情報を理解する際、顕著な能力を示した。 LVLMは依然として物体幻覚に悩まされており、画像に実際に存在しない物体を含む記述を生成するという問題である。 そこで我々は,LVLMの幻覚を再現するアルゴリズム LVLM Hallucination Revisor (LURE) を提案する。
  論文  参考訳（メタデータ） (2023-10-01T18:10:53Z)
• Evaluation and Analysis of Hallucination in Large Vision-Language Models [49.19829480199372]
  LVLM(Large Vision-Language Models)は近年大きな成功を収めている。 LVLMは今でも幻覚に悩まされている。 幻覚とは、視覚入力に存在しないLVLMの応答の情報を指す。
  論文  参考訳（メタデータ） (2023-08-29T08:51:24Z)
• Evaluating Object Hallucination in Large Vision-Language Models [122.40337582958453]
  本研究は,大規模視覚言語モデル(LVLM)の物体幻覚に関する最初の体系的研究である。 LVLMは、記述中の対象画像と矛盾しないオブジェクトを生成する傾向がある。 対象の幻覚を評価するために,POPEと呼ばれるポーリングに基づくクエリ手法を提案する。
  論文  参考訳（メタデータ） (2023-05-17T16:34:01Z)
• Hallucinations in Large Multilingual Translation Models [70.10455226752015]
  大規模多言語機械翻訳システムでは、多数の言語間で直接翻訳できることが顕著に示されている。 野生に配備されると、これらのモデルが幻覚翻訳を生成し、ユーザーの信頼を著しく損なう可能性があり、安全性の懸念が高まる。 幻覚に関する既存の研究は、主に高ソース言語で訓練された小さなバイリンガルモデルに焦点を当てている。
  論文  参考訳（メタデータ） (2023-03-28T16:17:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。