論文の概要: Stop learning it all to mitigate visual hallucination, Focus on the hallucination target

• arxiv url: http://arxiv.org/abs/2506.11417v1
• Date: Fri, 13 Jun 2025 02:35:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-16 17:50:49.631668
• Title: Stop learning it all to mitigate visual hallucination, Focus on the hallucination target
• Title（参考訳）: 視覚幻覚を緩和するためにすべてを学ぶのをやめ、幻覚の標的に焦点をあてる
• Authors: Dokyoon Yoon, Youngsook Song, Woomyong Park,
• Abstract要約: MLLM(Multimodal Large Language Models)はしばしば幻覚に悩まされる。 幻覚は、実用的な応用においてモデルの信頼性を損なう。 Mymethodは、目標とする領域にフォーカスすることで幻覚を緩和する嗜好学習アプローチである。
• 参考スコア（独自算出の注目度）: 0.10571493942475592
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal Large Language Models (MLLMs) frequently suffer from hallucination issues, generating information about objects that are not present in input images during vision-language tasks. These hallucinations particularly undermine model reliability in practical applications requiring accurate object identification. To address this challenge, we propose \mymethod,\ a preference learning approach that mitigates hallucinations by focusing on targeted areas where they occur. To implement this, we build a dataset containing hallucinated responses, correct responses, and target information (i.e., objects present in the images and the corresponding chunk positions in responses affected by hallucinations). By applying a preference learning method restricted to these specific targets, the model can filter out irrelevant signals and focus on correcting hallucinations. This allows the model to produce more factual responses by concentrating solely on relevant information. Experimental results demonstrate that \mymethod\ effectively reduces hallucinations across multiple vision hallucination tasks, improving the reliability and performance of MLLMs without diminishing overall performance.
• Abstract（参考訳）: MLLM(Multimodal Large Language Models)はしばしば幻覚に悩まされ、視覚言語タスク中に入力画像に存在しない物体に関する情報を生成する。 これらの幻覚は、特に正確な物体識別を必要とする実用的な応用においてモデルの信頼性を損なう。 この課題に対処するために,目的とする領域に着目し,幻覚を緩和する選好学習手法である'mymethod,\を提案する。 これを実現するために、幻覚応答、正しい応答、ターゲット情報(画像に存在するオブジェクトと、幻覚による応答における対応するチャンク位置)を含むデータセットを構築した。 これらの特定のターゲットに限定した選好学習手法を適用することで、モデルは無関係な信号をフィルタリングし、幻覚の修正に集中することができる。 これにより、モデルは関連する情報のみに集中することで、より現実的な応答を生成することができる。 実験により,複数の視覚幻覚タスクにおける幻覚を効果的に低減し,全体の性能を低下させることなくMLLMの信頼性と性能を向上させることが示された。

関連論文リスト

• Towards a Systematic Evaluation of Hallucinations in Large-Vision Language Models [57.58426038241812]
  LVLM(Large Vision-Language Models)は、複雑なマルチモーダルタスクにおいて顕著な性能を示す。 これらのモデルは、画像から様々な視覚的実体を暗黙的に認識または推測する必要がある場合、まだ幻覚に悩まされている。 本稿では,視覚的質問応答(VQA)ベンチマークを提案する。
  論文  参考訳（メタデータ） (2024-12-29T23:56:01Z)
• Devils in Middle Layers of Large Vision-Language Models: Interpreting, Detecting and Mitigating Object Hallucinations via Attention Lens [7.806633929976787]
  LVLM(Large Vision-Language Models)の幻覚は、その信頼性を著しく損なう。 本稿では,LVLMが視覚情報をどのように処理し,その処理が幻覚を引き起こすかについて述べる。 本稿では,様々な頭部に情報を統合することで視覚的注意を調節する簡易な推論時間手法を提案する。
  論文  参考訳（メタデータ） (2024-11-23T03:40:05Z)
• Investigating and Mitigating Object Hallucinations in Pretrained Vision-Language (CLIP) Models [22.42712853647949]
  本稿では,CLIPモデル内での物体幻覚問題について詳細に検討する。 孤立しても、CLIPモデルは対象の幻覚に傾向があり、幻覚問題は単に視覚と言語モダリティの相互作用によるものではないことを示唆する。 拡張モデルは視覚エンコーダとして利用でき、LVLMにおける物体幻覚の問題を効果的に緩和できることを示す。
  論文  参考訳（メタデータ） (2024-10-04T06:24:49Z)
• Detecting and Mitigating Hallucination in Large Vision Language Models via Fine-Grained AI Feedback [40.930238150365795]
  我々は,LVLM(Large Vision Language Models)における幻覚の検出と緩和について,きめ細かいAIフィードバックを用いて提案する。 プロプライエタリモデルによる小型幻覚アノテーションデータセットを生成する。 そこで本研究では,幻覚緩和モデルの訓練のための選好データセットを自動構築する検出テーマ書き換えパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-04-22T14:46:10Z)
• Quantity Matters: Towards Assessing and Mitigating Number Hallucination in Large Vision-Language Models [57.42800112251644]
  本研究では,画像中の特定の物体の数を誤って識別するモデルを参照しながら,特定の種類の幻覚数幻覚に焦点を当てた。 そこで,本研究では,数幻覚を減らすための一貫性向上を目的としたトレーニング手法を考案し,直接微調整法よりも8%の性能向上を図った。
  論文  参考訳（メタデータ） (2024-03-03T02:31:11Z)
• Evaluating Object Hallucination in Large Vision-Language Models [122.40337582958453]
  本研究は,大規模視覚言語モデル(LVLM)の物体幻覚に関する最初の体系的研究である。 LVLMは、記述中の対象画像と矛盾しないオブジェクトを生成する傾向がある。 対象の幻覚を評価するために,POPEと呼ばれるポーリングに基づくクエリ手法を提案する。
  論文  参考訳（メタデータ） (2023-05-17T16:34:01Z)
• Plausible May Not Be Faithful: Probing Object Hallucination in Vision-Language Pre-training [66.0036211069513]
  大規模視覚言語事前学習モデルは、テキストを生成する際に、存在しない視覚オブジェクトを幻覚させる傾向がある。 標準メトリクスでより良いスコアを得るモデルは、オブジェクトをより頻繁に幻覚させる可能性があることを示す。 驚いたことに、パッチベースの機能が最も良く、より小さなパッチ解決は、オブジェクト幻覚の非自明な減少をもたらす。
  論文  参考訳（メタデータ） (2022-10-14T10:27:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。