論文の概要: Object Hallucination-Free Reinforcement Unlearning for Vision-Language Models

• arxiv url: http://arxiv.org/abs/2605.08031v1
• Date: Fri, 08 May 2026 17:19:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-11 19:43:39.236129
• Title: Object Hallucination-Free Reinforcement Unlearning for Vision-Language Models
• Title（参考訳）: 視覚言語モデルのための物体幻覚のない強化学習
• Authors: Kaidi Jia, Yujie Lin, Chengyi Yang, Jiayao Ma, Jinsong Su,
• Abstract要約: 視覚言語モデル(VLM)は、プライバシー、著作権、偏見に対する関心を高め、センシティブな知識を取り除くために機械学習を動機付けている。 深い意味的除去のための視覚エンコーダで動作する強化型アンラーニングフレームワークHFRUを提案する。
• 参考スコア（独自算出の注目度）: 34.64078380392795
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-language models (VLMs) raise growing concerns about privacy, copyright, and bias, motivating machine unlearning to remove sensitive knowledge. However, existing methods primarily fine-tune the language decoder, leading to superficial forgetting that fails to erase underlying visual representations and often introduces object hallucination. We propose HFRU, a reinforcement unlearning framework that operates on the vision encoder for deep semantic removal. Our two-stage approach combines alignment disruption with GRPO-based optimization using a composite reward, including an abstraction reward that encourages semantically valid substitutions and mitigates hallucinations. Experiments on object recognition and face identity tasks show that HFRU achieves over 98% forgetting and retention performance, while introducing negligible object hallucination, significantly outperforming prior methods.Our code and implementation details are available at https://github.com/XMUDeepLIT/HFRU.
• Abstract（参考訳）: 視覚言語モデル(VLM)は、プライバシー、著作権、偏見に対する関心を高め、センシティブな知識を取り除くために機械学習を動機付けている。 しかし、既存のメソッドは、主に言語デコーダを微調整し、下層の視覚的表現を消去できず、しばしばオブジェクト幻覚を生じさせる表面的な忘れを生じる。 深い意味的除去のための視覚エンコーダで動作する強化型アンラーニングフレームワークHFRUを提案する。 我々の2段階のアプローチは、意味論的に有効な置換を奨励し、幻覚を緩和する抽象報酬を含む複合報酬を用いたアライメントディスラプションとGRPOに基づく最適化を組み合わせる。 オブジェクト認識および顔認証タスクの実験では、HFRUは、無視可能なオブジェクト幻覚を導入しながら、98%以上の忘れと保持性能を達成し、事前メソッドよりも大幅に優れており、我々のコードと実装の詳細はhttps://github.com/XMUDeepLIT/HFRUで公開されている。

関連論文リスト

• When Prompts Override Vision: Prompt-Induced Hallucinations in LVLMs [54.411658510110215]
  本研究では,異なる要因が幻覚を誘発する程度をよりよく理解するために,HauScopeを提案する。 HalluVL-DPOは、市販のLVLMをより視覚的な応答に向けて微調整するためのフレームワークである。
  論文  参考訳（メタデータ） (2026-04-23T17:54:36Z)
• Residual Decoding: Mitigating Hallucinations in Large Vision-Language Models via History-Aware Residual Guidance [31.7541034166056]
  LVLM(Large Vision-Language Models)は、画像テキスト入力から効果的に推論し、様々なマルチモーダルタスクでうまく機能する。 彼らは言語の先行性に影響され、しばしば幻覚を生じさせる。 この問題に対処するためにResidual Decoding (ResDec)を提案する。
  論文  参考訳（メタデータ） (2026-02-01T06:12:05Z)
• Watch Closely: Mitigating Object Hallucinations in Large Vision-Language Models with Disentangled Decoding [22.560247372346435]
  LVLM(Large Vision-Language Models)は、視覚と言語の間のギャップを埋めるモデルである。 これらのモデルは、特定のオブジェクトを正確に識別することができないことが多く、流動的に見えるが視覚的内容に対応しないテキスト生成につながる。 本稿では,訓練を必要としないHalucination Disentangled Decoding(HDD)手法を提案する。
  論文  参考訳（メタデータ） (2025-12-22T06:20:53Z)
• Exposing Hallucinations To Suppress Them: VLMs Representation Editing With Generative Anchors [8.089908150148554]
  マルチモーダル大規模言語モデル (MLLM) は様々な視覚言語タスクにおいて顕著な成功を収めている。 MLLMは幻覚に非常に敏感であり、視覚的証拠とは相容れない内容を生み出す。 本研究では,幻覚の緩和のための訓練不要で自己指導的な方法を提案する。
  論文  参考訳（メタデータ） (2025-09-26T07:24:28Z)
• ViCrit: A Verifiable Reinforcement Learning Proxy Task for Visual Perception in VLMs [98.27348724529257]
  ViCrit (Visual Caption Hallucination Critic) は、VLMを訓練し、人間の手書き画像キャプションの段落に挿入された微妙で合成的な視覚幻覚をローカライズするRLプロキシタスクである。 ViCrit Taskでトレーニングされたモデルは、さまざまなビジョン言語モデルベンチマークで大幅に向上している。
  論文  参考訳（メタデータ） (2025-06-11T19:16:54Z)
• Cracking the Code of Hallucination in LVLMs with Vision-aware Head Divergence [69.86946427928511]
  大型視覚言語モデル(LVLM)における幻覚を駆動する内部メカニズムについて検討する。 本稿では,視覚的コンテキストに対する注目ヘッド出力の感度を定量化する指標として,視覚認識型頭部偏差(VHD)を紹介する。 視覚認識型頭部強化(VHR)は,視覚認識型頭部機能を高めることで幻覚を緩和するための訓練不要なアプローチである。
  論文  参考訳（メタデータ） (2024-12-18T15:29:30Z)
• HELPD: Mitigating Hallucination of LVLMs by Hierarchical Feedback Learning with Vision-enhanced Penalty Decoding [36.360171373963716]
  LVLM(Large Vision-Language Models)は多くの視覚言語タスクにおいて顕著な性能を示している。 これらのモデルはまだマルチモーダル幻覚に悩まされており、それは画像に反するオブジェクトやコンテンツの生成を意味する。 本稿では、この問題に対処するために、視力強化されたペナルティ復号法(HELPD)を用いた階層的フィードバック学習を提案する。
  論文  参考訳（メタデータ） (2024-09-30T15:52:05Z)
• Detecting and Mitigating Hallucination in Large Vision Language Models via Fine-Grained AI Feedback [40.930238150365795]
  我々は,LVLM(Large Vision Language Models)における幻覚の検出と緩和について,きめ細かいAIフィードバックを用いて提案する。 プロプライエタリモデルによる小型幻覚アノテーションデータセットを生成する。 そこで本研究では,幻覚緩和モデルの訓練のための選好データセットを自動構築する検出テーマ書き換えパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-04-22T14:46:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。