Fugu-MT 論文翻訳(概要): Online Self-Calibration Against Hallucination in Vision-Language Models

論文の概要: Online Self-Calibration Against Hallucination in Vision-Language Models

arxiv url: http://arxiv.org/abs/2605.00323v1
Date: Fri, 01 May 2026 01:03:05 GMT
ステータス: 翻訳完了
システム内更新日: 2026-05-04 17:43:28.805212
Title: Online Self-Calibration Against Hallucination in Vision-Language Models
Title（参考訳）: 視覚言語モデルにおける幻覚に対するオンライン自己校正
Abstract要約: LVLM(Large Vision-Language Models)はしばしば幻覚に悩まされ、入力画像にない視覚的詳細を含む記述を生成する。 textbfOnline textbfSelf-textbfCAlibtextbfRation (OSCAR) を提案する。
参考スコア（独自算出の注目度）: 23.13137973421435
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Large Vision-Language Models (LVLMs) often suffer from hallucinations, generating descriptions that include visual details absent from the input image. Recent preference alignment methods typically rely on supervision distilled from stronger models such as GPT. However, this offline paradigm introduces a Supervision-Perception Mismatch: the student model is forced to align with fine-grained details beyond its perceptual capacity, learning to guess rather than to see. To obtain reliable self-supervision for online learning, we identify a Generative-Discriminative Gap within LVLMs, where models exhibit higher accuracy on discriminative verification than open-ended generation. Leveraging this capability, we propose \textbf{O}nline \textbf{S}elf-\textbf{CA}lib\textbf{R}ation (OSCAR), a framework that integrates Monte Carlo Tree Search with a Dual-Granularity Reward Mechanism to construct preference data and iteratively refines the model via Direct Preference Optimization. Extensive experiments demonstrate that OSCAR achieves state-of-the-art performance on hallucination benchmarks while improving general multimodal capabilities.
Abstract（参考訳）: LVLM(Large Vision-Language Models)はしばしば幻覚に悩まされ、入力画像から欠落した視覚的詳細を含む記述を生成する。最近の選好アライメント法は、通常、GPTのようなより強いモデルから蒸留された監督に依存する。しかし、このオフラインのパラダイムはスーパービジョン・パーセプション・ミスマッチ(Supervision-Perception Mismatch)を導入している。オンライン学習のための信頼性の高い自己スーパービジョンを得るために,LVLM内の生成-識別ギャップを同定する。この機能を活用して、モンテカルロ木探索とデュアルグラニュラリティー・リワード機構を統合して嗜好データを構築し、直接選好最適化を通じてモデルを反復的に洗練するフレームワークである、textbf{O}nline \textbf{S}elf-\textbf{CA}lib\textbf{R}ation (OSCAR)を提案する。大規模な実験により、OSCARは幻覚ベンチマークにおける最先端のパフォーマンスを達成し、一般的なマルチモーダル能力を向上することを示した。

関連論文リスト

S$^2$COPE: Self-Supervised Concept Discovery via Preference Learning [15.951097715837799]
我々は、このジレンマを解決するラベルのないフレームワークであるPreference lEarning (model)を通して、セルフ・スーパーバイザード・コンセプト・ディスクOveryを紹介します。我々の研究は、人間の監督なしに、モデルが付随する視覚構造と自律的に相互作用することで、解釈可能性が生まれることを示唆している。
論文参考訳（メタデータ） (2026-06-12T16:02:44Z)
Uncertainty-Aware Exploratory Direct Preference Optimization for Multimodal Large Language Models [53.15468578562038]
マルチモーダル大言語モデル(MLLM)のための不確実性を考慮した探索的直接参照最適化(UE-DPO)手法を提案する。まず、与えられた画像にトークン予測を根拠にしなかったモデルの不確かさを定量化する。次に、好ましいサンプルにおいて、視覚的に不足したトークンに対する学習のプレッシャーを高め、非推奨サンプルにおける有益な知識の過度な報酬化を緩和する。
論文参考訳（メタデータ） (2026-05-06T13:08:12Z)
Aligning with Your Own Voice: Self-Corrected Preference Learning for Hallucination Mitigation in LVLMs [17.56508975962831]
LVLM(Large Vision-Language Models)はしばしば幻覚に悩まされる。既存の嗜好学習ベースのアプローチは、嗜好データセットを構築するためのプロプライエタリなモデルに大きく依存している。本稿では,本モデルの本質的な知識から導かれる分布内データを用いて,LVLMを整列するフレームワークであるVErified Self-correction DPO (AVES-DPO)を提案する。提案手法では,多様な幻覚の診断にコンセンサスに基づく検証機構を用い,モデルを自己修正し,内部分布と厳密に整合した選好ペアを生成する。
論文参考訳（メタデータ） (2026-04-27T12:22:35Z)
Dual-Teacher Distillation with Subnetwork Rectification for Black-Box Domain Adaptation [69.7036779439312]
ブラックボックスドメイン適応は、非常に実用的で非常に困難な設定である。ブラックボックスソースモデルに埋め込まれた特定の知識を活用するサブネットワーク整合モデル(DDSR)を用いた二重蒸留法を提案する。我々の手法は、ソースデータやモデルの使用を含む、最先端の手法に対する一貫した改善を実証する。
論文参考訳（メタデータ） (2026-03-24T07:54:19Z)
Unified Personalized Reward Model for Vision Generation [27.496220369122494]
視覚生成のためのパーソナライズされた報酬モデルであるUnifiedReward-Flexを提案する。我々はまず,高度閉ソースVLMからブートストラップSFTまで,構造化された高品質な推論トレースを蒸留した。次に、慎重にキュレートされた選好ペア上で直接選好最適化(DPO)を行い、推論の忠実度と識別的アライメントをさらに強化する。
論文参考訳（メタデータ） (2026-02-02T17:44:21Z)
Did Models Sufficient Learn? Attribution-Guided Training via Subset-Selected Counterfactual Augmentation [61.248535801314375]
Subset-Selected Counterfactual Augmentation (SS-CA) 我々は,モデル予測を選択的に変更可能な最小空間領域集合を識別するために,対実的LIMAを開発した。実験により,SS-CAは分布内テストデータ(ID)の一般化を改善し,分布外ベンチマーク(OOD)において優れた性能を発揮することが示された。
論文参考訳（メタデータ） (2025-11-15T08:39:22Z)
Fine-Grained Verifiers: Preference Modeling as Next-token Prediction in Vision-Language Alignment [57.0121616203175]
本研究では,視覚言語アライメントを改善するための細粒度検証器として,モデル自身のビジュアルエンコーダを利用する新たな自己アライメント手法であるFiSAOを提案する。ビジョンエンコーダからのトークンレベルのフィードバックを活用することで、FiSAOは視覚言語アライメントを大幅に改善する。
論文参考訳（メタデータ） (2024-10-18T03:34:32Z)
Calibrated Self-Rewarding Vision Language Models [27.686545023186852]
LVLM(Large Vision-Language Models)は、訓練済みの大規模言語モデル(LLM)と視覚モデルを統合することで、指導チューニングを通じて大幅に進歩した。 LVLMは、しばしば幻覚現象を示し、生成されたテキスト応答は言語的に妥当に見えるが、入力画像に矛盾する。本稿では,候補応答を反復的に生成し,各応答に対する報酬を評価し,微調整のための選好データをキュレートすることで,モデルの自己改善を可能にするCalibrated Self-Rewarding(CSR)アプローチを提案する。
論文参考訳（メタデータ） (2024-05-23T14:30:33Z)
Bridging Generative and Discriminative Models for Unified Visual Perception with Diffusion Priors [56.82596340418697]
本稿では,豊富な生成前駆体を含む事前学習型安定拡散(SD)モデルと,階層的表現を統合可能な統一型ヘッド(Uヘッド)と,識別前駆体を提供する適応型専門家からなる,シンプルで効果的なフレームワークを提案する。包括的調査では、異なる時間ステップで潜伏変数に隠された知覚の粒度や様々なU-netステージなど、バーマスの潜在的な特性が明らかになった。有望な結果は,有望な学習者としての拡散モデルの可能性を示し,情報的かつ堅牢な視覚表現の確立にその意義を定めている。
論文参考訳（メタデータ） (2024-01-29T10:36:57Z)
Self-Supervised Models are Continual Learners [79.70541692930108]
本研究では, 自己教師付き損失関数を連続学習のための蒸留機構にシームレスに変換可能であることを示す。我々は,学習した表現の質を大幅に向上させる連続的自己教師型視覚表現学習の枠組みを考案した。
論文参考訳（メタデータ） (2021-12-08T10:39:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。