論文の概要: Self-Consistency as a Free Lunch: Reducing Hallucinations in Vision-Language Models via Self-Reflection
- arxiv url: http://arxiv.org/abs/2509.23236v1
- Date: Sat, 27 Sep 2025 10:37:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-30 22:32:19.116422
- Title: Self-Consistency as a Free Lunch: Reducing Hallucinations in Vision-Language Models via Self-Reflection
- Title（参考訳）: 自由ランチとしての自己整合性:自己回帰による視覚言語モデルにおける幻覚の低減
- Authors: Mingfei Han, Haihong Hao, Jinxing Zhou, Zhihui Li, Yuhui Zheng, Xueqing Deng, Linjie Yang, Xiaojun Chang,
- Abstract要約: 視覚言語モデルは、しばしば詳細を幻覚させ、既存のオブジェクトを生成するか、出力信頼性を損なう不正確な属性を生成する。
本稿では、長文応答と短文応答の自己整合性を利用して、学習のための選好ペアを生成する新しいフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 71.8243083897721
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Vision-language models often hallucinate details, generating non-existent objects or inaccurate attributes that compromise output reliability. Existing methods typically address these issues via extensive human annotations or external supervision from more powerful models. In this work, we present a novel framework that leverages the model's self-consistency between long responses and short answers to generate preference pairs for training. We observe that short binary questions tend to yield highly reliable responses, which can be used to query the target model to evaluate and rank its generated responses. Specifically, we design a self-reflection pipeline where detailed model responses are compared against concise binary answers, and inconsistency signals are utilized to automatically curate high-quality training data without human annotations or external model-based supervision. By relying solely on self-consistency rather than external supervision, our method offers a scalable and efficient solution that effectively reduces hallucinations using unlabeled data. Extensive experiments on multiple benchmarks, i.e., AMBER, MultiObject-Hal (ROPE), Object HalBench, and MMHal-Bench, demonstrate significant improvements in factual grounding and reliability. Moreover, our approach maintains robust instruction-following ability, as evidenced by enhanced performance on LLaVA-Bench and MMBench.
- Abstract（参考訳）: 視覚言語モデルは、しばしば詳細を幻覚させ、既存のオブジェクトを生成するか、出力信頼性を損なう不正確な属性を生成する。
既存の方法は通常、より広範な人間のアノテーションやより強力なモデルからの外部監督を通じてこれらの問題に対処する。
本研究では,長文応答と短文応答の自己整合性を利用して,学習のための選好ペアを生成する新しいフレームワークを提案する。
我々は、短い二分質問は高い信頼性の応答をもたらす傾向にあり、それによってターゲットモデルに問い合わせて、生成した応答を評価し、ランク付けすることができることを観察する。
具体的には、詳細なモデル応答を簡潔なバイナリ応答と比較する自己回帰パイプラインを設計し、不整合信号を用いて、人間のアノテーションや外部モデルに基づく監視なしに高品質なトレーニングデータを自動的にキュレートする。
外部監視よりも自己整合性にのみ依存することにより,未ラベルデータを用いた幻覚を効果的に低減する,スケーラブルで効率的なソリューションを提供する。
複数のベンチマーク、すなわち、AMBER、MultiObject-Hal(ROPE)、Object HalBench、MMHal-Benchの大規模な実験は、現実のグラウンド化と信頼性を大幅に改善したことを示している。
さらに,LLaVA-BenchとMMBenchの性能向上が示すように,堅牢な命令追従能力を維持している。
関連論文リスト
- SPELL: Self-Play Reinforcement Learning for evolving Long-Context Language Models [79.01078135582127]
SPELLは、長文推論のためのスケーラブルでラベルなしの最適化を可能にする。
本稿では、文書長を徐々に向上させる自動カリキュラムと、モデルの進化する機能に質問の難しさを適応させる報奨関数を導入する。
論文 参考訳（メタデータ） (2025-09-28T13:08:10Z) - More is Less: The Pitfalls of Multi-Model Synthetic Preference Data in DPO Safety Alignment [80.04449725137177]
直接選好最適化(DPO)は、人間のフィードバックによる強化学習の、シンプルで効果的な代替手段として登場した。
我々の研究は、DPOアライメントに関連する、目覚ましい、安全性に特有な現象を明らかにした。
選択されたペアと拒否されたペアに対してのみ自己生成されたレスポンスを使用することで、より強力なモデルからのレスポンスを含む構成を大幅に上回る。
論文 参考訳（メタデータ） (2025-04-03T00:36:40Z) - Self-rewarding correction for mathematical reasoning [19.480508580498103]
我々は,大規模言語モデル(LLM)の自己回帰的推論について研究する。
LLMは、ステップバイステップの推論を同時に生成し、外部からのフィードバックを伴わない推論時間における出力の正しさを評価する。
本稿では,自己生成データのみを用いて自己回帰推論モデルを構築するための2段階のアルゴリズムフレームワークを提案する。
論文 参考訳（メタデータ） (2025-02-26T23:01:16Z) - Enhancing LLM Reasoning via Critique Models with Test-Time and Training-Time Supervision [120.40788744292739]
本稿では、推論と批判モデルの役割を分離する2人プレイヤパラダイムを提案する。
まず、批判データを収集する自動化およびスケーラブルなフレームワークであるAutoMathCritiqueを提案する。
テスト時間における難解なクエリに対するアクターのパフォーマンスを,批判モデルが一貫して改善することが実証された。
論文 参考訳（メタデータ） (2024-11-25T17:11:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。