論文の概要: Improving Alignment in LVLMs with Debiased Self-Judgment

• arxiv url: http://arxiv.org/abs/2508.20655v2
• Date: Thu, 11 Sep 2025 12:03:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-12 13:52:32.828677
• Title: Improving Alignment in LVLMs with Debiased Self-Judgment
• Title（参考訳）: 脱バイアス自己判断によるLVLMのアライメント改善
• Authors: Sihan Yang, Chenhang Cui, Zihao Zhao, Yiyang Zhou, Weilong Yan, Ying Wei, Huaxiu Yao,
• Abstract要約: 本稿では,モデルの内部で作成した自己評価指標であるデバイアスド自己判断スコア(debiased self-judgment score)を生成する新しい手法を提案する。 提案手法は,復号法と選好調整法の両方を強化し,幻覚の低減,安全性の向上,全体的な能力の向上を実現した。
• 参考スコア（独自算出の注目度）: 44.8380749479927
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The rapid advancements in Large Language Models (LLMs) and Large Visual-Language Models (LVLMs) have opened up new opportunities for integrating visual and linguistic modalities. However, effectively aligning these modalities remains challenging, often leading to hallucinations--where generated outputs are not grounded in the visual input--and raising safety concerns across various domains. Existing alignment methods, such as instruction tuning and preference tuning, often rely on external datasets, human annotations, or complex post-processing, which limit scalability and increase costs. To address these challenges, we propose a novel approach that generates the debiased self-judgment score, a self-evaluation metric created internally by the model without relying on external resources. This enables the model to autonomously improve alignment. Our method enhances both decoding strategies and preference tuning processes, resulting in reduced hallucinations, enhanced safety, and improved overall capability. Empirical results show that our approach significantly outperforms traditional methods, offering a more effective solution for aligning LVLMs.
• Abstract（参考訳）: LLM(Large Language Models)とLVLM(Large Visual-Language Models)の急速な進歩により、視覚的および言語的モダリティを統合する新たな機会が開かれた。 しかし、これらのモダリティを効果的に整合させることは依然として困難であり、しばしば幻覚につながる。 命令チューニングや優先順位調整のような既存のアライメント手法は、しばしば外部データセット、ヒューマンアノテーション、複雑な後処理に依存し、スケーラビリティを制限しコストを増大させる。 これらの課題に対処するために,モデルの内部で外部リソースに依存しない自己評価指標であるデバイアスド自己判断スコア(debiased self-judgment score)を生成する新しい手法を提案する。 これにより、モデルは自律的にアライメントを改善することができる。 提案手法は,復号法と選好調整法の両方を強化し,幻覚の低減,安全性の向上,全体的な能力の向上を実現した。 実験の結果,本手法は従来の手法よりも優れており,LVLMの整合性向上に有効であることがわかった。

関連論文リスト

• Dynamic Rewarding with Prompt Optimization Enables Tuning-free Self-Alignment of Language Models [54.381650481255235]
  我々は,Prompt Optimization (O) を用いた動的リワードによる自己アライメントのための新しいチューニング不要アプローチを提案する。 提案手法は,LLMを反復的に自己改善し,最適アライメント命令を作成可能な検索ベース最適化フレームワークを活用する。 近年の8つのLCMのオープンおよびクローズドソースに関する実証評価により,DRPOはアライメント性能を著しく向上することが示された。
  論文  参考訳（メタデータ） (2024-11-13T16:15:38Z)
• Enhancing Visual-Language Modality Alignment in Large Vision Language Models via Self-Improvement [102.22911097049953]
  大規模視覚言語モデル(LVLM)は、視覚的質問応答および推論タスクにおいて印象的な結果を得た。 既存の手法は、しばしば外部モデルやデータに依存し、制御不能で不安定なアライメント結果をもたらす。 本稿では,外部依存を伴わない視覚的・言語的モダリティアライメントを向上させる自己改善フレームワークSIMAを提案する。
  論文  参考訳（メタデータ） (2024-05-24T23:09:27Z)
• Calibrated Self-Rewarding Vision Language Models [27.686545023186852]
  LVLM(Large Vision-Language Models)は、訓練済みの大規模言語モデル(LLM)と視覚モデルを統合することで、指導チューニングを通じて大幅に進歩した。 LVLMは、しばしば幻覚現象を示し、生成されたテキスト応答は言語的に妥当に見えるが、入力画像に矛盾する。 本稿では,候補応答を反復的に生成し,各応答に対する報酬を評価し,微調整のための選好データをキュレートすることで,モデルの自己改善を可能にするCalibrated Self-Rewarding(CSR)アプローチを提案する。
  論文  参考訳（メタデータ） (2024-05-23T14:30:33Z)
• Debiasing Multimodal Large Language Models via Penalization of Language Priors [38.97645845493758]
  MLLM(Multimodal Large Language Models)は、コンピュータビジョンや自然言語処理において欠かせないツールとなっている。 生成されたコンテンツは、入力画像よりも、基礎となるLarge Language Models (LLMs) の本質的な先行性によって駆動されることが多い。 本稿では、これらのバイアスを補正し、視覚情報に対するモデルの焦点をリダイレクトするための、単純でトレーニングのない2つの戦略を提案する。
  論文  参考訳（メタデータ） (2024-03-08T12:35:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。