論文の概要: Re-Align: Aligning Vision Language Models via Retrieval-Augmented Direct Preference Optimization

• arxiv url: http://arxiv.org/abs/2502.13146v1
• Date: Tue, 18 Feb 2025 18:59:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-19 14:07:46.640868
• Title: Re-Align: Aligning Vision Language Models via Retrieval-Augmented Direct Preference Optimization
• Title（参考訳）: Re-Align: Retrieval-Augmented Direct Preference Optimizationによる視覚言語モデルの調整
• Authors: Shuo Xing, Yuping Wang, Peiran Li, Ruizheng Bai, Yueqi Wang, Chengxuan Qian, Huaxiu Yao, Zhengzhong Tu,
• Abstract要約: 大規模視覚言語モデル(VLM)は、特に横断的不整合の形で、重要な幻覚を引き起こす傾向がある。 本稿では、画像検索を利用した新しいアライメントフレームワークRe-Alignを紹介する。 我々はまた、微調整中に視覚的嗜好を付加する、標準の直接選好最適化の拡張であるrDPOも導入する。
• 参考スコア（独自算出の注目度）: 19.37373012848517
• License:
• Abstract: The emergence of large Vision Language Models (VLMs) has broadened the scope and capabilities of single-modal Large Language Models (LLMs) by integrating visual modalities, thereby unlocking transformative cross-modal applications in a variety of real-world scenarios. Despite their impressive performance, VLMs are prone to significant hallucinations, particularly in the form of cross-modal inconsistencies. Building on the success of Reinforcement Learning from Human Feedback (RLHF) in aligning LLMs, recent advancements have focused on applying direct preference optimization (DPO) on carefully curated datasets to mitigate these issues. Yet, such approaches typically introduce preference signals in a brute-force manner, neglecting the crucial role of visual information in the alignment process. In this paper, we introduce Re-Align, a novel alignment framework that leverages image retrieval to construct a dual-preference dataset, effectively incorporating both textual and visual preference signals. We further introduce rDPO, an extension of the standard direct preference optimization that incorporates an additional visual preference objective during fine-tuning. Our experimental results demonstrate that Re-Align not only mitigates hallucinations more effectively than previous methods but also yields significant performance gains in general visual question-answering (VQA) tasks. Moreover, we show that Re-Align maintains robustness and scalability across a wide range of VLM sizes and architectures. This work represents a significant step forward in aligning multimodal LLMs, paving the way for more reliable and effective cross-modal applications. We release all the code in https://github.com/taco-group/Re-Align.
• Abstract（参考訳）: 大規模視覚言語モデル (VLM) の出現により、視覚的モダリティを統合することで、単一モードの大規模言語モデル (LLM) の範囲と能力が拡大され、様々な現実シナリオにおけるトランスフォーメーション・クロスモーダル・アプリケーションをアンロックできるようになった。 優れた性能にもかかわらず、VLMは特にクロスモーダルな不整合の形で、大きな幻覚を起こす傾向にある。 ヒューマンフィードバックによる強化学習(RLHF)の成功をLLMの整合性に基づけた最近の進歩は、これらの問題を緩和するために慎重に計算されたデータセットに直接優先最適化(DPO)を適用することに焦点を当てている。 しかし、このようなアプローチは一般的に、アライメントプロセスにおける視覚情報の重要な役割を無視して、ブルートフォース方式で優先信号を導入する。 本稿では、画像検索を利用して二重参照データセットを構築する新しいアライメントフレームワークRe-Alignを紹介し、テキストと視覚の両方を効果的に組み込む。 さらに、微調整時の視覚的嗜好目的を付加した、標準の直接選好最適化の拡張であるrDPOを導入する。 実験の結果、Re-Alignは幻覚を従来の方法よりも効果的に緩和するだけでなく、一般的な視覚的質問応答(VQA)タスクにおいて顕著な性能向上をもたらすことが示された。 さらに、Re-Alignは広範囲のVLMサイズとアーキテクチャにわたって堅牢性とスケーラビリティを維持していることを示す。 この作業はマルチモーダル LLM の整合における重要な一歩であり、より信頼性が高く効果的なクロスモーダルアプリケーションへの道を開いた。 すべてのコードをhttps://github.com/taco-group/Re-Alignでリリースします。

関連論文リスト

• CHiP: Cross-modal Hierarchical Direct Preference Optimization for Multimodal LLMs [107.21334626890713]
  MLLM(Multimodal Large Language Models)は、その優れた能力にもかかわらず、幻覚に苦しむ。 本稿では,これらの制約に対処するクロスモーダル階層型直接選好最適化(CHiP)を提案する。 定量的および定性的な分析によってCHiPを評価し,幻覚の低減効果を複数のベンチマークで実証した。
  論文  参考訳（メタデータ） (2025-01-28T02:05:38Z)
• ADEM-VL: Adaptive and Embedded Fusion for Efficient Vision-Language Tuning [38.26304604660713]
  ADEM-VLは、事前訓練された大規模言語モデルに基づいてモデルをチューニングする効率的な視覚言語手法である。 我々のフレームワークはScienceQAデータセットの平均精度を0.77%上回る。
  論文  参考訳（メタデータ） (2024-10-23T11:31:06Z)
• Fine-Grained Verifiers: Preference Modeling as Next-token Prediction in Vision-Language Alignment [57.0121616203175]
  本研究では,視覚言語アライメントを改善するための細粒度検証器として,モデル自身のビジュアルエンコーダを利用する新たな自己アライメント手法であるFiSAOを提案する。 ビジョンエンコーダからのトークンレベルのフィードバックを活用することで、FiSAOは視覚言語アライメントを大幅に改善する。
  論文  参考訳（メタデータ） (2024-10-18T03:34:32Z)
• X-VILA: Cross-Modality Alignment for Large Language Model [91.96081978952283]
  X-VILAは、画像、ビデオ、オーディオのモダリティを組み込むことで、大きな言語モデル(LLM)の機能を拡張するために設計された、オールニモダリティモデルである。 視覚情報損失問題に対処するため,視覚埋め込みハイウェイモジュールを用いた視覚アライメント機構を提案する。 X-VILAは、あらゆるモダリティの会話に習熟し、それまでのアプローチを大きなマージンで上回っている。
  論文  参考訳（メタデータ） (2024-05-29T17:59:58Z)
• Enhancing Visual-Language Modality Alignment in Large Vision Language Models via Self-Improvement [102.22911097049953]
  大規模視覚言語モデル(LVLM)は、視覚的質問応答および推論タスクにおいて印象的な結果を得た。 既存の手法は、しばしば外部モデルやデータに依存し、制御不能で不安定なアライメント結果をもたらす。 本稿では,外部依存を伴わない視覚的・言語的モダリティアライメントを向上させる自己改善フレームワークSIMAを提案する。
  論文  参考訳（メタデータ） (2024-05-24T23:09:27Z)
• Calibrated Self-Rewarding Vision Language Models [27.686545023186852]
  LVLM(Large Vision-Language Models)は、訓練済みの大規模言語モデル(LLM)と視覚モデルを統合することで、指導チューニングを通じて大幅に進歩した。 LVLMは、しばしば幻覚現象を示し、生成されたテキスト応答は言語的に妥当に見えるが、入力画像に矛盾する。 本稿では,候補応答を反復的に生成し,各応答に対する報酬を評価し,微調整のための選好データをキュレートすることで,モデルの自己改善を可能にするCalibrated Self-Rewarding(CSR)アプローチを提案する。
  論文  参考訳（メタデータ） (2024-05-23T14:30:33Z)
• Debiasing Multimodal Large Language Models [61.6896704217147]
  LVLM(Large Vision-Language Models)は、コンピュータビジョンや自然言語処理において欠かせないツールとなっている。 本研究は,入力画像に先行するLarge Language Models (LLM) の影響を主に受け,生成したコンテンツに有意なバイアスが生じることを示す。 これらのバイアスを是正し、視覚情報に対するモデルの焦点をリダイレクトするために、我々は2つの単純で訓練のない戦略を導入する。
  論文  参考訳（メタデータ） (2024-03-08T12:35:07Z)
• u-LLaVA: Unifying Multi-Modal Tasks via Large Language Model [17.3535277338312]
  u-LLaVAは、MLLMの知覚能力を改善するためにピクセル、地域、グローバル機能を統合する革新的な統合マルチタスクフレームワークである。 この研究は、277Kサンプルからなるマスクベースの新しいマルチタスクデータセットに貢献し、MLLMの微粒化知覚能力に挑戦し評価する。
  論文  参考訳（メタデータ） (2023-11-09T13:18:27Z)
• mPLUG: Effective and Efficient Vision-Language Learning by Cross-modal Skip-connections [104.14624185375897]
  mPLUGは、クロスモーダルな理解と生成のための新しいビジョン言語基盤モデルである。 画像キャプション、画像テキスト検索、視覚的グラウンドリング、視覚的質問応答など、幅広い視覚言語下流タスクの最先端結果を達成する。
  論文  参考訳（メタデータ） (2022-05-24T11:52:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。