論文の概要: CHiP: Cross-modal Hierarchical Direct Preference Optimization for Multimodal LLMs

• arxiv url: http://arxiv.org/abs/2501.16629v1
• Date: Tue, 28 Jan 2025 02:05:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-29 16:42:50.861474
• Title: CHiP: Cross-modal Hierarchical Direct Preference Optimization for Multimodal LLMs
• Title（参考訳）: CHiP:マルチモーダルLLMのためのクロスモーダル階層的直接選好最適化
• Authors: Jinlan Fu, Shenzhen Huangfu, Hao Fei, Xiaoyu Shen, Bryan Hooi, Xipeng Qiu, See-Kiong Ng,
• Abstract要約: MLLM(Multimodal Large Language Models)は、その優れた能力にもかかわらず、幻覚に苦しむ。 本稿では,これらの制約に対処するクロスモーダル階層型直接選好最適化(CHiP)を提案する。 定量的および定性的な分析によってCHiPを評価し,幻覚の低減効果を複数のベンチマークで実証した。
• 参考スコア（独自算出の注目度）: 107.21334626890713
• License:
• Abstract: Multimodal Large Language Models (MLLMs) still struggle with hallucinations despite their impressive capabilities. Recent studies have attempted to mitigate this by applying Direct Preference Optimization (DPO) to multimodal scenarios using preference pairs from text-based responses. However, our analysis of representation distributions reveals that multimodal DPO struggles to align image and text representations and to distinguish between hallucinated and non-hallucinated descriptions. To address these challenges, in this work, we propose a Cross-modal Hierarchical Direct Preference Optimization (CHiP) to address these limitations. We introduce a visual preference optimization module within the DPO framework, enabling MLLMs to learn from both textual and visual preferences simultaneously. Furthermore, we propose a hierarchical textual preference optimization module that allows the model to capture preferences at multiple granular levels, including response, segment, and token levels. We evaluate CHiP through both quantitative and qualitative analyses, with results across multiple benchmarks demonstrating its effectiveness in reducing hallucinations. On the Object HalBench dataset, CHiP outperforms DPO in hallucination reduction, achieving improvements of 52.7% and 55.5% relative points based on the base model Muffin and LLaVA models, respectively. We make all our datasets and code publicly available: https://github.com/LVUGAI/CHiP.
• Abstract（参考訳）: MLLM(Multimodal Large Language Models)は、その優れた能力にもかかわらず、幻覚に苦しむ。 近年の研究では、テキストベースの応答からの選好ペアを用いて、マルチモーダルシナリオにダイレクト・プライス・オプティマイズ(DPO)を適用することで、この問題を緩和しようとしている。 しかし,表現分布の解析により,マルチモーダルDPOは画像とテキストの表現の整合に苦慮し,幻覚的記述と非幻覚的記述の区別に苦慮していることが明らかとなった。 これらの課題に対処するため、本研究では、これらの制限に対処するクロスモーダル階層的直接選好最適化(CHiP)を提案する。 DPOフレームワーク内に視覚的嗜好最適化モジュールを導入し、MLLMがテキストと視覚的嗜好の両方から同時に学習できるようにする。 さらに,応答レベル,セグメントレベル,トークンレベルなど,複数の粒度レベルで好みを把握可能な階層的テキスト優先最適化モジュールを提案する。 定量的および定性的な分析によってCHiPを評価し,幻覚の低減効果を複数のベンチマークで実証した。 Object HalBench データセットでは、CHiP は幻覚の減少において DPO よりも優れており、それぞれ Muffin モデルと LLaVA モデルに基づいて 52.7% と 55.5% の相対点の改善を実現している。 すべてのデータセットとコードは、https://github.com/LVUGAI/CHiP.com/で公開しています。

関連論文リスト

• MIA-DPO: Multi-Image Augmented Direct Preference Optimization For Large Vision-Language Models [85.30735602813093]
  Multi-Image Augmented Direct Preference Optimization (MIA-DPO)は、マルチイメージ入力を効果的に処理する視覚的嗜好アライメントアプローチである。 MIA-DPOは、グリッドコラージュやピクチャ・イン・ピクチャ形式で配置された無関係な画像で単一の画像データを拡張することにより、多様なマルチイメージトレーニングデータの不足を軽減する。
  論文  参考訳（メタデータ） (2024-10-23T07:56:48Z)
• Modality-Fair Preference Optimization for Trustworthy MLLM Alignment [11.796170286878056]
  直接選好最適化(DPO)は,大規模言語モデル(LLM)の整合に有効である しばしば画像情報よりもテキストを好んでおり、信頼できない出力や視覚幻覚をもたらす。 テキストと画像の嗜好のバランスをとるために,MFPO(Modality-Fair Preference Optimization)を提案する。
  論文  参考訳（メタデータ） (2024-10-20T08:56:52Z)
• Self-supervised Preference Optimization: Enhance Your Language Model with Preference Degree Awareness [27.43137305486112]
  本稿では,自己監督的選好度損失とアライメント損失を組み合わせた自己監督的選好度損失を構成する,新しい自己監督的選好最適化(SPO)フレームワークを提案する。 その結果,SPOを既存の好み最適化手法とシームレスに統合し,最先端性能を実現することができた。
  論文  参考訳（メタデータ） (2024-09-26T12:37:26Z)
• Understanding Alignment in Multimodal LLMs: A Comprehensive Study [46.33812471516309]
  マルチモーダル大言語モデル(MLLM)における嗜好アライメントのそれぞれの側面を解析する。 オフライン手法とオンライン手法を組み合わせることで,特定のシナリオにおけるモデルの性能が向上することを示す。 BDHS(Bias-Driven Hallucination Smpling)と呼ばれる,マルチモーダルな嗜好データ作成手法を提案する。
  論文  参考訳（メタデータ） (2024-07-02T17:55:03Z)
• mDPO: Conditional Preference Optimization for Multimodal Large Language Models [52.607764280030196]
  直接選好最適化(DPO)は,大規模言語モデル(LLM)のアライメントに有効な手法であることが示されている。 最近の研究は、DPOをマルチモーダルシナリオに適用しようと試みているが、一貫した改善を達成することは困難である。 画像の嗜好を最適化することで、言語のみの嗜好の過度な優先順位付けを防止するマルチモーダルDPOであるmDPOを提案する。
  論文  参考訳（メタデータ） (2024-06-17T17:59:58Z)
• Multi-Reference Preference Optimization for Large Language Models [56.84730239046117]
  複数の参照モデルを用いた直接選好最適化のための新しいクローズドフォームの定式化を提案する。 得られたアルゴリズムであるMulti-Reference Preference Optimization (MRPO)は、様々な参照モデルからより広範な事前知識を活用する。 MRPOを微調整したLLMは,データ不足や多量性に関わらず,様々な嗜好データにおいてより一般化されていることを示す。
  論文  参考訳（メタデータ） (2024-05-26T00:29:04Z)
• Automated Multi-level Preference for MLLMs [41.72392895643214]
  「現在のマルチモーダル大言語モデル(MLLM)は幻覚に苦しむ」 有望な道の1つは、人間からのフィードバック(RLHF)からの強化学習を利用することである。 二項選好(上等、下等)の一般的な実践を再考し、多水準選好を採用する方が2つの利点があることを示す。
  論文  参考訳（メタデータ） (2024-05-18T03:49:37Z)
• Relative Preference Optimization: Enhancing LLM Alignment through Contrasting Responses across Identical and Diverse Prompts [95.09994361995389]
  Relative Preference Optimization (RPO) は、同一のプロンプトと関連するプロンプトの両方から、より多く、あまり好まれない応答を識別するように設計されている。 RPOは、大きな言語モデルをユーザの好みに合わせて調整し、トレーニングプロセスにおける適応性を改善する優れた能力を示している。
  論文  参考訳（メタデータ） (2024-02-12T22:47:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。