論文の概要: PaMi-VDPO: Mitigating Video Hallucinations by Prompt-Aware Multi-Instance Video Preference Learning

• arxiv url: http://arxiv.org/abs/2504.05810v2
• Date: Tue, 15 Apr 2025 07:20:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-16 22:07:36.183310
• Title: PaMi-VDPO: Mitigating Video Hallucinations by Prompt-Aware Multi-Instance Video Preference Learning
• Title（参考訳）: PaMi-VDPO: Prompt-Aware Multi-Instance Video Preference Learning によるビデオ幻覚の緩和
• Authors: Xinpeng Ding, Kui Zhang, Jianhua Han, Lanqing Hong, Hang Xu, Xiaomeng Li,
• Abstract要約: ビデオマルチモーダル大言語モデル(VLLM)における幻覚の低減を支援する直接選好最適化(DPO) 本稿では、嗜好アノテーションの不要なオンライン嗜好学習フレームワークであるVDPO(Video Direct Preference Optimization)を提案する。 本稿では,Prompt-aware Multi-instance Learning VDPOを提案する。
• 参考スコア（独自算出の注目度）: 50.81779197183613
• License:
• Abstract: Direct Preference Optimization (DPO) helps reduce hallucinations in Video Multimodal Large Language Models (VLLMs), but its reliance on offline preference data limits adaptability and fails to capture true video-response misalignment. We propose Video Direct Preference Optimization (VDPO), an online preference learning framework that eliminates the need for preference annotation by leveraging video augmentations to generate rejected samples while keeping responses fixed. However, selecting effective augmentations is non-trivial, as some clips may be semantically identical to the original under specific prompts, leading to false rejections and disrupting alignment. To address this, we introduce Prompt-aware Multi-instance Learning VDPO (PaMi-VDPO), which selects augmentations based on prompt context. Instead of a single rejection, we construct a candidate set of augmented clips and apply a close-to-far selection strategy, initially ensuring all clips are semantically relevant while then prioritizing the most prompt-aware distinct clip. This allows the model to better capture meaningful visual differences, mitigating hallucinations, while avoiding false rejections, and improving alignment. PaMi-VDPOseamlessly integrates into existing VLLMs without additional parameters, GPT-4/human supervision. With only 10k SFT data, it improves the base model by 5.3% on VideoHallucer, surpassing GPT-4o, while maintaining stable performance on general video benchmarks.
• Abstract（参考訳）: 直接選好最適化(DPO)はビデオマルチモーダル大言語モデル(VLLM)における幻覚の低減に有効であるが、オフラインの選好データに依存するため適応性が制限され、真のビデオ応答ミスアライメントを捕捉できない。 提案手法は、ビデオ拡張を利用して、応答を固定しつつ、削除されたサンプルを生成することにより、嗜好アノテーションの必要性を解消するオンライン嗜好学習フレームワークであるVDPO(Video Direct Preference Optimization)を提案する。 しかし、有効拡張の選択は、いくつかのクリップは、特定のプロンプトの下でオリジナルと意味的に同一であり、偽の拒絶やアライメントを乱す可能性があるため、簡単ではない。 そこで本研究では,Prompt-aware Multi-instance Learning VDPO (PaMi-VDPO) を提案する。 単一の拒絶ではなく、我々は拡張クリップの候補セットを構築し、すべてのクリップが意味論的に関連があることを保証し、次に最も急進的に認識される別なクリップを優先順位付けする、遠距離選択戦略を適用します。 これにより、モデルは有意義な視覚的差異を捉え、幻覚を緩和し、偽りの拒絶を避け、アライメントを改善することができる。 PaMi-VDPOは、追加のパラメータ、GPT-4/人事監督なしで既存のVLLMにシームレスに統合される。 10k SFTのデータだけで、ビデオHallucerのベースモデルを5.3%改善し、GPT-4oを上回り、一般的なビデオベンチマークでは安定したパフォーマンスを維持している。

関連論文リスト

• CHiP: Cross-modal Hierarchical Direct Preference Optimization for Multimodal LLMs [107.21334626890713]
  MLLM(Multimodal Large Language Models)は、その優れた能力にもかかわらず、幻覚に苦しむ。 本稿では,これらの制約に対処するクロスモーダル階層型直接選好最適化(CHiP)を提案する。 定量的および定性的な分析によってCHiPを評価し,幻覚の低減効果を複数のベンチマークで実証した。
  論文  参考訳（メタデータ） (2025-01-28T02:05:38Z)
• Temporal Preference Optimization for Long-Form Video Understanding [28.623353303256653]
  TPO(Temporal Preference Optimization)は、ビデオLMMの時間的グラウンド機能を高めるために設計された、新しいポストトレーニングフレームワークである。 TPOは、手動の注釈付きデータへの依存を減らしながら、時間的理解を著しく向上させる。 LLaVA-Video-TPOは、Video-MMEベンチマークでトップ7Bモデルとしての地位を確立している。
  論文  参考訳（メタデータ） (2025-01-23T18:58:03Z)
• Prompt-A-Video: Prompt Your Video Diffusion Model via Preference-Aligned LLM [54.2320450886902]
  テキスト・ビデオ・モデルは高品質のテキスト・ビデオ・ペアを最適化することで顕著な進歩を遂げた。 現在の精製の自動化手法は、モダリティ・一貫性、コスト分散、モデルウナウエアといった課題に直面する。 Prompt-A-Videoは、特定のビデオ拡散モデルに合わせた、ビデオ中心、労働自由、調整されたプロンプトの製作に優れる。
  論文  参考訳（メタデータ） (2024-12-19T18:32:21Z)
• VideoSAVi: Self-Aligned Video Language Models without Human Supervision [0.6854849895338531]
  VideoSAViは自己学習パイプラインで、ビデオ-LLMが外部の監督なしにビデオコンテンツを推論できる。 VideoSAViはMVBench(74.0%)の最先端のパフォーマンスを達成し、大幅な改善を実現している。 我々のモデルに依存しないアプローチは計算的に効率的であり、32フレームしか必要としない。
  論文  参考訳（メタデータ） (2024-12-01T00:33:05Z)
• PPLLaVA: Varied Video Sequence Understanding With Prompt Guidance [44.08446730529495]
  トークン圧縮と命令対応の視覚的特徴集約を同時に実現する新しいプーリング戦略を提案する。 我々のモデルはPPLLaVA(Prompt-guided Pooling LLaVA)と呼ばれる。
  論文  参考訳（メタデータ） (2024-11-04T17:50:36Z)
• Enhancing Multimodal LLM for Detailed and Accurate Video Captioning using Multi-Round Preference Optimization [19.327911862822262]
  低ランク適応 (LoRA) を用いた高度音声視覚大言語モデル (LLM) である Video-SALMONN 2 を提案する。 そこで本稿では,DPO(directed preference optimization)を用いて最適化された映像記述の完全性と精度を評価するための新しい指標を提案する。 実験の結果、mDPOはビデオSALMONN 2のキャプション精度を大幅に向上し、グローバルとローカルのエラー率をそれぞれ40%、20%削減することがわかった。
  論文  参考訳（メタデータ） (2024-10-09T08:44:47Z)
• Self-Augmented Preference Optimization: Off-Policy Paradigms for Language Model Alignment [104.18002641195442]
  既存のペアデータを必要としない、効果的でスケーラブルなトレーニングパラダイムである自己拡張型優先度最適化(SAPO)を導入する。 負の反応を自律的に生成するセルフプレイの概念に基づいて、我々はさらに、データ探索とエクスプロイトを強化するために、非政治的な学習パイプラインを組み込む。
  論文  参考訳（メタデータ） (2024-05-31T14:21:04Z)
• Direct Preference Optimization of Video Large Multimodal Models from Language Model Reward [118.65089648651308]
  本稿では,映像コンテンツのプロキシとして詳細な動画キャプションを利用する新しいフレームワークを提案する。 本稿では,DPOによる報酬の調整により,ビデオ質問応答(QA)タスクにおけるビデオLMMの性能が著しく向上することを示す。
  論文  参考訳（メタデータ） (2024-04-01T17:28:16Z)
• Relative Preference Optimization: Enhancing LLM Alignment through Contrasting Responses across Identical and Diverse Prompts [95.09994361995389]
  Relative Preference Optimization (RPO) は、同一のプロンプトと関連するプロンプトの両方から、より多く、あまり好まれない応答を識別するように設計されている。 RPOは、大きな言語モデルをユーザの好みに合わせて調整し、トレーニングプロセスにおける適応性を改善する優れた能力を示している。
  論文  参考訳（メタデータ） (2024-02-12T22:47:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。