論文の概要: DT2IT-MRM: Debiased Preference Construction and Iterative Training for Multimodal Reward Modeling

• arxiv url: http://arxiv.org/abs/2604.19544v1
• Date: Tue, 21 Apr 2026 15:02:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-22 22:41:49.830032
• Title: DT2IT-MRM: Debiased Preference Construction and Iterative Training for Multimodal Reward Modeling
• Title（参考訳）: DT2IT-MRM:マルチモーダルリワードモデリングのためのデバイアスド推論構築と反復訓練
• Authors: Zhihong Zhang, Jie Zhao, Xiaojian Huang, Jin Xu, Zhuodong Luo, Xin Liu, Jiansheng Wei, Xuejin Chen,
• Abstract要約: 我々は,textbfDebiased preference construction pipeline, text-to-image preference data, textbfIterative textbfTraining frameworkを統合したtextbfDT2IT-MRMを提案する。 実験結果から,DT2IT-MRMは3つの主要なベンチマークにおいて,新しいtextbfstate-the-artパフォーマンスを実現することが示された。
• 参考スコア（独自算出の注目度）: 21.423342165469318
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal reward models (MRMs) play a crucial role in aligning Multimodal Large Language Models (MLLMs) with human preferences. Training a good MRM requires high-quality multimodal preference data. However, existing preference datasets face three key challenges: lack of granularity in preference strength, textual style bias, and unreliable preference signals. Besides, existing open-source multimodal preference datasets suffer from substantial noise, yet there is a lack of effective and scalable curation methods to enhance their quality. To address these limitations, we propose \textbf{DT2IT-MRM}, which integrates a \textbf{D}ebiased preference construction pipeline, a novel reformulation of text-to-image (\textbf{T2I}) preference data, and an \textbf{I}terative \textbf{T}raining framework that curates existing multimodal preference datasets for \textbf{M}ultimodal \textbf{R}eward \textbf{M}odeling. Our experimental results show that DT2IT-MRM achieves new \textbf{state-of-the-art} overall performance on three major benchmarks: VL-RewardBench, Multimodal RewardBench, and MM-RLHF-RewardBench.
• Abstract（参考訳）: マルチモーダル報酬モデル(MRM)は、MLLM(Multimodal Large Language Models)と人間の嗜好の整合において重要な役割を果たす。 優れたMRMのトレーニングには、高品質なマルチモーダルな嗜好データが必要である。 しかし、既存の選好データセットは、選好強度の粒度の欠如、テキストスタイルバイアス、信頼できない選好信号の3つの大きな課題に直面している。 さらに、既存のオープンソースのマルチモーダル選好データセットは、かなりのノイズに悩まされているが、その品質を高めるための効率的でスケーラブルなキュレーション方法が欠けている。 これらの制約に対処するため, \textbf{D}ebiased preference construction pipeline, text-to-image (\textbf{T2I}) preference data, および \textbf{I}terative \textbf{T}raining frameworkを統合した \textbf{M}ultimodal \textbf{R}eward \textbf{M}odelingを提案する。 実験の結果,DT2IT-MRMは,VL-RewardBench,Multimodal RewardBench,MM-RLHF-RewardBenchの3つの主要なベンチマークにおいて,新しい「textbf{state-of-the-art}」性能を実現することがわかった。

関連論文リスト

• MAny: Merge Anything for Multimodal Continual Instruction Tuning [52.50936513604062]
  textbfMAny(textbfMAny)は、textbfCross-modal textbfProjection textbfMergingを通じてタスク固有の知識を統合するフレームワークである。 textbfLow-rank textbfParameter textbfMerging (textbfLPM)
  論文  参考訳（メタデータ） (2026-04-15T15:57:23Z)
• MUSIC: MUlti-Step Instruction Contrast for Multi-Turn Reward Models [41.87144324845279]
  マルチターン報酬モデル(RM)は、費用対人評価に代わるスケーラブルな代替手段を提供する。 教師なしデータ拡張戦略である textbfMUlti-textbfStep textbfInstruction textbfContrast (MUSIC) を提案する。
  論文  参考訳（メタデータ） (2025-12-31T07:54:30Z)
• BaseReward: A Strong Baseline for Multimodal Reward Model [34.80724853211918]
  マルチモーダル報酬モデリングのための強力で効率的なベースラインである textbfBaseReward を導入する。 この結果から,BaseRewardはMM-RLHF-Reward Bench,VL-Reward Bench,Multimodal Reward Benchなどの主要なベンチマーク上で新たなSOTAを確立していることがわかった。 静的ベンチマーク以外の実用性を検証するために,BaseRewardを実世界の強化学習パイプラインに統合する。
  論文  参考訳（メタデータ） (2025-09-19T16:25:26Z)
• I$^3$-MRec: Invariant Learning with Information Bottleneck for Incomplete Modality Recommendation [56.55935146424585]
  textbfIncomplete textbfModality textbfRecommendation の textbfInformation ボトルネック原理を用いて学習する textbfI$3$-MRec を紹介する。 それぞれのモダリティを異なる意味環境として扱うことで、I$3$-MRecは、優先指向の表現を学習するために不変リスク最小化(IRM)を採用する。 I$3$-MRecは、様々なモダリティ欠落シナリオにおいて、既存の最先端MSSメソッドを一貫して上回る
  論文  参考訳（メタデータ） (2025-08-06T09:29:50Z)
• FindRec: Stein-Guided Entropic Flow for Multi-Modal Sequential Recommendation [57.577843653775]
  textbfFindRec (textbfFlexible unified textbfinformation textbfdisentanglement for multi-modal sequence textbfRecommendation)を提案する。 Stein kernel-based Integrated Information Coordination Module (IICM) は理論上、マルチモーダル特徴とIDストリーム間の分散一貫性を保証する。 マルチモーダル特徴を文脈的関連性に基づいて適応的にフィルタリング・結合するクロスモーダル・エキスパート・ルーティング機構。
  論文  参考訳（メタデータ） (2025-07-07T04:09:45Z)
• MiCRo: Mixture Modeling and Context-aware Routing for Personalized Preference Learning [28.478879569025583]
  大規模な二元選好データセットを活用することにより、パーソナライズされた選好学習を強化する2段階フレームワークであるMiCRoを紹介する。 最初の段階では、MiCRoは様々な人間の嗜好を捉えるためにコンテキスト対応の混合モデリング手法を導入している。 第2段階では、MiCRoは、特定のコンテキストに基づいて混合重みを動的に適応してあいまいさを解決するオンラインルーティング戦略を統合する。
  論文  参考訳（メタデータ） (2025-05-30T17:44:28Z)
• Benchmarking Multi-modal Semantic Segmentation under Sensor Failures: Missing and Noisy Modality Robustness [61.87055159919641]
  マルチモーダルセマンティックセグメンテーション(MMSS)は、モーダル間で補完情報を統合することで、単一モーダルデータの制限に対処する。 顕著な進歩にもかかわらず、マルチモーダルデータ品質の変動と不確実性により、研究と実世界の展開の間に大きなギャップが持続する。 Intire-Missing Modality (EMM)、Random-Missing Modality (RMM)、Noisy Modality (NM)の3つのシナリオでMMSSモデルを評価する頑健性ベンチマークを導入する。
  論文  参考訳（メタデータ） (2025-03-24T08:46:52Z)
• Beyond Triplet: Leveraging the Most Data for Multimodal Machine Translation [53.342921374639346]
  マルチモーダル機械翻訳は、視覚などの他のモーダルからの情報を取り入れることで、翻訳品質を向上させることを目的としている。 従来のMMTシステムは主に視覚情報へのアクセスと利用に重点を置いており、画像関連データセット上でそれらの手法を検証する傾向がある。 本稿では,MTのための新しい手法と新しいデータセットを確立する。
  論文  参考訳（メタデータ） (2022-12-20T15:02:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。