論文の概要: OmniJudge or OmniBias? Diagnosing Multimodal Judges through Balanced, Decoupled Lenses
- arxiv url: http://arxiv.org/abs/2608.24160v1
- Date: Tue, 25 Aug 2026 07:18:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-26 14:09:34.856876
- Title: OmniJudge or OmniBias? Diagnosing Multimodal Judges through Balanced, Decoupled Lenses
- Title（参考訳）: OmniJudgeかOmniBiasか? バランスのとれた脱カップリングレンズでマルチモーダル・ジャッジを診断する
- Abstract要約: D3-Omniは、微粒なマルチモーダル理解を診断するためのバランスのとれた、分離されたベンチマークである。
次元にわたって情報を漏らすような出力を再生成するのではなく、正の正の種子を固定し、負を導出する。
結果として得られるD3設計はデュアルバランスであり、負のサンプル不足とディメンション毎のラベルの不均衡を軽減するのに役立つ。
- 参考スコア（独自算出の注目度）: 15.379006872674106
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Multimodal understanding models that can jointly judge text-to-image (T2I), text-to-video (T2V) and text-to-speech (TTS) generation are increasingly used as "OmniJudges" for evaluation and automatic annotation. How reliably they understand what they score remains unclear, since existing benchmarks and training data tend to overemphasize positive examples and to conflate distinct failure modes, so a judge may score well without recognizing failures while its capability gaps stay hidden. Motivated by this, we introduce D3-Omni, a balanced and decoupled benchmark for diagnosing fine-grained multimodal understanding, covering 53 orthogonal binary dimensions (17/22/14) and 10,671 samples (3,526/1,998/5,147) across the three tasks. Rather than re-generating outputs, which may leak information across dimensions, we fix verified fully positive seeds and derive negatives through controlled prompt rewriting and atomic, dimension-isolating perturbations. The resulting D3 design is Dual-balanced, which helps alleviate negative-sample scarcity and per-dimension label imbalance; Decoupled, so that each error is attributable to a single capability; and Dynamic, steering construction toward under-represented regions of the label distribution as generative models improve.The suite reaches near 1:1 per-dimension parity and a uniform distribution over all total-score levels. Under this balanced view, even strong OmniJudges tend to struggle on modality-related dimensions, to confirm satisfied requirements far more reliably than they detect violated ones, and to treat nominally distinct attributes as largely a single decision, suggesting that aggregate accuracy may hide systematic blind spots that a balanced and decoupled lens can help expose and, in turn, address.
- Abstract（参考訳）: テキスト・トゥ・イメージ(T2I)、テキスト・トゥ・ビデオ(T2V)、テキスト・トゥ・音声(TTS)生成を共同で判断できるマルチモーダル理解モデルは、評価と自動アノテーションのための"OmniJudges"として、ますます多く使われている。
既存のベンチマークやトレーニングデータは、肯定的な例を過度に強調し、異なる障害モードを詳述する傾向があるため、フェールを認識せずに、その能力ギャップを隠蔽する可能性がある。
D3-Omniは3つのタスクで53の直交二乗次元 (17/22/14) と10,671のサンプル (3,526/1,998/5,147) をカバーし, 微細なマルチモーダル理解を診断するためのバランスのとれたベンチマークである。
出力を再生する代わりに、正の正の正の種子を固定し、制御された即時書き換えと原子間分離型摂動によって負を導出する。
結果として得られたD3設計はDual- Balancedであり、負のサンプルの不足と各次元のラベルの不均衡を軽減するのに役立ち、デカップリングにより各エラーは単一の能力に起因し、生成モデルの改善に伴いラベル分布の非表現領域への動的、ステアリング構造は、全スコアレベルのほぼ1:1のパリティと均一な分布に到達している。
このバランスの取れた見解の下では、強力なOmniJudgesでさえ、モダリティ関連の次元に苦しむ傾向にあり、違反した要求を検知するよりもはるかに確実に確認し、名目で区別された属性を主に単一の決定として扱い、バランスの取れた非結合レンズが露出し、対処するのに役立つ系統的な盲点を隠す可能性があることを示唆している。
関連論文リスト
- When Does Consensus Mean Correctness? Measuring the Agreement-Accuracy Coupling with Semantics-Preserving Re-Rendering [0.8594140167290097]
ラベルのない信頼性信号として、摂動入力間のモデルの合意が使用される。
レンダリングは正確さと信頼性の両方で再サンプリングする。
モデル自身のクロスレンダーコンセンサスインバータを微調整する。
論文 参考訳（メタデータ） (2026-08-06T07:08:05Z) - Twins: Learn to Predict Unified Representations with Focal Loss [36.63304689132002]
統一マルチモーダルモデルは、マルチモーダル理解と画像生成の両方をサポートする共有ビジュアルトークン空間を求める。
我々は、同一のトークングリッド上にVTとVAEの機能をチャネル的に連結した、統一された連続トークン空間であるTwinsを提案する。
論文 参考訳（メタデータ） (2026-07-24T17:59:39Z) - MMEB-V3: Measuring the Performance Gaps of Omni-Modality Embedding Models [70.34265674686516]
マルチモーダル埋め込みモデルは、テキスト、画像、ビデオ、オーディオなどの異種入力を共有意味空間にマッピングすることを目的としている。
本稿では,テキスト,画像,ビデオ,オーディオ,エージェント中心のシナリオにまたがる埋め込みを評価するベンチマークであるMMEB-V3を紹介する。
本研究は, 完全モダリティ埋め込みの系統的解析を行い, 3つの重要な知見を同定する。
論文 参考訳（メタデータ） (2026-04-25T14:15:05Z) - Evian: Towards Explainable Visual Instruction-tuning Data Auditing [14.93566912726999]
本稿では,モデル応答を構成的認知要素に分解する「分解的評価」パラダイムを提案する。
このパラダイムを、画像テキスト一貫性、論理コヒーレンス、ファクチュアル正確性の軸に沿ってこれらのコンポーネントを評価する自動化フレームワークであるEVIANを介してインスタンス化する。
論文 参考訳（メタデータ） (2026-04-22T13:28:27Z) - Same Answer, Different Representations: Hidden instability in VLMs [65.36933543377346]
本稿では,内部埋め込みドリフト,スペクトル感度,構造的滑らかさを計測する表現認識・周波数認識評価フレームワークを提案する。
このフレームワークを,SEEDBench,MMMU,POPEデータセットを対象とする最新のビジョン言語モデル(VLM)に適用する。
論文 参考訳（メタデータ） (2026-02-06T12:24:26Z) - e5-omni: Explicit Cross-modal Alignment for Omni-modal Embeddings [91.3041144166326]
市販の視覚言語モデルをロバストなオムニモーダル埋め込みモデルに適応させる軽量な明示的アライメントレシピであるe5-omniを提案する。
e5-omniは、類似度尺度を整合させるためにモード対応温度校正と、混乱する負の点に焦点を合わせた制御可能な負のカリキュラムと、クロスモーダル幾何に適合するバッチホワイトニングを組み合わせる。
MMEB-V2とAudioCapsの実験では、強いバイモーダルおよびオムニモーダルベースラインよりも一貫した利得を示した。
論文 参考訳（メタデータ） (2026-01-07T07:39:40Z) - Enhancing Dual Network Based Semi-Supervised Medical Image Segmentation with Uncertainty-Guided Pseudo-Labeling [5.1962665598872135]
本稿では,デュアルネットワークアーキテクチャに基づく新しい半教師付き3次元医用画像分割フレームワークを提案する。
具体的には,クロス・擬似とエントロピーフィルタの両方を用いたクロス・コンシステンシー・エンハンスメント・モジュールについて検討し,ノイズの多い擬似ラベルを減らす。
さらに、教師付きコントラスト学習機構を用いて、不確実なボクセル特徴を信頼性の高いクラスプロトタイプと整合させる。
論文 参考訳（メタデータ） (2025-09-16T13:40:20Z) - Dual-Stage Reweighted MoE for Long-Tailed Egocentric Mistake Detection [85.0189917888094]
本稿では,微妙で頻繁なミスによって生じる課題に対処するため,Dual-Stage Reweighted Mixture-of-Experts (DR-MoE) フレームワークを提案する。
提案手法は,特に稀かつ曖昧な誤りの特定において,高い性能を達成する。
論文 参考訳（メタデータ） (2025-09-16T12:00:42Z) - Integrating Disparity Confidence Estimation into Relative Depth Prior-Guided Unsupervised Stereo Matching [55.784713740698365]
教師なしのステレオマッチングは、コストのかかる不均一なアノテーションから独立して、大きな注目を集めている。
実現可能な解決策は、相対深度マップからステレオマッチングネットワークへの3次元幾何学的知識の転送にある。
本研究は,これらの課題に対処する新しい教師なし学習フレームワークを提案する。
論文 参考訳（メタデータ） (2025-08-02T09:11:05Z) - DAC: 2D-3D Retrieval with Noisy Labels via Divide-and-Conquer Alignment and Correction [26.164120380820307]
マルチモーダル・ダイナミックディビジョン(MDD)とアダプティブ・アライメント・アンド・コレクション(AAC)を組み合わせたディバイド・アンド・コンカー2D-3Dクロスモーダル・アライメント・アンド・コレクション・フレームワークを提案する。
AACでは、異なるサブセットのサンプルを異なるアライメント戦略で利用し、セマンティックなコンパクト性を完全に強化し、一方、ノイズの多いラベルに過度に適合させる。
実世界のシナリオにおける有効性を評価するため,我々は,挑戦的なノイズベンチマークを導入する。
N200は200kレベルのサンプルを1156個の現実的なノイズラベルでアノテートした。
論文 参考訳（メタデータ） (2024-07-25T05:18:18Z) - Uncertainty-Aware Adaptation for Self-Supervised 3D Human Pose
Estimation [70.32536356351706]
本稿では、2つの出力ヘッドを2つの異なる構成にサブスクライブする共通のディープネットワークバックボーンを構成するMPP-Netを紹介する。
ポーズと関節のレベルで予測の不確実性を定量化するための適切な尺度を導出する。
本稿では,提案手法の総合評価を行い,ベンチマークデータセット上での最先端性能を示す。
論文 参考訳（メタデータ） (2022-03-29T07:14:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。