論文の概要: Evaluation Pitfalls and Challenges in Multimedia Event Extraction
- arxiv url: http://arxiv.org/abs/2606.26775v1
- Date: Thu, 25 Jun 2026 09:05:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-26 18:46:32.222823
- Title: Evaluation Pitfalls and Challenges in Multimedia Event Extraction
- Title（参考訳）: マルチメディアイベント抽出における落とし穴と課題
- Abstract要約: 本稿では,マルチメディアイベント抽出における評価落とし穴の最初の体系的解析について述べる。
不整合データ処理、不整合タスク仮定、過度に緩和された評価設定の3つの問題源を同定する。
- 参考スコア（独自算出の注目度）: 17.9089265435157
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multimedia event extraction aims to jointly identify events and their arguments across multiple modalities, such as text and images, to support more comprehensive event understanding. While recent work reports steady and substantial progress, the reliability and comparability of these results critically depend on consistent and rigorous evaluation. In this work, we present the first systematic analysis of evaluation pitfalls in multimedia event extraction and identify three major sources of issues: inconsistent data processing, inconsistent task assumptions, and overly relaxed evaluation settings. We demonstrate, through a series of controlled experiments under a strict evaluation framework, that minor evaluation choices can cause large performance variations and lead to overestimation of a model's ability to ground real-world events across modalities. Our findings highlight the need for comparable evaluation standards and encourage a shift toward more rigorous evaluation in multimedia event extraction.
- Abstract（参考訳）: マルチメディアイベント抽出は、より包括的なイベント理解をサポートするために、テキストや画像などの複数のモードにわたるイベントとその引数を共同で識別することを目的としている。
最近の研究は、安定的で実質的な進歩を報告しているが、これらの結果の信頼性と可視性は、一貫性と厳密な評価に大きく依存している。
本研究では,マルチメディアイベント抽出における評価落とし穴を初めて体系的に解析し,不整合データ処理,不整合タスク仮定,過度に緩和された評価設定の3つの問題源を同定する。
厳密な評価フレームワークの下で一連の制御された実験を通して、マイナーな評価選択が大きな性能変化を引き起こし、モデルが現実の事象をモダリティを越えて基礎付ける能力の過大評価につながることを実証する。
本研究は, 比較評価基準の必要性を強調し, マルチメディアイベント抽出における厳格な評価へのシフトを促すものである。
関連論文リスト
- MiroEval: Benchmarking Multimodal Deep Research Agents in Process and Outcome [109.15093810810214]
MiroEvalはディープリサーチシステムのベンチマークおよび評価フレームワークである。
ベンチマークは、実際のユーザニーズに基づいて100のタスクで構成されている。
提案した評価スイートは3つの相補的な次元に沿って深層研究システムを評価する。
論文 参考訳（メタデータ） (2026-03-30T13:16:03Z) - Towards Real-Time Fake News Detection under Evidence Scarcity [66.58597356379907]
本稿では,リアルタイムフェイクニュース検出のための新しいフレームワークである評価アウェア・セレクション・オブ・エキスパートズ(EASE)を提案する。
EASEは、利用可能な証拠の十分性を評価した意思決定プロセスに適合する。
本稿では,新興ニュースのモデル一般化を限られた証拠で評価するための新しいベンチマークであるRealTimeNews-25を紹介する。
論文 参考訳（メタデータ） (2025-10-13T11:11:46Z) - VB-Mitigator: An Open-source Framework for Evaluating and Advancing Visual Bias Mitigation [19.140362626182856]
VB-Mitigatorは、視覚バイアス軽減技術の開発、評価、比較分析を効率化するために設計されたオープンソースのフレームワークである。
VB-Mitigatorは、12の確立された緩和方法と7つの多様なベンチマークデータセットを含む統一された研究環境を提供する。
論文 参考訳（メタデータ） (2025-07-24T12:20:00Z) - Revisiting Reliability in the Reasoning-based Pose Estimation Benchmark [27.134554623769898]
推論に基づくポーズ推定(RPE)ベンチマークは、ポーズ対応大規模言語モデル(MLLM)の広く採用されている評価標準として登場した。
公平で一貫した定量的評価を妨げる批判的かつベンチマーク品質の問題を特定しました。
論文 参考訳（メタデータ） (2025-07-17T17:33:11Z) - Evaluation Hallucination in Multi-Round Incomplete Information Lateral-Driven Reasoning Tasks [18.613353004764885]
本研究は,既存手法の限界に対する新たな知見を明らかにする。
本稿では,推論経路の検査,多変量評価指標,人的性能との比較分析など,一連の評価基準を提案する。
論文 参考訳（メタデータ） (2025-05-28T15:17:34Z) - The Multimodal Paradox: How Added and Missing Modalities Shape Bias and Performance in Multimodal AI [0.0]
マルチモーダル学習は、高い意思決定において、単調な学習よりも優れていることが証明されている。
パフォーマンス向上は、マルチモーダルシステムを評価するためのゴールドスタンダードのままだが、バイアスやロバスト性に関する懸念はしばしば見過ごされている。
論文 参考訳（メタデータ） (2025-05-05T20:42:44Z) - Aspect-Guided Multi-Level Perturbation Analysis of Large Language Models in Automated Peer Review [36.05498398665352]
自動ピアレビューにおいて,大規模言語モデル(LLM)の堅牢性を評価するために,アスペクト誘導多段階摂動フレームワークを提案する。
我々のフレームワークは、ピアレビュープロセスペーパー、レビュー、そして、いくつかの品質面における反論の3つの重要な要素における摂動を探求する。
論文 参考訳（メタデータ） (2025-02-18T03:50:06Z) - Evidential Deep Partial Multi-View Classification With Discount Fusion [24.139495744683128]
Evidential Deep partial Multi-View Classification (EDP-MVC) と呼ばれる新しいフレームワークを提案する。
欠落したビューに対処するためにK-means命令を使用し、マルチビューデータの完全なセットを作成します。
この暗示されたデータ内の潜在的な衝突や不確実性は、下流の推論の信頼性に影響を与える可能性がある。
論文 参考訳（メタデータ） (2024-08-23T14:50:49Z) - Evaluating and Improving Factuality in Multimodal Abstractive
Summarization [91.46015013816083]
そこで我々は,CLIPBERTScoreを提案する。
ゼロショットにおけるこの2つの指標の単純な組み合わせは、文書要約のための既存の事実度指標よりも高い相関性が得られることを示す。
本分析は,CLIPBERTScoreとそのコンポーネントの信頼性と高い相関性を示す。
論文 参考訳（メタデータ） (2022-11-04T16:50:40Z) - Systematic Evaluation of Predictive Fairness [60.0947291284978]
バイアス付きデータセットのトレーニングにおけるバイアスの緩和は、重要なオープンな問題である。
複数のタスクにまたがる様々なデバイアス化手法の性能について検討する。
データ条件が相対モデルの性能に強い影響を与えることがわかった。
論文 参考訳（メタデータ） (2022-10-17T05:40:13Z) - Reliable Shot Identification for Complex Event Detection via
Visual-Semantic Embedding [72.9370352430965]
本稿では,映像中の事象検出のための視覚的意味的誘導損失法を提案する。
カリキュラム学習に動機付け,高い信頼性の事例で分類器の訓練を開始するために,負の弾性正規化項を導入する。
提案する非ネット正規化問題の解法として,代替最適化アルゴリズムを開発した。
論文 参考訳（メタデータ） (2021-10-12T11:46:56Z) - Through the Data Management Lens: Experimental Analysis and Evaluation
of Fair Classification [75.49600684537117]
データ管理研究は、データとアルゴリズムの公平性に関連するトピックに対する存在感と関心が高まっている。
我々は,その正しさ,公平性,効率性,スケーラビリティ,安定性よりも,13の公正な分類アプローチと追加の変種を幅広く分析している。
我々の分析は、異なるメトリクスとハイレベルなアプローチ特性がパフォーマンスの異なる側面に与える影響に関する新しい洞察を強調します。
論文 参考訳（メタデータ） (2021-01-18T22:55:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。