論文の概要: Beyond Sparse Rewards: A New Benchmark and Structure-Aware Graph Alignment for Micro-Drama Understanding
- arxiv url: http://arxiv.org/abs/2609.07107v1
- Date: Mon, 07 Sep 2026 06:48:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.374
- Title: Beyond Sparse Rewards: A New Benchmark and Structure-Aware Graph Alignment for Micro-Drama Understanding
- Title(参考訳): Beyond Sparse Rewards: マイクロドラマ理解のためのベンチマークと構造対応グラフアライメント
- Abstract要約: 我々はM-Dramaを紹介した。M-Dramaはマイクロドラマ理解のための最初の大規模バイリンガルベンチマークであり、9,138個のクリップで35Kインスタンスを突破する。
本研究では,物語をヘテロジニアスグラフとしてモデル化する新たなグラフマッチング報酬関数SAGAを提案する。
SAGAは密密で厳密な報酬を、分離された意味的三重項と構造的時間的マッチングによって計算する。
- 参考スコア(独自算出の注目度): 19.090109835991136
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Micro-dramas, characterized by ultra-short durations and hyper-dense storylines, pose unique challenges for video understanding that conventional benchmarks fail to address. To bridge this gap, we introduce M-Drama, the first large-scale bilingual benchmark for micro-drama comprehension, featuring over 35K instances across 9,138 clips. Furthermore, while reinforcement learning can enhance VLMs on complex narratives, existing reward metrics often suffer from sparse and superficial signals, failing to capture intricate character identities and temporal structures. We propose SAGA (Structure-Aware Graph Alignment), a novel graph-matching reward function that models narratives as heterogeneous graphs. SAGA computes dense, rigorous rewards via decoupled semantic triplet and structural temporal matching. Extensive experiments on Qwen3-VL-8B-Instruct demonstrate that SAGA outperforms existing baselines, delivering substantial improvements in open-ended accuracy and summary quality, while maintaining competitive out-of-domain generalization. Code is available at https://github.com/qyx1121/MDrama_SAGA.
- Abstract(参考訳): 超短寿命と高密度なストーリーラインを特徴とするマイクロドラマは、従来のベンチマークでは対処できないという、ビデオ理解に固有の課題を提起する。
このギャップを埋めるために、我々はM-Dramaを紹介します。これはマイクロドラマ理解のための最初の大規模なバイリンガルベンチマークで、9,138個のクリップで35Kインスタンスを突破します。
さらに、強化学習は複雑な物語のVLMを強化することができるが、既存の報酬指標はスパースや表面的な信号に悩まされることが多く、複雑な性格のアイデンティティや時間構造を捉えることができない。
本稿では,物語をヘテロジニアスグラフとしてモデル化する新しいグラフマッチング報酬関数SAGAを提案する。
SAGAは、分離された意味的三重項と構造的時間的マッチングによって、密集した厳密な報酬を計算する。
Qwen3-VL-8B-Instructの大規模な実験は、SAGAが既存のベースラインより優れており、競争力のあるドメイン外の一般化を維持しながら、オープンエンドの精度とサマリ品質を大幅に向上することを示した。
コードはhttps://github.com/qyx1121/MDrama_SAGAで公開されている。
関連論文リスト
- Video-MME-v2: Towards the Next Stage in Benchmarks for Comprehensive Video Understanding [98.3098451637867]
Video-MME-v2は、ビデオ理解の堅牢性と忠実さを厳格に評価するために設計された総合的なベンチマークである。
データ品質を保証するため、Video-MME-v2は厳格に制御された人間のアノテーションパイプラインを通して構築される。
論文 参考訳(メタデータ) (2026-04-06T17:59:56Z) - HiVid-Narrator: Hierarchical Video Narrative Generation with Scene-Primed ASR-anchored Compression [7.305586811678626]
本稿では,Eコマースの階層的ビデオキャプションデータセットについて紹介する。
我々はまず,ASRとフレームレベルの記述を用いて,信頼性の高い言語的・視覚的証拠を収集する段階的構成を採用する。
本稿では,マルチモーダルトークンを階層的なシーンに圧縮するScene-Primed ASR-anchored Caption (SPA-Compressor)を提案する。
論文 参考訳(メタデータ) (2026-01-12T09:41:31Z) - ARC-Chapter: Structuring Hour-Long Videos into Navigable Chapters and Hierarchical Summaries [77.41072125938636]
ARC-Chapterは100万以上のビデオチャプターで訓練された最初の大規模ビデオチャプターモデルである。
ASRの書き起こし、シーンテキスト、ビジュアルキャプションを、短いタイトルから長い要約まで、複数レベルのアノテーションに統一する。
F1得点は14.0%、SODA得点は11.3%で前年最多となった。
論文 参考訳(メタデータ) (2025-11-18T10:53:14Z) - Episodic Memory Representation for Long-form Video Understanding [52.33907540905242]
大きなビデオ言語モデルは、一般的なビデオ理解において優れているが、長い形式のコンテキストウィンドウの制限に苦労する。
人間の記憶の原理にインスパイアされたトレーニングフリーのフレームワークであるVideo-EMを紹介する。
Video-EMでは、各ベースラインに対して4-9%のパフォーマンス向上を実現し、フレームの削減を実現している。
論文 参考訳(メタデータ) (2025-08-13T04:33:07Z) - StrucSum: Graph-Structured Reasoning for Long Document Extractive Summarization with LLMs [1.5134121362787107]
StrucSumは、大規模言語モデル(LLM)のためのトレーニングフリープロンプトフレームワークである。
構造信号を3つの戦略を介してプロンプトに注入する。
ArXiv、PubMed、Multi-Newsの実験では、StrucSumは要約品質と事実整合性の両方を一貫して改善している。
論文 参考訳(メタデータ) (2025-05-29T00:10:23Z) - Towards Explainable Temporal Reasoning in Large Language Models: A Structure-Aware Generative Framework [18.770512964705176]
本稿では,多種多様な時間的粒度を網羅したベンチマークを導入し,説明可能な時間的推論における大規模言語モデルの能力を体系的に評価する。
提案するGETERは,グラフ構造を記述可能なテンポラル推論のためのテキストと統合した新しい構造認識型生成フレームワークである。
GETERは最先端の性能を実現し、その効果と強力な一般化能力を示す。
論文 参考訳(メタデータ) (2025-05-21T08:20:35Z) - HERMES: temporal-coHERent long-forM understanding with Episodes and Semantics [32.117677036812836]
本稿では,HERMESについて紹介する。
2つの汎用モジュールは、既存のビデオ言語モデルを強化したり、スタンドアロンシステムとして運用することができる。
HERMESは、ゼロショットとフル教師付き設定の両方において、複数の長ビデオ理解ベンチマークで最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2024-08-30T17:52:55Z) - Hierarchical Temporal Context Learning for Camera-based Semantic Scene Completion [57.232688209606515]
カメラによるセマンティックシーンの補完を改善するための,新たな時間的文脈学習パラダイムであるHTCLを提案する。
提案手法は,Semantic KITTIベンチマークで1st$をランク付けし,mIoUの点でLiDARベースの手法を超えている。
論文 参考訳(メタデータ) (2024-07-02T09:11:17Z) - Siamese Learning with Joint Alignment and Regression for Weakly-Supervised Video Paragraph Grounding [70.31050639330603]
ビデオ段落の接頭辞は、意味的関係と時間的順序を持つ複数の文を、トリミングされていないビデオからローカライズすることを目的としている。
既存のVPGアプローチは、かなりの数の時間ラベルに大きく依存している。
我々は、時間的アノテーションの必要性を排除するために、Wakly-Supervised Video paragraph Grounding (WSVPG)を導入し、探索する。
論文 参考訳(メタデータ) (2024-03-18T04:30:31Z) - DisenKGAT: Knowledge Graph Embedding with Disentangled Graph Attention
Network [48.38954651216983]
本稿では,知識グラフのための新しいDistangled Knowledge Graph Attention Network (DisenKGAT)を提案する。
DisenKGATは、マイクロディケンジメントとマクロディケンジメントの両方を使用して、知識グラフの背後にある表現を利用する。
私たちの仕事は、様々なスコア関数に適応する強力な堅牢性と柔軟性を持っています。
論文 参考訳(メタデータ) (2021-08-22T04:10:35Z) - Learning Multi-Granular Hypergraphs for Video-Based Person
Re-Identification [110.52328716130022]
ビデオベースの人物識別(re-ID)はコンピュータビジョンにおいて重要な研究課題である。
MGH(Multi-Granular Hypergraph)という新しいグラフベースのフレームワークを提案する。
MARSの90.0%のトップ-1精度はMGHを用いて達成され、最先端のスキームよりも優れていた。
論文 参考訳(メタデータ) (2021-04-30T11:20:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。