論文の概要: NARU: A Benchmark for NARrative Evolution and Cultural Nuance Understanding in Japanese Extreme Long Video
- arxiv url: http://arxiv.org/abs/2608.13210v1
- Date: Thu, 13 Aug 2026 13:13:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-14 18:29:38.536233
- Title: NARU: A Benchmark for NARrative Evolution and Cultural Nuance Understanding in Japanese Extreme Long Video
- Title（参考訳）: ナルー:日本の極長ビデオにおけるナラティブ進化と文化的ナンス理解のベンチマーク
- Abstract要約: 本稿では,ナラティブ進化と文化理解の関連性を評価するための指標であるNARUを紹介する。
NARUは155本の動画で1,481問、合計146.8時間、4つの物語、5つの文化的次元にまたがる。
- 参考スコア（独自算出の注目度）: 14.8531001537093
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Long-form video understanding encompasses tasks that go beyond retrieving isolated events, including tracking an evolving narrative and interpreting social meaning that may remain implicit. However, existing benchmarks rarely evaluate these capabilities jointly, particularly in high-context, non-English media. To address this gap, we introduce NARU, a benchmark designed to evaluate Narrative evolution and Reasoning on cultural Understanding in Japanese long-form video. NARU consists of 1,481 questions grounded in 155 videos totaling 146.8 hours, spanning four narrative and five cultural dimensions. To construct the benchmark at this scale, we propose a hierarchical memory-based annotation pipeline that transforms raw video into structured event, narrative, and cultural annotations, then generates questions via task-oriented synthesis and iterative shortcut removal. The construction process includes two native-speaker verification stages involving 68 annotators. Evaluations across eight model configurations reveal substantial limitations in both long-range narrative integration and culturally grounded reasoning. By exposing these persistent gaps, NARU offers a systematic testing ground for developing MLLMs capable of reliably interpreting long-form, high-context video.
- Abstract（参考訳）: ロングフォームビデオ理解は、進化する物語の追跡や暗黙的な社会的意味の解釈など、孤立した出来事を検索する以上のタスクを含んでいる。
しかし、既存のベンチマークでは、特に高文脈、非英語メディアにおいて、これらの機能を共同で評価することは滅多にない。
このギャップに対処するために,ナラティブの進化と文化理解の関連性を評価するための指標であるNARUを紹介する。
NARUは155本の動画で1,481問、合計146.8時間、4つの物語、5つの文化的次元にまたがる。
この規模でベンチマークを構築するために、階層型メモリベースのアノテーションパイプラインを提案し、生動画を構造化されたイベント、物語、文化的アノテーションに変換し、タスク指向の合成と反復的ショートカット除去によって質問を生成する。
構築プロセスは、68のアノテータを含む2つのネイティブスピーカー検証段階を含む。
8つのモデル構成にまたがる評価は、長距離物語の統合と文化的根拠に基づく推論の両方において、かなりの制限が示される。
これらの永続的なギャップを露呈することにより、NARUは、長めの高内容の動画を確実に解釈できるMLLMを開発するための体系的なテスト基盤を提供する。
関連論文リスト
- NEST: Narrative Event Structures in Time for Long Video Understanding [6.938433277109506]
NEST(Narrative Event Structures in Time for Long Video Understanding)は1005本のフル長映画(約98分)のデータセットである。
NESTは、視覚コンテンツ、対話、音声を基盤とした構造化されたアノテーションでマルチモーダルな物語イベントをキャプチャし、物語構造を反映した関係を通してそれらをリンクする。
ETDは8%以下、ELは6%以下、EAEは11%以下である。
論文 参考訳（メタデータ） (2026-06-18T02:05:14Z) - Narrative Aligned Long Form Video Question Answering [12.805359127629215]
NA-VQA(NA-VQA)は、長大なビデオにおける時間的・物語的推論を評価するためのベンチマークである。
NA-VQAには88本のフル長の映画と4.4Kのオープンエンドの質問応答ペアが含まれており、それぞれがショート、ミディアム、ファーとラベル付けされた複数のエビデンスに根拠を置いている。
本稿では、イベントレベルの連鎖を構築し、推論中の検索のための構造化メモリに格納する、物語中心のフレームワークであるVideo-NaRAを提案する。
論文 参考訳（メタデータ） (2026-03-19T21:23:15Z) - CURVE: A Benchmark for Cultural and Multilingual Long Video Reasoning [58.73855961335903]
CURVE(Cultural Understanding and Reasoning in Video Evaluation)は、多言語・多言語ビデオ推論のための挑戦的なベンチマークである。
18のグローバルローカライズされた、地域固有の文化的ビデオから、高品質で完全な人為的なアノテーションを含んでいる。
以上の結果から, SoTA Video-LLM は人間レベルの精度よりもかなり低い精度で動作していることが明らかとなった。
論文 参考訳（メタデータ） (2026-01-15T18:15:06Z) - Cinéaste: A Fine-grained Contextual Movie Question Answering Benchmark [47.482960367243756]
長文映画理解のための総合ベンチマークである$mathsfCinacuteeaste$を紹介した。
我々のデータセットは、200本の映画にまたがる1,805のシーンから抽出された3,119の質問応答対からなる。
実験の結果,既存のMLLMは$mathsfCinacuteeaste$に苦しむことが明らかとなった。
論文 参考訳（メタデータ） (2025-09-17T17:58:06Z) - SAMA: Towards Multi-Turn Referential Grounded Video Chat with Large Language Models [93.73583158211115]
ビデオにおけるきめ細かい時間的理解の獲得は、現在のビデオ大マルチモデル(ビデオLMM)にとって大きな課題である。
私たちは、データセット、モデル、ベンチマークの3つの中核的な側面に貢献しています。
まず,ビデオ理解,グラウンドニング,マルチターンビデオチャットの共用学習を実現するため、15Kビデオからなる大規模データセットであるSAMA-239Kを紹介する。
第2に,広義の時間的コンテキストアグリゲータとセグメンションモデルを組み合わせたSAMAモデルを提案する。
論文 参考訳（メタデータ） (2025-05-24T18:13:16Z) - E.T. Bench: Towards Open-Ended Event-Level Video-Language Understanding [57.630136434038384]
E.T. Bench (Event-Level & Time-Sensitive Video Understanding Benchmark)は、イベントレベルのオープンな理解のための大規模ベンチマークである。
ベンチマークでは,8つの画像-LLMと12個のビデオ-LLMを広範囲に評価し,その結果から,粗い(ビデオレベル)理解のための最先端モデルが,きめ細かなタスクの解決に苦慮していることが判明した。
私たちのシンプルだが効果的なソリューションは、複数のシナリオで優れたパフォーマンスを示します。
論文 参考訳（メタデータ） (2024-09-26T17:53:04Z) - NovelQA: Benchmarking Question Answering on Documents Exceeding 200K Tokens [63.7488938083696]
我々は,大規模言語モデル(LLM)を複雑で拡張された物語で評価するためのベンチマークであるNovellQAを紹介する。
NovelQAは、複雑さ、長さ、物語のコヒーレンスをユニークなブレンドとして提供し、深いテキスト理解を評価するのに理想的なツールである。
ノベルQAにおける長文LLMの評価は,長文LLMの長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文の長文長文長文長文長文の長文
論文 参考訳（メタデータ） (2024-03-18T17:32:32Z) - Building Scalable Video Understanding Benchmarks through Sports [22.851883205547644]
自動化を導入します。
ビデオストリームアライメントパイプライン(略称ASAP)
我々は,4つのスポーツのラベル付きビデオと対応する濃密なWebアノテーションを連携させることにより,ASAPの汎用性を実証する。
次に、ASAPのスケーラビリティを活用して、大規模な長ビデオ理解ベンチマークであるLCricを作成します。
論文 参考訳（メタデータ） (2023-01-17T13:20:21Z) - VIOLIN: A Large-Scale Dataset for Video-and-Language Inference [103.7457132841367]
ビデオとテキストのマルチモーダル理解のための新しいタスク, Video-and-Language Inferenceを導入する。
サブタイトルを前提としたビデオクリップと、そのビデオコンテンツに基づいて自然言語仮説とをペアリングすると、モデルは、その仮説が所定のビデオクリップに関連付けられているか、矛盾しているかを推測する必要がある。
このタスクには、Violin(VIdeO-and-Language Inference)という名の新しい大規模データセットが導入された。
論文 参考訳（メタデータ） (2020-03-25T20:39:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。