論文の概要: Leum-VL Technical Report

• arxiv url: http://arxiv.org/abs/2603.20354v1
• Date: Fri, 20 Mar 2026 12:48:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-24 19:11:38.862035
• Title: Leum-VL Technical Report
• Title（参考訳）: Leum-VL技術報告
• Authors: Yuxuan He, Chaiming Huang, Yifan Wu, Hongjun Wang, Chenkui Shen, Jifan Zhang, Long Li,
• Abstract要約: ショートビデオが成功するのは、それが何を示すかではなく、どのように注意を向けるかが原因だ。 既存のモデルでは、シーンを記述したり、イベント中心の質問に答えたり、画面上のテキストを読んだりすることができる。 本稿では,インターネットネイティブ動画を6つの相補的構造次元に分解する表現フレームワークSV6Dを提案する。
• 参考スコア（独自算出の注目度）: 16.577102201941152
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A short video succeeds not simply because of what it shows, but because of how it schedules attention -- yet current multimodal models lack the structural grammar to parse or produce this organization. Existing models can describe scenes, answer event-centric questions, and read on-screen text, but they are far less reliable at identifying timeline-grounded units such as hooks, cut rationales, shot-induced tension, and platform-facing packaging cues. We propose SV6D (Structured Video in Six Dimensions), inspired by professional storyboard practice in film and television production, a representation framework that decomposes internet-native video into six complementary structural dimensions -- subject, aesthetics, camera language, editing, narrative, and dissemination -- with each label tied to physically observable evidence on the timeline. We formalize a unified optimization objective over SV6D that combines Hungarian-matched temporal alignment, dimension-wise semantic label distance, and quality regularization. Building on this framework, we present Leum-VL-8B, an 8B video-language model that realizes the SV6D objective through an expert-driven post-training pipeline, further refined through verifiable reinforcement learning on perception-oriented tasks. Leum-VL-8B achieves 70.8 on VideoMME (w/o subtitles), 70.0 on MVBench, and 61.6 on MotionBench, while remaining competitive on general multimodal evaluations such as MMBench-EN. We also construct FeedBench, a benchmark for structure-sensitive short-video understanding. Our results indicate that the missing layer in video AI is not pixel generation but structural representation: grounded on the timeline, linked to visible evidence, and directly consumable by downstream workflows such as editing, retrieval, recommendation, and generation control, including text-heavy internet video formats with overlays and image-text layouts.
• Abstract（参考訳）: しかし、現在のマルチモーダルモデルは、この組織を解析または生成する構造文法を欠いている。 既存のモデルでは、シーンを記述したり、イベント中心の質問に答えたり、画面上のテキストを読んだりすることができるが、フック、カットされた合理性、ショットによって引き起こされた緊張、プラットフォーム対応のパッケージングキューといったタイムラインの単位を特定することは、はるかに信頼性が低い。 本稿では,映像・テレビ製作におけるプロのストーリーボードの実践に触発されたSV6D(Structured Video in Six Dimensions)を提案する。 我々は,ハンガリーの時間的アライメント,次元ワイドなセマンティックラベル距離,品質正規化を組み合わせたSV6D上での統一最適化目標を定式化する。 この枠組みに基づいて,専門家主導のポストトレーニングパイプラインを通じてSV6D目標を実現する8Bビデオ言語モデルLeum-VL-8Bを提案する。 Leum-VL-8BはビデオMME(w/o字幕)で70.8、MVBenchで70.0、MotionBenchで61.6、MMBench-ENなどの一般的なマルチモーダル評価で競争力を維持する。 また、構造に敏感なショートビデオ理解のためのベンチマークであるFeedBenchを構築した。 我々の結果は、ビデオAIに欠けている層はピクセル生成ではなく構造的表現であることを示している。タイムラインに基盤を置き、目に見えるエビデンスにリンクし、編集、検索、レコメンデーション、生成制御といった下流ワークフローによって直接消費可能である。

関連論文リスト

• TimeChat-Captioner: Scripting Multi-Scene Videos with Time-Aware and Structural Audio-Visual Captions [64.27159505605312]
  提案するOmni Captioningは,明示的なタイムスタンプによる連続的,きめ細かな,構造化された視覚的物語を生成するために設計された新しいタスクである。 密接なセマンティックカバレッジを確保するため、私たちは6次元構造スキーマを導入し、"script-like"キャプションを作成します。 大規模な実験により、TimeChat-Captioner-7BはGemini-2.5-Proを抜いて最先端のパフォーマンスを達成した。
  論文  参考訳（メタデータ） (2026-02-09T14:21:58Z)
• ARC-Hunyuan-Video-7B: Structured Video Comprehension of Real-World Shorts [56.75723197779384]
  ARC-Hunyuan-Videoは、構造化理解のために視覚、音声、テキストの信号をエンドツーエンドに処理するマルチモーダルモデルである。 本モデルでは,複数粒度のタイムスタンプ付きビデオキャプションと要約,オープンなビデオ質問応答,時間的ビデオグラウンド,ビデオ推論が可能である。
  論文  参考訳（メタデータ） (2025-07-28T15:52:36Z)
• VideoLLaMB: Long Streaming Video Understanding with Recurrent Memory Bridges [39.666361965650836]
  VideoLLaMBは、長いビデオ理解のためのフレームワークである。 SceneTilingアルゴリズムは、ビデオをコヒーレントなセマンティックユニットに分割する。 VideoLLaMBは1つのNvidia A100 GPUを使用して最大320フレームを処理する。
  論文  参考訳（メタデータ） (2024-09-02T08:52:58Z)
• FancyVideo: Towards Dynamic and Consistent Video Generation via Cross-frame Textual Guidance [3.6519202494141125]
  我々は、既存のテキスト制御機構を改善する革新的なビデオジェネレータであるFancyVideoを紹介した。 CTGMは、TII(Temporal Information)とTAR(Temporal Affinity Refiner)をクロスアテンションの開始と終了に組み込んでいる。 提案手法は,EvalCrafterベンチマークを用いて,最先端のT2V生成結果を実現する。
  論文  参考訳（メタデータ） (2024-08-15T14:47:44Z)
• Video-LaVIT: Unified Video-Language Pre-training with Decoupled Visual-Motional Tokenization [52.63845811751936]
  ダイナミックスビデオのモデリングのため、ビデオ事前トレーニングは難しい。 本稿では,ビデオ事前学習におけるこのような制限を,効率的なビデオ分解によって解決する。 筆者らのフレームワークは,13のマルチモーダルベンチマークにおいて,画像と映像のコンテントの理解と生成が可能であることを実証した。
  論文  参考訳（メタデータ） (2024-02-05T16:30:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。