論文の概要: DiVid: Diagnosing Dimension-Specific Diversity Collapse in Video Generation Models
- arxiv url: http://arxiv.org/abs/2610.01661v1
- Date: Thu, 01 Oct 2026 13:21:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 01:19:24.147505
- Title: DiVid: Diagnosing Dimension-Specific Diversity Collapse in Video Generation Models
- Title(参考訳): DiVid:ビデオ生成モデルにおける次元比の多様性崩壊の診断
- Abstract要約: 顕著な有用性にもかかわらず、ビデオ生成モデルは、しばしば同じプロンプトから繰り返しサンプリングされたときに、非常によく似た出力を生成する。
ビデオ生成の多様性を6つの解釈可能な次元に分解する診断フレームワークであるDiVidを紹介する。
各次元は再現可能なコンピュータビジョンパイプラインを通して測定され、品質と命令とともに分析され、潜在的なトレードオフを調べる。
- 参考スコア(独自算出の注目度): 50.681736523898444
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Despite remarkable progress, video generation models often produce highly similar outputs when repeatedly sampled from the same prompt, limiting their usefulness for creative exploration. Existing diversity evaluations primarily rely on global scalar metrics, which obscure where diversity collapses in the spatiotemporal space of videos. We introduce DiVid, a dimension-level diagnostic framework that decomposes video generation diversity into six interpretable dimensions: Semantic, Style, Subject, Scene, Motion, and Camera. Each dimension is measured through a reproducible computer-vision pipeline and analyzed alongside quality and instruction faithfulness to examine potential trade-offs. Systematic evaluation of representative video generation models reveals that diversity is highly dimension-specific: models with strong global diversity scores still collapse on specific factors, particularly Motion and Camera. These rankings persist after filtering unfaithful generations, indicating genuine capability differences rather than off-prompt outputs. Beyond measurement, controlled prompt interventions identify two fundamental bottlenecks: default mode convergence, where models fall back to dominant patterns under open-ended prompts; and realization gaps, where models fail to faithfully realize diverse, explicitly requested alternatives, particularly for temporal factors. The larger faithfulness losses for temporal factors highlight the difficulty of controlling motion and camera variation through text alone. DiVid thus shifts the study of diversity from measuring whether it exists to diagnosing where and why it collapses, and provides actionable directions for dimension-aware training objectives and control signals. The framework will be released to facilitate future research on diverse and controllable video generation.
- Abstract(参考訳): 驚くべき進歩にもかかわらず、ビデオ生成モデルは、しばしば同じプロンプトから繰り返しサンプリングされたときに非常に類似した出力を生成し、創造的な探索に有用性を制限する。
既存の多様性評価は主に、ビデオの時空間で多様性が崩壊する場所を曖昧にするグローバルスカラーメトリクスに依存している。
ビデオ生成の多様性を,セマンティック,スタイル,主題,シーン,モーション,カメラの6つの解釈可能な次元に分解する,次元レベルの診断フレームワークであるDiVidを紹介する。
各次元は再現可能なコンピュータビジョンパイプラインを通して測定され、品質と命令の忠実さとともに分析され、潜在的なトレードオフを調べる。
代表的ビデオ生成モデルの体系的評価は、多様性が高度に次元特異的であることを明らかにしている: 強力なグローバルな多様性スコアを持つモデルは、特にモーションとカメラにおいて、依然として崩壊している。
これらのランキングは、不誠実な世代をフィルタリングした後も継続し、オフプロンプト出力よりも真の能力の違いを示している。
デフォルトモード収束(デフォルトモード収束)、モデルがオープンエンドのプロンプトの下で支配的なパターンにフォールバックする、そして、モデルが忠実に、特に時間的要因に対して要求された多様な選択肢を認識できない、実現のギャップである。
時間的要因に対する忠実さの損失が大きいことは、テキストだけで動きやカメラの変動を制御することの難しさを浮き彫りにする。
このように、DiVidは多様性の研究を、それが存在するかどうかを計測することから、それが崩壊する理由を診断することへとシフトさせ、次元対応のトレーニング目標と制御信号に対して実行可能な方向を提供する。
このフレームワークは、多種多様な制御可能なビデオ生成に関する将来の研究を促進するためにリリースされる。
関連論文リスト
- Divide and Conquer: Mixture-of-Bottleneck Experts in Informative Ordinal Space for Video-based Multimodal Sentiment Analysis [37.09437367444853]
ビデオに基づくマルチモーダル感情分析は、人間の話すビデオのテキスト、音声、画像シーケンスからの情報を扱う必要がある。
ほとんどのモデルは、ビデオの感情予測を1つのタスクとして扱う。
偏極性および強度特異的の専門家に異なる潜水剤を割り当てるMixture-of-Bottleneck(MoB)フレームワークを導入する。
論文 参考訳(メタデータ) (2026-09-16T11:04:39Z) - Distributed Implicit Harm: A Compositional Safety Blind Spot in MLLM-Based Video Moderation [58.10046058931267]
分散インプリシットハーム(DIH)は、ビデオの分解軸に沿って分散されたコンポーネント間の関係から害が発生する場所である。
視覚セグメント間の時間的調和(DIH-T)と音声と視覚ストリーム間の相互調和(DIH-M)の2症例について検討する。
我々は,個々の良性成分を有害なシナリオに分解し,明示的な推論アノテーションで多種多様なDIHビデオを生成するマルチエージェントフレームワークを開発した。
論文 参考訳(メタデータ) (2026-08-31T18:17:49Z) - STRIVE: Structured Spatiotemporal Exploration for Reinforcement Learning in Video Question Answering [28.670443420523796]
STRIVEは質問応答のための構造化強化学習フレームワークである。
報酬シグナルを豊かにし、より安定的で情報的なポリシー更新を促進する。
時間的カバレッジを維持しながら、入力問題に最も関連するフレームを優先順位付けする。
論文 参考訳(メタデータ) (2026-04-02T09:35:27Z) - DIVERGE: Diversity-Enhanced RAG for Open-Ended Information Seeking [10.970797088560323]
本稿では,新しいリフレクション誘導生成とメモリ拡張反復改善機能を備えたプラグアンドプレイエージェントRAGフレームワークを提案する。
我々は,DIVERGEが競争基準よりも優れた多様性と品質のトレードオフを達成できることを実証した。
論文 参考訳(メタデータ) (2026-01-30T19:03:11Z) - Unsupervised Model Diagnosis [49.36194740479798]
本稿では,ユーザガイドを使わずに,意味論的対実的説明を生成するために,Unsupervised Model Diagnosis (UMO)を提案する。
提案手法は意味論における変化を特定し可視化し,その変化を広範囲なテキストソースの属性と照合する。
論文 参考訳(メタデータ) (2024-10-08T17:59:03Z) - Hypergraph Multi-modal Large Language Model: Exploiting EEG and Eye-tracking Modalities to Evaluate Heterogeneous Responses for Video Understanding [25.4933695784155]
ビデオの創造性と内容の理解はしばしば個人によって異なり、年齢、経験、性別によって焦点や認知レベルが異なる。
実世界のアプリケーションとのギャップを埋めるために,ビデオデータセット用の大規模主観応答指標を導入する。
我々は,異なるユーザ間での映像コンテンツの認知的理解度を分析し,評価するためのタスクとプロトコルを開発した。
論文 参考訳(メタデータ) (2024-07-11T03:00:26Z) - Dynamic Erasing Network Based on Multi-Scale Temporal Features for
Weakly Supervised Video Anomaly Detection [103.92970668001277]
弱教師付きビデオ異常検出のための動的消去ネットワーク(DE-Net)を提案する。
まず,異なる長さのセグメントから特徴を抽出できるマルチスケール時間モデリングモジュールを提案する。
そして,検出された異常の完全性を動的に評価する動的消去戦略を設計する。
論文 参考訳(メタデータ) (2023-12-04T09:40:11Z) - ACQUIRED: A Dataset for Answering Counterfactual Questions In Real-Life
Videos [53.92440577914417]
ACQUIREDは3.9Kの注釈付きビデオで構成され、幅広いイベントタイプを包含し、ファーストパーソンとサードパーソンの両方の視点を取り入れている。
各ビデオは、物理的、社会的、時間的な3つの異なる推論の次元にまたがる質問で注釈付けされている。
我々は,現在最先端の言語のみおよびマルチモーダルモデルに対して,我々のデータセットをベンチマークし,実験結果から大きな性能差が示された。
論文 参考訳(メタデータ) (2023-11-02T22:17:03Z) - Spatial-Frequency Discriminability for Revealing Adversarial Perturbations [53.279716307171604]
敵の摂動に対するディープニューラルネットワークの脆弱性は、コンピュータビジョンコミュニティで広く認識されている。
現在のアルゴリズムは、通常、自然および敵対的なデータの識別的分解を通じて、敵のパターンを検出する。
空間周波数Krawtchouk分解に基づく識別検出器を提案する。
論文 参考訳(メタデータ) (2023-05-18T10:18:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。