論文の概要: An Attribute-Based Measure of Video Complexity

• arxiv url: http://arxiv.org/abs/2606.00640v1
• Date: Sat, 30 May 2026 09:30:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:28.569305
• Title: An Attribute-Based Measure of Video Complexity
• Title（参考訳）: 属性に基づくビデオ複雑度の測定
• Abstract要約: ビデオ複雑性は、所定のビデオ検索ペアに対するビデオLLMの失敗の確率として定義される。 VideoABCは、参照ビデオデータセットと予め定義されたビデオ属性の語彙を用いて、非パラメトリックな複雑性尺度である。
• 参考スコア（独自算出の注目度）: 47.24280516129837
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A new framework for the estimation of the complexity posed by video-question pairs to video-LLMs, Video Attribute-Based Complexity (VideoABC), is proposed. Video complexity is defined as the probability of failure of a video-LLM for a given video-question pair. VideoABC is a non-parametric complexity measure, using a reference video dataset and a pre-defined vocabulary of video attributes informative of complexity, \eg the scene complexity or the speed of the video event informative of the question. In a training phase, reference videos are projected into the space of these attributes, which is then quantized. The expected ABC of each quantization cell is then computed. Given a new video and its projection into the attribute space, complexity is estimated by the expected ABC of the associated quantization cell. To enable the use of VideoABC with small reference video datasets, two quantizers are combined: a k-means quantizer that enables accurate complexity estimates for samples in the distribution of the reference dataset and a universal lattice quantizer that guarantees generalization to out-of-distribution samples. A synthetic video generation procedure, inspired by target-distractor manipulations of psychophysics studies, is proposed to populate the cells of the lattice quantizer during training, enabling the computation of their expected ABCs. Experimental results show that VideoABCis effective even with very low-dimensional attribute representations, substantially outperforming approaches like `video-LLM as judge' with much less complexity. Finally, the explainable nature of the VideoABC score, in terms of well-defined attributes, is shown to provide insights on how the attribute composition of benchmarks affects their complexity.
• Abstract（参考訳）: ビデオ検索ペアがビデオLLM(Video Attribute-Based Complexity, VideoABC)にもたらす複雑性を推定するための新しいフレームワークを提案する。 ビデオ複雑性は、所定のビデオ検索ペアに対するビデオLLMの失敗の確率として定義される。 ビデオABCは非パラメトリックな複雑性尺度であり、参照ビデオデータセットと、その複雑さを知らせるビデオ属性のボキャブラリを用いて、シーンの複雑さや、その疑問を知らせるビデオイベントのスピードを抽出する。 トレーニングフェーズでは、参照ビデオがこれらの属性の空間に投影され、量子化される。 次に、各量子化セルの予測ABCを算出する。 新しいビデオとその属性空間への投影が与えられた場合、複雑性は関連する量子化セルのABCによって推定される。 ビデオABCを小さな参照ビデオデータセットで使用可能にするために、2つの量化器が組み合わされ、参照データセットの分布におけるサンプルの正確な複雑性推定を可能にするk平均量化器と、分布外サンプルへの一般化を保証する普遍的な格子量化器である。 精神物理学研究のターゲット・ディフラクター操作にインスパイアされた合成ビデオ生成法は、トレーニング中に格子量子化器の細胞を凝集させ、期待されるABCの計算を可能にする。 実験の結果,ビデオABCは低次元の属性表現でも有効であり,より複雑度が低い「ビデオLLM as judge」などの手法よりも優れていた。 最後に、よく定義された属性の観点から、ビデオABCスコアの説明可能な性質は、ベンチマークの属性構成がそれらの複雑さにどのように影響するかについての洞察を提供する。

関連論文リスト

• Unsupervised Transcript-assisted Video Summarization and Highlight Detection [6.80224810039938]
  本稿では,ビデオフレームとその対応する文字起こしを活用して,より凝縮したビデオを生成するマルチモーダルパイプラインを提案する。 パイプラインはRLフレームワーク内でトレーニングされ、多彩で代表的な要約を生成するモデルに報酬を与える。 実験の結果,映像の要約やハイライト検出における転写文字の使用は,映像の視覚的内容にのみ依存するよりも優れた結果が得られることがわかった。
  論文  参考訳（メタデータ） (2025-05-29T09:16:19Z)
• CoT-RVS: Zero-Shot Chain-of-Thought Reasoning Segmentation for Videos [59.391265901911005]
  本稿では,MLLMのゼロショット・チェーン・オブ・ソート(CoT)機能を利用して,時間-意味的推論による複雑な問題に対処する新しいフレームワークであるCoT-RVSを提案する。 CoT-RVSは、言語クエリ(セマンティック)にマッチする可能性のある特定のフレーム内の可視オブジェクトを分析し、すべてのフレーム(一時)の中で、懸命に観察できる各オブジェクトに対して対応するオブジェクトを選択する。 当社のフレームワークのトレーニングフリー機能は,テスト時にCoTを使用して,よりよいターゲットが出現し始めると関心の対象を更新するオンラインビデオストリーム処理の拡張も可能にしています。
  論文  参考訳（メタデータ） (2025-05-24T07:01:31Z)
• REVEAL: Relation-based Video Representation Learning for Video-Question-Answering [14.867263291053968]
  本稿では,リレーションに基づくrEpresentAtion Learning(REVEAL)を提案する。 バイテンポラルなシーングラフにインスパイアされたビデオシーケンスは、言語埋め込みを通して、時間とともに(サブジェクト・プレディケート・オブジェクト)の形で、関係三重項の集合としてエンコードする。 提案手法を,NeXT-QA,Intent-QA,STAR,VLEP,TVQAの5つのベンチマークで評価した。
  論文  参考訳（メタデータ） (2025-04-07T19:54:04Z)
• Needle In A Video Haystack: A Scalable Synthetic Evaluator for Video MLLMs [20.168429351519055]
  ビデオ理解はマルチモーダル大言語モデル(LMLM)にとって重要な次のステップである 合成ビデオ生成によるベンチマーク構築フレームワークであるVideoNIAH(Video Needle In A Haystack)を提案する。 我々は、プロプライエタリモデルとオープンソースモデルの両方を包括的に評価し、ビデオ理解能力の重大な違いを明らかにする。
  論文  参考訳（メタデータ） (2024-06-13T17:50:05Z)
• VaQuitA: Enhancing Alignment in LLM-Assisted Video Understanding [63.075626670943116]
  本稿では,映像情報とテキスト情報の相乗効果を向上するための最先端フレームワークであるVaQuitAを紹介する。 データレベルでは、フレームを均一にサンプリングする代わりに、CLIPスコアランキングでガイドされるサンプリング手法を実装している。 機能レベルでは、Visual-Query Transformerと一緒にトレーニング可能なVideo Perceiverを統合します。
  論文  参考訳（メタデータ） (2023-12-04T19:48:02Z)
• Dense but Efficient VideoQA for Intricate Compositional Reasoning [9.514382838449928]
  複雑なタスクに対処するための変形性アテンション機構を備えたトランスフォーマーに基づく新しいビデオQA手法を提案する。 複雑な質問文内の係り受け構造は、言語埋め込みと組み合わせて、質問語間の意味的関係を容易に理解する。
  論文  参考訳（メタデータ） (2022-10-19T05:01:20Z)
• Hybrid Contrastive Quantization for Efficient Cross-View Video Retrieval [55.088635195893325]
  クロスビュービデオ検索のための最初の量子化表現学習法,すなわちHybrid Contrastive Quantization(HCQ)を提案する。 HCQは、粗粒度と微粒度の両方を変換器で学習し、テキストやビデオの補完的な理解を提供する。 3つのWebビデオベンチマークデータセットの実験により、HCQは最先端の非圧縮検索手法と競合する性能を示す。
  論文  参考訳（メタデータ） (2022-02-07T18:04:10Z)
• Hierarchical Conditional Relation Networks for Multimodal Video Question Answering [67.85579756590478]
  ビデオQAは、少なくとも2つの複雑さのレイヤを追加します。 条件付き関係ネットワーク(CRN)は、入力の関係を符号化する新しいオブジェクトのセットに変換するテンソルオブジェクトのセットを入力として取り込む。 その後、CRNはビデオQAに2つの形式で適用され、答えが視覚コンテンツからのみ推論されるショートフォームと、サブタイトルなどの関連情報が提示されるロングフォームである。
  論文  参考訳（メタデータ） (2020-10-18T02:31:06Z)
• Hierarchical Conditional Relation Networks for Video Question Answering [62.1146543269993]
  条件関係ネットワーク(CRN)と呼ばれる汎用再利用可能なニューラルネットワークユニットを導入する。 CRNは、ビデオ上での表現と推論のためのより洗練された構造を構築するためのビルディングブロックとして機能する。 その結果,ビデオQAのような複雑なドメインに対する汎用推論ユニットの構築の影響が示された。
  論文  参考訳（メタデータ） (2020-02-25T07:00:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。