論文の概要: AVA-Encoder: Towards Agent-Native Video Representation Learning

• arxiv url: http://arxiv.org/abs/2608.12313v2
• Date: Tue, 18 Aug 2026 14:28:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-19 13:45:32.760562
• Title: AVA-Encoder: Towards Agent-Native Video Representation Learning
• Title（参考訳）: AVAエンコーダ:エージェントNative Video Representation Learningを目指して
• Abstract要約: クリエイティブエージェントは、高品質な人間の映画から学ぶための効果的な方法がまだ欠けている。 主な課題は、映画コンテンツに忠実であり、エージェントによる推論や操作に直接使用できる構造化されたビデオ表現がないことである。 本稿では,エージェント固有のビデオ表現を学習するために,エージェントによる自己進化によって駆動される新しい自動符号化フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 19.49695907809964
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Video creative agents still lack an effective way to learn from high-quality human films, limiting their ability to produce cinematic-grade videos. A key challenge is the absence of a structured video representation that is both faithful to film content and directly usable for agentic reasoning and manipulation. To address the challenge, we propose the Agentic Video Auto-Encoder (AVA-Encoder), a novel auto-encoding framework driven by agentic self-evolution to learn agent-native video representations. AVA-Encoder transforms a video into a Film Knowledge Graph (KG) representation and then reconstructs it back into video. This Film KG representation explicitly captures entities, events, assets, and their multimodal relationships in a structured form that can be easily understood, queried, and manipulated by agents. The reconstruction residual drives a dual-loop textual-gradient optimization framework that jointly improves the Film KG representation and the Agentic Video Encoder. Extensive experiments show that AVA-Encoder achieves a 20.7-percentage-point absolute gain, or a 73.1% relative improvement, over the strongest external baseline. In the controlled policy-only setting, its pseudo-trained Agentic Video Encoder policy also outperforms a carefully human-tuned policy while using 74.3% fewer shot-level and 70.1% fewer keyframe-level system-prompt tokens. We release the complete AVA-Encoder framework, a reliable agentic video reconstruction benchmark, and the first dataset of high-quality Film KG representations.
• Abstract（参考訳）: ビデオクリエイティブのエージェントは、高品質な人間の映画から学ぶための効果的な方法がないため、映画グレードの動画を制作する能力は制限されている。 重要な課題は、フィルムの内容に忠実であり、エージェントの推論や操作に直接使用できる構造化されたビデオ表現がないことである。 この課題に対処するため,エージェント・ビデオ・オートエンコーダ (AVA-Encoder) を提案する。 AVA-Encoderはビデオをフィルム知識グラフ(Film Knowledge Graph, KG)の表現に変換し、それをビデオに再構成する。 このフィルムKG表現は、エージェントが容易に理解し、クエリし、操作できる構造化形式で、エンティティ、イベント、アセット、およびそれらのマルチモーダル関係を明示的にキャプチャする。 再構成残余は、Film KG表現とAgenic Video Encoderを共同で改善するデュアルループテキスト勾配最適化フレームワークを駆動する。 大規模な実験により、AVAエンコーダは最強の外部ベースラインに対して20.7パーセントの絶対ゲイン(73.1%の相対的な改善)を達成することが示された。 制御されたポリシーのみの設定では、擬似訓練されたエージェントビデオエンコーダポリシーは、74.3%のショットレベル、70.1%のキーフレームレベルのシステムプロンプトトークンを使用して、慎重に調整されたポリシーよりも優れている。 我々は、AVA-Encoderフレームワークの完全版、信頼できるエージェントビデオ再構成ベンチマーク、高品質なフィルムKG表現の最初のデータセットをリリースする。

関連論文リスト

• VideoAgent: All-in-One Framework for Video Understanding and Editing [26.019384130449733]
  VideoAgentはビデオ編集のためのオールインワンのエージェントフレームワークである。 我々は、コヒーレントな物語のための撮影計画エージェントを用いた自動撮影を作成する。 Intent parsing filters relevant tools while textual-gradient graph optimizationsasse editing pipelines。
  論文  参考訳（メタデータ） (2026-06-22T13:37:08Z)
• From Content to Knowledge: Lightning Fast Long-Video Understanding with Neural Knowledge Representations [61.234896830825754]
  我々は、長い動画を神経知識表現(NKR)として扱うことによって、長いビデオ理解のための新しいパラダイムを提案する。 NKRは、トークンのストリームや事前編成されたデータベースではなく、VLMバックボーンに取り付けられたネットワーク重みの個々の小さな部分として、ビデオの内容を表す。 推論では、軽量NKRは凍結したビジョンランゲージモデル(VLM)に実装され、元のビデオを再ロードしたり再エンコードしたりすることなく、直接、クエリベースの理解を可能にする。
  論文  参考訳（メタデータ） (2026-06-10T10:43:35Z)
• EasyVideoR1: Easier RL for Video Understanding [51.760544033045726]
  検証可能な報酬(RLVR)からの強化学習は,大規模言語モデルの推論能力向上に顕著な効果を示した。 EasyVideoR1は、ビデオ理解タスクで大きな視覚言語モデルをトレーニングするために特別に設計された、完全かつ効率的な強化学習フレームワークである。
  論文  参考訳（メタデータ） (2026-04-18T07:56:32Z)
• PREGEN: Uncovering Latent Thoughts in Composed Video Retrieval [9.493866391853723]
  Composed Video Retrieval (CoVR)は、クエリビデオと修正テキストに基づいてビデオを取得することを目的としている。 現在のCoVR法は、現代のビジョンランゲージモデル(VLM)を完全に活用できない これらの制限を克服する効率的で強力なCoVRフレームワークであるPregenを紹介します。
  論文  参考訳（メタデータ） (2026-01-20T09:57:04Z)
• Autoregressive Video Autoencoder with Decoupled Temporal and Spatial Context [8.458436768725212]
  ビデオオートエンコーダは、ビデオをコンパクトな潜在表現に圧縮して効率的な再構成を行う。 自動回帰ビデオオートエンコーダ(ARVAE)を提案する。 ARVAEは、非常に軽量なモデルと小規模のトレーニングデータにより、優れた再構築品質を実現する。
  論文  参考訳（メタデータ） (2025-12-12T05:40:01Z)
• Code2Video: A Code-centric Paradigm for Educational Video Generation [60.03043132859077]
  我々は,Pythonコードによる教育ビデオを生成するための,コード中心のエージェントフレームワークであるCode2Videoを提案する。 i)講義内容を時間的コヒーレントなフローに構造化するPlanner,(ii)構造化命令を実行可能なPythonコードに変換するCoder,そして(iii)視覚言語モデル(VLM)を視覚的アンカープロンプトで活用し,空間的レイアウトを洗練し,明確性を確保するCryticという3つの協調エージェントから構成される。 我々の結果は、Code2Videoが拡張性があり、解釈可能で、制御可能なアプローチである可能性を示し、直接コードよりも40%改善されている。
  論文  参考訳（メタデータ） (2025-10-01T17:56:48Z)
• ShotBench: Expert-Level Cinematic Understanding in Vision-Language Models [87.43784424444128]
  映画言語理解に特化したベンチマークであるShotBenchを紹介する。 画像とビデオクリップから3.5k以上の専門家によるQAペアを収録し、200本以上の称賛された(オスカー賞にノミネートされた)映画から細心の注意を払ってキュレートしている。 ShotBench上でのビジョン・ランゲージ・モデル24件の評価では,特に細粒度の視覚的手がかりや複雑な空間的推論に苦慮している。
  論文  参考訳（メタデータ） (2025-06-26T15:09:21Z)
• Hi-VAE: Efficient Video Autoencoding with Global and Detailed Motion [23.80254637449824]
  Hi-VAEは、ビデオダイナミクスの粗大な動き表現を符号化する効率的なビデオ自動符号化フレームワークを定式化している。 我々は,Hi-VAEの圧縮係数が1428$times$,30$times$がベースライン法よりも高いことを示す。
  論文  参考訳（メタデータ） (2025-06-08T13:30:11Z)
• HiTVideo: Hierarchical Tokenizers for Enhancing Text-to-Video Generation with Autoregressive Large Language Models [63.65066762436074]
  HiTVideoは、テキストからビデオ生成タスクにおける既存のビデオトークンの潜在的な制限を解決することを目的としている。 マルチレイヤの離散トークンフレームワークを備えた3D因果VAEを使用し、ビデオコンテンツを階層的に構造化されたコードブックにエンコードする。
  論文  参考訳（メタデータ） (2025-03-14T15:36:39Z)
• REGEN: Learning Compact Video Embedding with (Re-)Generative Decoder [52.698595889988766]
  生成モデルのためのビデオ埋め込み学習について,新しい視点を提示する。 入力ビデオの正確な再生を必要とせず、効果的な埋め込みは視覚的に妥当な再構築に焦点を当てるべきである。 本稿では,従来のエンコーダ・デコーダ・ビデオ埋め込みをエンコーダ・ジェネレータ・フレームワークに置き換えることを提案する。
  論文  参考訳（メタデータ） (2025-03-11T17:51:07Z)
• Large Motion Video Autoencoding with Cross-modal Video VAE [52.13379965800485]
  ビデオ可変オートエンコーダ(VAE)は、ビデオ冗長性を低減し、効率的なビデオ生成を容易にするために不可欠である。 既存のビデオVAEは時間圧縮に対処し始めているが、しばしば再建性能が不十分である。 本稿では,高忠実度ビデオエンコーディングが可能な,新規で強力なビデオオートエンコーダを提案する。
  論文  参考訳（メタデータ） (2024-12-23T18:58:24Z)
• Agent-based Video Trimming [17.519404251018308]
  ビデオトリミング(VT)という新しいタスクを導入する。 VTは、無駄な映像を検出し、貴重なセグメントを選択し、それらをコヒーレントなストーリーで最終ビデオに構成することに焦点を当てている。 AVTは、ユーザスタディにおいてより好ましい評価を受け、YouTube Highlights、TVSum、および我々のデータセットにおいて、より優れたmAPと精度を示した。
  論文  参考訳（メタデータ） (2024-12-12T17:59:28Z)
• MagDiff: Multi-Alignment Diffusion for High-Fidelity Video Generation and Editing [90.06041718086317]
  我々は、高忠実度ビデオ生成と編集の両方のタスクに対して、MagDiffと呼ばれる統合多重配位拡散を提案する。 提案したMagDiffは、主観駆動アライメント、適応プロンプトアライメント、高忠実アライメントを含む3種類のアライメントを導入している。
  論文  参考訳（メタデータ） (2023-11-29T03:36:07Z)
• VNVC: A Versatile Neural Video Coding Framework for Efficient Human-Machine Vision [59.632286735304156]
  コード化された表現をピクセルに復号することなく直接拡張・解析することがより効率的である。 再構成と直接拡張/分析の両方をサポートするために,コンパクト表現の学習を目標とする汎用型ニューラルビデオ符号化(VNVC)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-19T03:04:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。