論文の概要: From Content to Knowledge: Lightning Fast Long-Video Understanding with Neural Knowledge Representations

• arxiv url: http://arxiv.org/abs/2606.11913v1
• Date: Wed, 10 Jun 2026 10:43:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-11 16:42:38.416975
• Title: From Content to Knowledge: Lightning Fast Long-Video Understanding with Neural Knowledge Representations
• Title（参考訳）: コンテンツから知識へ:ニューラルな知識表現による高速な長時間ビデオ理解
• Authors: Yuchen Guan, Xiao Li, Zongyu Guo, Xiaoyi Zhang, Xiulian Peng, Chun Yuan, Yan Lu,
• Abstract要約: 我々は、長い動画を神経知識表現(NKR)として扱うことによって、長いビデオ理解のための新しいパラダイムを提案する。 NKRは、トークンのストリームや事前編成されたデータベースではなく、VLMバックボーンに取り付けられたネットワーク重みの個々の小さな部分として、ビデオの内容を表す。 推論では、軽量NKRは凍結したビジョンランゲージモデル(VLM)に実装され、元のビデオを再ロードしたり再エンコードしたりすることなく、直接、クエリベースの理解を可能にする。
• 参考スコア（独自算出の注目度）: 61.234896830825754
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a new paradigm for long video understanding by treating a long video as a Neural Knowledge Representation (NKR). NKR represents video contents neither as a stream of tokens nor pre-organized databases, but as an individual small portion of network weights attached to the VLM backbone. The NKR weights are optimized to encapsulate the video's semantic content via a novel Agentic Knowledge Distillation (AKD) process, where an agent automatically synthesizes dense descriptions and question-answer pairs to distill the video's knowledge into the NKR. While AKD serves as a comprehensive, one-time encoding phase, the resulting NKR transforms the video into a portable, reusable asset. At inference, the lightweight NKR is mounted onto a frozen Vision-Language Model (VLM), enabling direct, query-based understanding without reloading or re-encoding the original video. This approach decouples video length from inference cost, offering high amortized efficiency for multi-turn video understanding. Experiments on the LVBench benchmark show our method achieves performance comparable to state-of-the-art approaches while reducing end-to-end latency by over two orders of magnitude, opening new possibilities for interactive long-video understanding.
• Abstract（参考訳）: 本稿では、長い動画を神経知識表現(NKR)として扱うことによって、長いビデオ理解のための新しいパラダイムを提案する。 NKRは、トークンのストリームや事前編成されたデータベースではなく、VLMバックボーンに取り付けられたネットワーク重みの個々の小さな部分として、ビデオの内容を表す。 NKR重みは、ビデオの意味内容を新しいエージェント知識蒸留(AKD)プロセスを介してカプセル化するために最適化され、エージェントは、ビデオの知識をNKRに蒸留するために、密集した記述と質問応答ペアを自動的に合成する。 AKDは包括的でワンタイムのエンコーディングフェーズとして機能する一方、NKRはビデオをポータブルで再利用可能なアセットに変換する。 推論では、軽量NKRは凍結したビジョンランゲージモデル(VLM)に実装され、元のビデオを再ロードしたり再エンコードしたりすることなく、直接、クエリベースの理解を可能にする。 このアプローチは、画像長を推論コストから切り離し、マルチターンビデオ理解のための高償却効率を提供する。 LVBenchベンチマークの実験により,本手法は最先端の手法に匹敵する性能を実現するとともに,エンドツーエンドのレイテンシを2桁以上削減し,対話型長時間ビデオ理解の新たな可能性を開く。

関連論文リスト

• LongVideo-R1: Smart Navigation for Low-cost Long Video Understanding [106.23494088118571]
  LongVideo-R1は、効率的なビデオコンテキストナビゲーションのためのマルチモーダル大言語モデル(MLLM)エージェントである。 これは、その後の処理において最も情報に富むビデオクリップを推測する。 LongVideo-R1エージェントは、2段階のパラダイムを通じてQwen-3-8Bモデルに微調整される。
  論文  参考訳（メタデータ） (2026-02-24T13:49:47Z)
• LV-MAE: Learning Long Video Representations through Masked-Embedding Autoencoders [11.915744347526784]
  長ビデオマスク埋め込みオートエンコーダ(LV-MAE)を紹介する。 LV-MAEは長期表現のための自己教師型学習フレームワークである。 3つの長ビデオベンチマークで最先端の結果を得る。
  論文  参考訳（メタデータ） (2025-04-04T14:56:27Z)
• Progressive Fourier Neural Representation for Sequential Video Compilation [75.43041679717376]
  連続学習によって動機づけられたこの研究は、シーケンシャルエンコーディングセッションを通じて、複数の複雑なビデオデータに対して、ニューラル暗黙表現を蓄積し、転送する方法を研究する。 本稿では,FFNR(Progressive Fourier Neural Representation)という,FFNR(Progressive Fourier Neural Representation)という,FFNR(Progressive Fourier Neural Representation)という手法を提案する。 我々は,UVG8/17とDAVIS50のビデオシーケンスベンチマークでPFNR法を検証し,強力な連続学習ベースラインよりも優れた性能向上を実現した。
  論文  参考訳（メタデータ） (2023-06-20T06:02:19Z)
• Towards Scalable Neural Representation for Diverse Videos [68.73612099741956]
  Inlicit Neural representations (INR)は、3Dシーンや画像の表現において注目を集めている。 既存のINRベースの手法は、冗長な視覚コンテンツを持つ短いビデオの符号化に限られている。 本稿では,多種多様な視覚コンテンツを持つ長編・多作ビデオの符号化のためのニューラル表現の開発に焦点をあてる。
  論文  参考訳（メタデータ） (2023-03-24T16:32:19Z)
• Scalable Neural Video Representations with Learnable Positional Features [73.51591757726493]
  我々は,学習可能な位置特徴(NVP)を用いて,映像を潜時符号として効果的に再生するニューラル表現の訓練方法を示す。 一般的なUVGベンチマークにおけるNVPの優位性を実証し,先行技術と比較して,NVPは2倍の速度(5分以内)で走行するだけでなく,符号化品質も34.07rightarrow$34.57(PSNR測定値で測定)に上回っている。
  論文  参考訳（メタデータ） (2022-10-13T08:15:08Z)
• A Coding Framework and Benchmark towards Low-Bitrate Video Understanding [63.05385140193666]
  我々は,従来のコーデックとニューラルネットワーク(NN)の両方を活用する,従来型ニューラル混合符号化フレームワークを提案する。 このフレームワークは、動画の移動効率の良いセマンティック表現を確実に保持することで最適化される。 8つのデータセットに3つのダウンストリームタスクを備えた低ビットレートビデオ理解ベンチマークを構築し、このアプローチの顕著な優位性を実証した。
  論文  参考訳（メタデータ） (2022-02-06T16:29:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。