論文の概要: ViMoLa: Discrete Motion Tokens for Language-Guided Video Generation

• arxiv url: http://arxiv.org/abs/2610.25595v1
• Date: Sun, 18 Oct 2026 23:54:19 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:24:47.590996
• Title: ViMoLa: Discrete Motion Tokens for Language-Guided Video Generation
• Title（参考訳）: ViMoLa: 言語誘導ビデオ生成のための離散モーショントークン
• Abstract要約: ViMoLaは、言語に先立って動きを予測し、凍結した画像とビデオのバックボーンに注入する。 低ランクのアダプタは1.45%のフォワードパスFLOPで0.428に到達し、新たにトレーニングされたCogVideoXでトークンと言語モデルを再利用することで、0.301から0.398までアダプタを上昇させる。
• 参考スコア（独自算出の注目度）: 6.412245476044759
• License:
• Abstract: Language-guided video generation often captures scene content while missing the requested motion. We present ViMoLa (Video Motion Language), which predicts a motion prior from language and injects it into a frozen image-to-video backbone. A spatial vector-quantized autoencoder compresses dense trajectories into 64 tokens from a 512-entry codebook; a 28M-parameter transformer predicts the tokens from text; and zero-gated cross-attention adapters condition every frozen Wan~2.2 DiT block through forward hooks. Trained on 462K videos from Something-Something~v2 and Kinetics-400, ViMoLa raises directional accuracy from 0.287 to 0.442 (chance 0.250), with similar measured generative quality. Across-prompt shuffled codes achieve 0.283, supporting the importance of prompt-matched token content. A low-rank adapter reaches 0.428 at 1.45% additional forward-pass FLOPs, and reusing the tokenizer and language model with newly trained CogVideoX adapters raises accuracy from 0.301 to 0.398. Control remains imperfect: oracle codes reach 0.531, compound-motion gains are smaller, and the adapter does not explicitly preserve token-to-patch assignments.
• Abstract（参考訳）: 言語誘導ビデオ生成は、要求された動きを欠いている間、しばしばシーンコンテンツをキャプチャする。 本稿では,ViMoLa (Video Motion Language) について述べる。 空間ベクトル量子化オートエンコーダは512エントリのコードブックから64個のトークンに密度の高いトラジェクトリを圧縮し、28Mパラメータ変換器はテキストからトークンを予測する。 Something-Something〜v2とKineetics-400の462Kビデオで訓練されたViMoLaは、方向精度を0.287から0.442に引き上げる。 Across-prompt shuffled codes achieve 0.283, supporting the importance of prompt-matched token content。 低ランクのアダプタは1.45%のフォワードパスFLOPで0.428に達し、新たに訓練されたCogVideoXアダプタでトークンと言語モデルを再利用すると、精度は0.301から0.398に向上する。 オラクルコードは0.531に達し、複合モーションゲインは小さく、アダプタはトークン・ツー・パッチの割り当てを明示的に保持しない。

関連論文リスト

• Speculative Forcing for Efficient Autoregressive Video Generation [78.368797550302]
  Speculative Forcingは、中間的クリーンな見積もりをドラフトとして扱うフレームワークである。 フルステップサンプリングの品質を維持しつつ、fpsを大幅に削減する。 LongLiveでは、4段階のジェネレータと1トークンあたり1.7のデノイングステップが一致し、41.7 fpsと37.8 fpsで1.5倍高速に動作する。
  論文  参考訳（メタデータ） (2026-10-15T17:57:01Z)
• WIRE: Weight Space Implicit Representation Encoding of Frozen Video LLMs [50.26647187459162]
  ビデオ言語モデルは、デコーダの入力に視覚的な埋め込みの長いシーケンスとしてビデオを表す。 凍結したビデオ言語モデルの映像の一部を移動させることにより、この繰り返しコストを低減できるWIRE(Weight Space Implicit Representation)を提案する。 Qwen3-VL-8Bでは、1フレームあたり16のキャリアトークンを持つWIREは、ビジュアルストリームを3.5Times$で、デコーダのプリフィル時間を256フレームで$3.35times$、1024フレームで$4.14times$で削減し、キーバリューキャッシュを比例的に縮小し、トークンの復号遅延をほぼ一定に保つ。
  論文  参考訳（メタデータ） (2026-10-12T20:13:21Z)
• Don't Pause: Streaming Video-Language Synchrony for Online Video Understanding [69.296913137409]
  オンラインビデオ理解のための新しいパラダイム: SVLS(Streaming Video-Language Synchrony)を紹介する。 LyraVは、2つのコアイノベーションを備えた階層的なコントロールフレームワーク上に構築されたライブストリーミングアシスタントである。 まず、フレーム駆動トランジションコントローラ(FDTC)は、いつ話を続けるか、新しいレスポンスを開始するか、沈黙を保つか、といった、高レベルのセマンティックな決定を行います。 第二に、プラグアンドプレイの軽量予測モジュールであるStreaming Token Pacer (SToP)は、動的に言語生成率に適応し、視覚的コンテンツのペースにマッチする。
  論文  参考訳（メタデータ） (2026-06-05T07:29:20Z)
• VideoFlexTok: Flexible-Length Coarse-to-Fine Video Tokenization [19.140563809250214]
  VideoFlexTokは、粗い方法で構造化された可変長のトークンシーケンスでビデオを表現する。 生成フローデコーダは、任意のトークン数からリアルなビデオ再構成を可能にする。
  論文  参考訳（メタデータ） (2026-04-14T15:37:30Z)
• Small Vision-Language Models are Smart Compressors for Long Video Understanding [73.65465038390771]
  長時間のビデオ理解は、欲求に満ちたコンテキストではなく、意図駆動の効率に頼っている。 本稿では,下流の理解のために長い動画を圧縮する効率的なクエリ認識フレームワークであるTempoを提案する。 テストでは、Tempoが1時間のビデオを理論的限界以下に圧縮し、真のロングフォームビデオ理解が意図駆動の効率に依存することを示した。
  論文  参考訳（メタデータ） (2026-04-09T11:40:25Z)
• SnapMoGen: Human Motion Generation from Expressive Texts [15.011029344862445]
  SnapMoGenは、高精度で表現力のあるテキストアノテーションと組み合わせた高品質なモーションキャプチャーデータを備えた、新しいテキストモーションデータセットである。 データセットは、合計44時間の20Kのモーションクリップと、記述毎の48ワードの平均122Kの詳細なテキスト記述で構成されている。 私たちのモデルであるMoMask++は、モーションをマルチスケールのトークンシーケンスに変換し、トークンのキャパシティをよりよく活用します。
  論文  参考訳（メタデータ） (2025-07-12T02:54:59Z)
• Efficient Video Action Detection with Token Dropout and Context Refinement [67.10895416008911]
  効率的なビデオアクション検出(ViT)のためのエンドツーエンドフレームワークを提案する。 ビデオクリップでは、他のフレームからのアクターの動きに関連するトークンを保存しながら、その視点でトークンを維持する。 第二に、残ったトークンを利用してシーンコンテキストを洗練し、アクターのアイデンティティをよりよく認識する。
  論文  参考訳（メタデータ） (2023-04-17T17:21:21Z)
• Token Shift Transformer for Video Classification [34.05954523287077]
  トランスフォーマーは1次元信号と2次元信号の理解において顕著な成功を収める。 エンコーダは自然にペアワイズ・セルフアテンションのような計算集約的な操作を含む。 本稿では,各トランスエンコーダ内の時間関係をモデル化するためのToken Shift Module(TokShift)を提案する。
  論文  参考訳（メタデータ） (2021-08-05T08:04:54Z)
• DynamicViT: Efficient Vision Transformers with Dynamic Token Sparsification [134.9393799043401]
  入力に基づいて冗長なトークンを抽出する動的トークンスペーシフィケーションフレームワークを提案する。 入力トークンの66%を階層的にプルーニングすることで,FLOPの31%37%を大幅に削減し,スループットを40%以上向上する。 DynamicViTモデルは、ImageNetの最先端CNNやビジョントランスフォーマーと比較して、非常に競争力のある複雑性/精度のトレードオフを実現することができる。
  論文  参考訳（メタデータ） (2021-06-03T17:57:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。