論文の概要: VRoPE: Rotary Position Embedding for Video Large Language Models

• arxiv url: http://arxiv.org/abs/2502.11664v1
• Date: Mon, 17 Feb 2025 10:53:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:11:55.347911
• Title: VRoPE: Rotary Position Embedding for Video Large Language Models
• Title（参考訳）: VRoPE:ビデオ大言語モデルのためのロータリー位置埋め込み
• Authors: Zikang Liu, Longteng Guo, Yepeng Tang, Junxian Cai, Kai Ma, Xi Chen, Jing Liu,
• Abstract要約: テキストベース大規模言語モデル(LLM)における位置埋め込み(RoPE)の性能は高い。 RoPE-3Dのようなビデオ適応は、空間次元と時間次元を別々に符号化しようとするが、2つの大きな制限に悩まされる。 ビデオLLMに適した新しい位置符号化法である位置ロータリー埋め込み(VRoPE)を提案する。
• 参考スコア（独自算出の注目度）: 14.292586301871196
• License:
• Abstract: Rotary Position Embedding (RoPE) has shown strong performance in text-based Large Language Models (LLMs), but extending it to video remains a challenge due to the intricate spatiotemporal structure of video frames. Existing adaptations, such as RoPE-3D, attempt to encode spatial and temporal dimensions separately but suffer from two major limitations: positional bias in attention distribution and disruptions in video-text transitions. To overcome these issues, we propose Video Rotary Position Embedding (VRoPE), a novel positional encoding method tailored for Video-LLMs. Our approach restructures positional indices to preserve spatial coherence and ensure a smooth transition between video and text tokens. Additionally, we introduce a more balanced encoding strategy that mitigates attention biases, ensuring a more uniform distribution of spatial focus. Extensive experiments on Vicuna and Qwen2 across different model scales demonstrate that VRoPE consistently outperforms previous RoPE variants, achieving significant improvements in video understanding, temporal reasoning, and retrieval tasks. Code will be available at https://github.com/johncaged/VRoPE
• Abstract（参考訳）: RoPE (Rotary Position Embedding) はテキストベースのLarge Language Models (LLMs) において高い性能を示したが、ビデオフレームの複雑な時空間構造のためにビデオに拡張することは依然として困難である。 RoPE-3Dのような既存の適応は、空間次元と時間次元を別々にエンコードしようとするが、注意分布における位置バイアスとビデオテキスト遷移における破壊という2つの大きな制限に悩まされる。 これらの課題を克服するために,ビデオLLMに適した新しい位置符号化手法であるVRoPE(Video Rotary Position Embedding)を提案する。 提案手法は位置指標を再構成して空間的コヒーレンスを維持し,ビデオトークンとテキストトークン間のスムーズな遷移を確保する。 さらに、よりバランスの取れた符号化戦略を導入し、注意バイアスを緩和し、空間焦点のより均一な分布を確保する。 異なるモデルスケールにわたるVicunaとQwen2の大規模な実験は、VRoPEが従来のRoPEよりも一貫して優れており、ビデオ理解、時間的推論、検索タスクにおいて大幅に改善されていることを示している。 コードはhttps://github.com/johncaged/VRoPEで入手できる。

関連論文リスト

• LongVU: Spatiotemporal Adaptive Compression for Long Video-Language Understanding [65.46303012350207]
  LongVUは、長いビデオの視覚的詳細を保存しながら、ビデオトークンの数を減らす適応圧縮機構である。 DINOv2の機能を利用して、高い類似性を示す冗長なフレームを削除します。 時間的依存関係に基づいて,フレーム間の空間トークン削減を行う。
  論文  参考訳（メタデータ） (2024-10-22T21:21:37Z)
• Comment-aided Video-Language Alignment via Contrastive Pre-training for Short-form Video Humor Detection [29.287017615414314]
  CVLA(Commitment-Aided Video-Language Alignment)という,短時間のビデオユーモア検出のための新しいモデルを提案する。 CVLAは様々なモーダルチャネルにまたがる生信号で動作するが、一貫したセマンティック空間内にビデオと言語コンポーネントを整列させることにより、適切なマルチモーダル表現が得られる。 DY11kとUR-FUNNYを含む2つのユーモア検出データセットの実験結果は、CVLAが最先端といくつかの競合するベースラインアプローチを劇的に上回っていることを示している。
  論文  参考訳（メタデータ） (2024-02-14T10:05:19Z)
• Video-LaVIT: Unified Video-Language Pre-training with Decoupled Visual-Motional Tokenization [52.63845811751936]
  ダイナミックスビデオのモデリングのため、ビデオ事前トレーニングは難しい。 本稿では,ビデオ事前学習におけるこのような制限を,効率的なビデオ分解によって解決する。 筆者らのフレームワークは,13のマルチモーダルベンチマークにおいて,画像と映像のコンテントの理解と生成が可能であることを実証した。
  論文  参考訳（メタデータ） (2024-02-05T16:30:49Z)
• SEINE: Short-to-Long Video Diffusion Model for Generative Transition and Prediction [93.26613503521664]
  本稿では、生成遷移と予測に焦点をあてた、短時間から長期のビデオ拡散モデルSEINEを提案する。 テキスト記述に基づく遷移を自動的に生成するランダムマスクビデオ拡散モデルを提案する。 我々のモデルは、コヒーレンスと視覚的品質を保証するトランジションビデオを生成する。
  論文  参考訳（メタデータ） (2023-10-31T17:58:17Z)
• TESTA: Temporal-Spatial Token Aggregation for Long-form Video-Language Understanding [20.16000249533665]
  TESTAは、似たようなフレームを適応的に集約することで、ビデオセマンティクスを凝縮する。 TESTAに基づいて,各ビデオブロックに分割した時空トークン集約モジュールを備えた事前学習ビデオ言語モデルを導入する。 段落間検索と長文ビデオQAタスクのための5つのデータセットを用いて,本モデルの評価を行った。
  論文  参考訳（メタデータ） (2023-10-29T16:25:32Z)
• DynVideo-E: Harnessing Dynamic NeRF for Large-Scale Motion- and View-Change Human-Centric Video Editing [48.086102360155856]
  本稿では,革新的映像表現として動的ニューラルラジアンス場(NeRF)を紹介する。 本稿では,一貫した編集が可能な画像ベースビデオNeRF編集パイプラインを提案する。 我々の手法はDynVideo-Eと呼ばれ、2つの挑戦的データセットに対するSOTAのアプローチを、人間の好みに対して50%の差で大幅に上回っている。
  論文  参考訳（メタデータ） (2023-10-16T17:48:10Z)
• Towards Video Anomaly Retrieval from Video Anomaly Detection: New Benchmarks and Model [70.97446870672069]
  ビデオ異常検出(VAD)はその潜在的な応用により注目されている。 Video Anomaly Retrieval (VAR)は、関連のある動画をモダリティによって実用的に検索することを目的としている。 一般的な異常データセットの上に構築されたUCFCrime-ARとXD-Violenceの2つのベンチマークを示す。
  論文  参考訳（メタデータ） (2023-07-24T06:22:37Z)
• Transform-Equivariant Consistency Learning for Temporal Sentence Grounding [66.10949751429781]
  ビデオ毎により差別的な表現を学習するために,新しい同変一貫性規則学習フレームワークを導入する。 私たちのモチベーションは、クエリ誘導アクティビティの時間的境界を一貫して予測することにある。 特に,ビデオの完全性と滑らか性を高めるために,自己教師付き一貫性損失モジュールを考案した。
  論文  参考訳（メタデータ） (2023-05-06T19:29:28Z)
• Towards Robust Referring Video Object Segmentation with Cyclic Relational Consensus [42.14174599341824]
  Referring Video Object (R-VOS) は、言語表現に基づくビデオ内のオブジェクトのセグメンテーションを目的とした課題である。 既存のほとんどのR-VOSメソッドは重要な仮定を持ち、参照されるオブジェクトはビデオに表示されなければならない。 本研究では,意味的ミスマッチを扱えるロバストなR-VOSモデルの必要性を強調した。
  論文  参考訳（メタデータ） (2022-07-04T05:08:09Z)
• Stand-Alone Inter-Frame Attention in Video Models [164.06137994796487]
  フレーム間アテンションブロック,すなわちスタンドアローン時空間アテンション(SIFA)の新たなレシピを提案する。 SIFAは、2つのフレームの違いによってオフセット予測を再スケーリングすることで、変形可能な設計を再構築する。 さらに、SIFAブロックをConvNetsとVision Transformerにプラグインし、SIFA-NetとSIFA-Transformerを考案する。
  論文  参考訳（メタデータ） (2022-06-14T15:51:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。