論文の概要: V-LynX: Token Interface Alignment for Video+X LLMs

• arxiv url: http://arxiv.org/abs/2606.00508v1
• Date: Sat, 30 May 2026 03:54:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:28.497966
• Title: V-LynX: Token Interface Alignment for Video+X LLMs
• Title（参考訳）: V-LynX: Video+X LLMのためのトークンインタフェースアライメント
• Abstract要約: ビデオLLMは連続的な多様体、トークンインターフェースを確立し、視覚トークンをアーキテクチャ内の独立したエンティティとして動作させる。 本稿では,新しいモダリティをビデオLLMに組み込むスケーラブルなフレームワークであるV-LynXを提案する。 本手法は,注意応答と統計的分布を一致させることにより,新たな感覚入力と本質的なビデオ先行情報を統合する。
• 参考スコア（独自算出の注目度）: 47.65036144170475
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This study introduces an intriguing phenomenon in Video LLMs: rather than merely translating frames into textual embeddings, Video LLMs establish a continuous manifold, token interface, allowing visual tokens to operate as standalone entities within the architecture. Exploiting this discovery, we propose V-LynX, a scalable framework that integrates novel modalities into Video LLMs by repurposing the internalized interface. Departing from conventional paradigms that necessitate heavy modality-specific encoders or paired supervision, V-LynX employs a lightweight auxiliary pathway in parallel with the frozen vision encoder. Our method integrates new sensory inputs with intrinsic video priors by aligning both attention responses and statistical distributions using unpaired unimodal data sets. This ensures manifold compatibility while preserving the integrity of the Video LLMs. Extensive benchmarks demonstrate that V-LynX achieves SOTA and efficiency across audio-visual QA, 3D reasoning, high-frame-rate, and multi-view video understanding. The code is available at https://github.com/park-jungin/lynx.
• Abstract（参考訳）: ビデオLLMは、フレームをテキストの埋め込みに変換するのではなく、連続的な多様体、トークンインターフェースを構築し、視覚トークンをアーキテクチャ内の独立したエンティティとして動作させる。 本稿では,新しいモダリティをビデオLLMに組み込むスケーラブルなフレームワークであるV-LynXを提案する。 重いモダリティ固有のエンコーダやペア化された監督を必要とする従来のパラダイムとは別に、V-LynXは凍結した視覚エンコーダと並行して軽量な補助経路を使用する。 本手法は,不対意なデータ集合を用いて注意応答と統計的分布を一致させることにより,新しい感覚入力と本質的なビデオ先行情報を統合する。 これにより、ビデオLLMの完全性を維持しながら、多様体の互換性が保証される。 大規模なベンチマークでは、V-LynXは音声・視覚的QA、3D推論、高フレームレート、マルチビュービデオ理解においてSOTAと効率を達成している。 コードはhttps://github.com/park-jungin/lynx.comで公開されている。

関連論文リスト

• LinkedOut: Linking World Knowledge Representation Out of Video LLM for Next-Generation Video Recommendation [32.57236582010967]
  ビデオ大言語モデル(VLLM)は、インターネット規模のデータの事前学習を通じて、世界認知ビデオ理解を解放する。 本稿では,ビデオから直接VLLM世界の知識を抽出し,高速な推論を可能にするLinkedOutを提案する。 我々は、リッチなVLLM機能から適切な抽象化レベルを選択し、パーソナライズ、解釈可能、低レイテンシのレコメンデーションを可能にする層間知識融合MoEを導入する。
  論文  参考訳（メタデータ） (2025-12-18T18:52:18Z)
• DisCo: Towards Distinct and Coherent Visual Encapsulation in Video MLLMs [28.998923104606614]
  DisCoは、ビデオMLLMに対して意味的に区別され、時間的に一貫性のある視覚トークンを提供するために設計された視覚カプセル化手法である。 DisCoは、様々なビデオ理解ベンチマークで過去の最先端の手法を著しく上回っている。
  論文  参考訳（メタデータ） (2025-07-14T14:05:19Z)
• LazyVLM: Neuro-Symbolic Approach to Video Analytics [11.31655472476408]
  本稿では,視覚言語モデルに似たユーザフレンドリなクエリインタフェースを提供する,ニューロシンボリックビデオ分析システムであるLazyVLMを紹介する。 LazyVLMを使えば、ビデオデータを無駄にドロップして、複雑なマルチフレームビデオクエリを指定できる。 我々は、LazyVLMが、オープンドメインのビデオデータを大規模にクエリする、堅牢で、効率的で、ユーザフレンドリなソリューションを提供することを示した。
  論文  参考訳（メタデータ） (2025-05-27T17:31:17Z)
• STORM: Token-Efficient Long Video Understanding for Multimodal LLMs [116.4479155699528]
  STORMは、イメージエンコーダとビデオLLMの間に専用のテンポラリエンコーダを組み込んだ、新しいアーキテクチャである。 我々は,STORMが様々な長いビデオ理解ベンチマークにおいて最先端の結果を達成することを示す。
  論文  参考訳（メタデータ） (2025-03-06T06:17:38Z)
• Prior Knowledge Integration via LLM Encoding and Pseudo Event Regulation for Video Moment Retrieval [23.94611751368491]
  本稿では,大言語モデル(LLM)を一般知識の統合に活用し,擬似イベントを時間的コンテンツ配信の先駆けとして活用する可能性について検討する。 これらの制限を克服するために,デコーダの代わりにLLMエンコーダを提案する。 LLMエンコーダを既存のVMRアーキテクチャ、特に核融合モジュールに組み込むための一般的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-21T04:39:06Z)
• X-VILA: Cross-Modality Alignment for Large Language Model [91.96081978952283]
  X-VILAは、画像、ビデオ、オーディオのモダリティを組み込むことで、大きな言語モデル(LLM)の機能を拡張するために設計された、オールニモダリティモデルである。 視覚情報損失問題に対処するため,視覚埋め込みハイウェイモジュールを用いた視覚アライメント機構を提案する。 X-VILAは、あらゆるモダリティの会話に習熟し、それまでのアプローチを大きなマージンで上回っている。
  論文  参考訳（メタデータ） (2024-05-29T17:59:58Z)
• ST-LLM: Large Language Models Are Effective Temporal Learners [58.79456373423189]
  大規模言語モデル(LLM)は、テキストの理解と生成において印象的な能力を示した。 ビデオベースの対話システムでビデオを効果的にエンコードし、理解する方法は、まだ解決されていない。 LLM内部の時空間シーケンスをモデル化したビデオLLMベースラインST-LLMを提案する。
  論文  参考訳（メタデータ） (2024-03-30T10:11:26Z)
• Video Understanding with Large Language Models: A Survey [107.7736911322462]
  言語・マルチモーダルタスクにおける大規模言語モデル(LLM)の顕著な機能を考えると,近年の映像理解の進歩について概観する。 Vid-LLMの創発的能力は驚くほど進歩しており、特にオープンな多粒性推論能力がある。 本調査は,Vid-LLMのタスク,データセット,ベンチマーク,評価方法論に関する総合的研究である。
  論文  参考訳（メタデータ） (2023-12-29T01:56:17Z)
• VaQuitA: Enhancing Alignment in LLM-Assisted Video Understanding [63.075626670943116]
  本稿では,映像情報とテキスト情報の相乗効果を向上するための最先端フレームワークであるVaQuitAを紹介する。 データレベルでは、フレームを均一にサンプリングする代わりに、CLIPスコアランキングでガイドされるサンプリング手法を実装している。 機能レベルでは、Visual-Query Transformerと一緒にトレーニング可能なVideo Perceiverを統合します。
  論文  参考訳（メタデータ） (2023-12-04T19:48:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。