論文の概要: VisionWeave: Weaving Elastic Visual Representations as a Native Capability of MLLMs

• arxiv url: http://arxiv.org/abs/2610.07987v1
• Date: Tue, 06 Oct 2026 08:48:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.904798
• Title: VisionWeave: Weaving Elastic Visual Representations as a Native Capability of MLLMs
• Title（参考訳）: VisionWeave: MLLMのネイティブ機能としてElastic Visual Representationを織る
• Abstract要約: VisionWeaveは、視覚的な表現をどの粒度に割り当てるかを学習し、エンドツーエンドで学習するネイティブ機能である。 提案手法では,平均TTFTを54.4%,TPOTを60.6%削減しながら2.3倍のスループット向上を実現している。 これらの結果は、次世代マルチモーダルモデルにおいて、弾性的なビジュアルウィービングが有望な能力として位置づけられていると信じている。
• 参考スコア（独自算出の注目度）: 47.3409269653792
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal large language models have become the dominant paradigm for visual understanding, but incur substantial costs by encoding inputs into dense, fixed-size patch tokens. However, visual information is unevenly distributed: some regions require fine-grained detail, while others admit compact representations. Downsampling sacrifices this detail, while existing token pruning and adaptive approaches remain limited in content-adaptive granularity, task generalization, and integration with modern MLLMs and serving infrastructure. Overcoming these limitations calls for foundation models that learn, end to end, where-and at what granularity-to allocate visual representations, a native capability we term elastic visual representation weaving. We introduce VisionWeave, establishing this capability in frontier-level MLLMs through large-scale training. It combines two components: a gated spatial pooler constructs coarse-grained representations alongside native fine-grained representations within a shared MRoPE coordinate, while a granularity router learns their content-adaptive allocation. Through self-distillation alone, we validate this capability on Qwen3.5-4B and scale to Qwen3.8-27B with over 30K A100 GPU-hours. Based on Qwen3.8-27B, VisionWeave adaptively adjusts token savings to visual content, saving 43.0% tokens on average while retaining 98.9% native performance across eight benchmarks, versus only 88% performance preserved for token pruning baselines with a fixed 50% savings target. Extensive evaluations confirm robust efficiency-quality trade-offs across diverse tasks, resolutions and video frames. When deployed on SGLang serving engine, our method achieves a 2.3x throughput gain while reducing mean TTFT by 54.4% and mean TPOT by 60.6%. Together, we believe these results position elastic visual weaving as a promising capability for next-generation multimodal models.
• Abstract（参考訳）: マルチモーダルな大規模言語モデルは視覚的理解において支配的なパラダイムとなっているが、入力を密度の高い固定サイズのパッチトークンにエンコードすることでかなりのコストがかかる。 しかし、視覚情報は不均一に分布しており、いくつかの領域は細かな詳細を必要とするが、他の領域はコンパクトな表現を認めている。 既存のトークンプルーニングとアダプティブアプローチは、コンテンツ適応的な粒度、タスクの一般化、モダンMLLMとの統合、およびサービスインフラストラクチャに制限されている。 これらの制限を克服するためには、視覚的な表現をどの粒度に割り当てるかを学習し、エンドツーエンドで学習する基盤モデルが必要です。 VisionWeaveを導入し、大規模なトレーニングを通じてフロンティアレベルのMLLMでこの機能を確立する。 ゲート空間プーラは、共有MRoPE座標内でネイティブな粒度表現と並んで粗い粒度表現を構成し、粒度ルータはコンテンツ適応的アロケーションを学習する。 自己蒸留だけで、この能力をQwen3.5-4Bで検証し、30K A100 GPU-hoursでQwen3.8-27Bにスケールする。 Qwen3.8-27Bに基づいて、VisionWeaveは、トークンの保存を視覚的コンテンツに適応的に調整し、平均で43.0%のトークンを保存し、8つのベンチマークで98.9%のネイティブパフォーマンスを維持している。 広範囲な評価により、様々なタスク、解像度、ビデオフレームにわたる堅牢な効率品質のトレードオフが確認されている。 SGLangサービスエンジンにデプロイすると,平均TTFTを54.4%,TPOTを60.6%削減し,スループットが2.3倍向上する。 これらの結果は、次世代マルチモーダルモデルにおいて、弾性的なビジュアルウィービングが有望な能力として位置づけられていると信じている。

関連論文リスト

• GleanVID: Complementary Token Selection for Efficient Video Large Language Models [38.60858766838781]
  本稿では,ビデオLLMのためのトレーニングフリー推論アクセラレーションフレームワークであるGleanVIDを紹介する。 GleanVIDは、まず、時間的ノベルティに従ってフレーム間でグローバルトークン予算を割り当て、次いで、局所的な代表性と部分空間の相補性を共同で考慮してトークンを選択する。 さまざまなVideoLLMとベンチマークによる実験は、GleanVIDが一貫して最先端のパフォーマンスを実現していることを示している。
  論文  参考訳（メタデータ） (2026-09-29T08:50:57Z)
• Prune Redundancy, Preserve Essence: Vision Token Compression in VLMs via Synergistic Importance-Diversity [54.95089105944234]
  視覚言語モデル(VLM)は、過剰な視覚トークンの生成によって引き起こされる計算の非効率性に直面する。 2段階パイプラインを特徴とする訓練不要なSynergistic Importance-DiversityアプローチPruneSIDを提案する。 LLaVA-NeXTでは11.1%のトークン保持率で96.3%の精度、極端な圧縮速度(5.6%)で92.8%の精度を実現した。
  論文  参考訳（メタデータ） (2026-03-10T10:31:58Z)
• IDPruner: Harmonizing Importance and Diversity in Visual Token Pruning for MLLMs [11.254129271889035]
  視覚トークンのプルーニングはMLLM推論を加速させる重要な手法として登場した。 IDPrunerは最先端のパフォーマンスを実現し、様々なアーキテクチャやタスクにまたがる優れた一般化を実現している。
  論文  参考訳（メタデータ） (2026-02-10T11:20:24Z)
• ViCA: Efficient Multimodal LLMs with Vision-Only Cross-Attention [22.397648349603696]
  ViCAは最小限のMLLMアーキテクチャであり、視覚トークンはすべての自己注意層とフィードフォワード層をバイパスし、選択された層での疎相互注意によってのみテキストと対話する。 ViCAは、ベースライン精度の98%を保ちながら、視覚面を4%に減らし、常に優れた性能と効率のトレードオフを達成している。
  論文  参考訳（メタデータ） (2026-02-07T14:46:05Z)
• Nüwa: Mending the Spatial Integrity Torn by VLM Token Pruning [82.39668822222386]
  ビジョントークンプルーニングは、効率的なビジョン言語モデル(VLM)のための効果的なアクセラレーション手法であることが証明された。 空間的整合性を維持しつつ,効率的な特徴集約を実現するための2段階のトークンプルーニングフレームワークである$textNwa$を提案する。 実験によると、textNwa$は複数のVQAベンチマーク(94%から95%)でSOTAのパフォーマンスを達成し、視覚的グラウンドタスク(7%から47%)を大幅に改善している。
  論文  参考訳（メタデータ） (2026-02-03T00:51:03Z)
• Skip-Vision: Efficient and Scalable Acceleration of Vision-Language Models via Adaptive Token Skipping [13.846838416902575]
  重要なボトルネックは、きめ細かい画像理解に必要な視覚トークンの拡散に起因する。 視覚言語モデルにおけるトレーニングと推論の非効率性に対処する統合フレームワークであるSkip-Visionを提案する。 実験の結果,Skip-Visionはトレーニング時間を最大35%短縮し,FLOPを75%,レイテンシを45%短縮した。
  論文  参考訳（メタデータ） (2025-03-26T04:16:48Z)
• ULTra: Unveiling Latent Token Interpretability in Transformer-Based Understanding and Segmentation [14.84547724351634]
  ULTraはトランスフォーマーの埋め込みを解釈し、意味のある意味的パターンを明らかにするためのフレームワークである。 モデルを変更することなく外部変換行列を学習し,セグメンテーション性能を向上する自己教師型トレーニング手法を提案する。 我々は、オブジェクト選択や解釈可能なテキスト要約を含む、合成シナリオと実世界のシナリオの両方において、モデル解釈のためのULTraを検証する。
  論文  参考訳（メタデータ） (2024-11-15T19:36:50Z)
• Pink: Unveiling the Power of Referential Comprehension for Multi-modal LLMs [49.88461345825586]
  本稿では,MLLMの微細な画像理解能力を高めるための新しい枠組みを提案する。 本稿では,既存のデータセットのアノテーションを活用して,命令チューニングデータセットを低コストで構築する手法を提案する。 本研究では,Qwen-VLよりも5.2%精度が向上し,Kosmos-2の精度が24.7%向上したことを示す。
  論文  参考訳（メタデータ） (2023-10-01T05:53:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。