論文の概要: Linear Multi-Timescale Retention as a Memory-Efficient Vision-Language Bridge
- arxiv url: http://arxiv.org/abs/2608.01614v1
- Date: Mon, 03 Aug 2026 02:43:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:25.301615
- Title: Linear Multi-Timescale Retention as a Memory-Efficient Vision-Language Bridge
- Title（参考訳）: メモリ効率の良いビジョンランゲージブリッジとしての線形多時間保持
- Abstract要約: VLM(Vision-Language Models)は高解像度画像処理において重要な計算ボトルネックに直面している。
メモリ効率の良いクロスモーダルブリッジであるLIA-MTR(Linear Multi-Timescale Retention)モジュールを提案する。
- 参考スコア（独自算出の注目度）: 3.7851234061033856
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision-Language Models (VLMs) face a critical computational bottleneck when processing high-resolution imagery due to the $O(N^2)$ memory complexity of Softmax Multi-Head Attention (MHA). While substituting MHA with independent Multi-Layer Perceptrons (MLPs) achieves $O(N)$ scaling, it strips the architecture of spatial sequence routing, severely degrading global scene understanding and object permanence. In this paper, we propose the Linear Multi-Timescale Retention (LIA-MTR) module, a memory-efficient cross-modal bridge. By integrating an ELU-based positive feature mapping with adaptive write-gating and log-linearly distributed recurrent decays, LIA-MTR mathematically compresses continuous visual sequences into bounded memory states. Theoretical analysis proves the architecture operates with strict $O(N)$ sequence-interaction complexity. Empirically, synthetic retrieval evaluations demonstrate that LIA-MTR flawlessly routes context across 16,000 tokens, eliminating the "Lost in the Middle" degradation typical of naive linear attention. Hardware benchmarking reveals infinite-context scaling capabilities, natively processing 262,144 visual patches within an 11.2 GB VRAM footprint, whereas standard MHA suffers out-of-memory failure at 16,384 patches. Furthermore, following instruction tuning on 665K conversational samples, LIA-MTR significantly outperforms an industry-standard MLP baseline on the MME benchmark (71.00% vs. 68.11%), driven by a 10% absolute improvement in object permanence and superior global semantic extraction. This work establishes a mathematically rigorous, computationally flat foundation for infinite-context Vision-Language integration.
- Abstract（参考訳）: Vision-Language Models (VLM) は、Softmax Multi-Head Attention (MHA) の$O(N^2)$メモリの複雑さのために高解像度画像を処理する際に、重要な計算ボトルネックに直面している。
MHAを独立したMulti-Layer Perceptrons (MLPs) に置換すると、O(N)$スケーリングが達成されるが、空間シーケンスルーティングのアーキテクチャは取り除かれ、グローバルなシーン理解とオブジェクト永続性が著しく低下する。
本稿では,メモリ効率の良いクロスモーダルブリッジであるLIA-MTRモジュールを提案する。
適応的な書き込みゲーティングと対数線形分布の繰り返し減衰とELUベースの正の特徴マッピングを統合することで、IA-MTRは連続的な視覚的シーケンスを有界メモリ状態に数学的に圧縮する。
理論的解析は、アーキテクチャが厳密な$O(N)$シーケンス-相互作用複雑性で機能することを証明している。
経験的に、合成検索評価では、IA-MTRは16,000個のトークンに不完全にコンテキストをルーティングし、単純線形注意の典型的な「中間の失われた」劣化を排除している。
ハードウェアベンチマークでは、11.2GBのVRAMフットプリント内で262,144の視覚的パッチをネイティブに処理するなど、無限コンテキストのスケーリング機能を明らかにしている。
さらに、665Kの会話サンプルの命令チューニングに続いて、IA-MTRはMMEベンチマーク(71.00%対68.11%)で業界標準のMLPベースラインを著しく上回り、オブジェクトの永続性と優れたグローバルセマンティック抽出が10%向上した。
この研究は、無限コンテキストビジョン・ランゲージ統合のための数学的に厳密で計算的に平坦な基礎を確立する。
関連論文リスト
- Omni2LoRA: Coherence-Preserving Parametric Memory for Efficient Omni Language Models [65.49950267695267]
我々はコヒーレンス保存コンテクスト蒸留によるパラメトリックメモリの効率的な圧縮フレームワークであるOmni2LoRAを紹介する。
本手法は,マルチモーダルメモリを固定予算で再利用可能なパラメータ状態に変換することにより,応答時間のマルチモーダルトーケン負荷をゼロにする。
論文 参考訳（メタデータ） (2026-08-10T07:49:10Z) - SAB-LVLM: Significance-Aware Binarization for Large Vision-Language Models [75.75091459417304]
LVLM(Large Vision-Language Models)はマルチモーダル理解において顕著な進歩を遂げている。
LVLMはメモリと遅延のオーバーヘッドをかなり発生させ、リソース制約のあるデバイスへの実際のデプロイメントを著しく制限する。
本稿では,ストレージと計算コストを大幅に削減するバイナライズ手法を提案する。
論文 参考訳（メタデータ） (2026-07-02T08:30:00Z) - Tempus: A Temporally Scalable Resource-Invariant GEMM Streaming Framework for Versal AI Edge [0.0]
本稿では,AMD Versal AI Edgeシステムのためのリソース不変時GEMMフレームワークを提案する。
我々はTempusが10.677Wのオンチップパワーで607GOPSを達成したことを示す。
我々はまた、Tempusが先頭空間SOTA(ARIES)よりも211.2倍高いプロミネンス係数を達成することを証明した。
論文 参考訳（メタデータ） (2026-05-01T09:28:34Z) - MAny: Merge Anything for Multimodal Continual Instruction Tuning [52.50936513604062]
textbfMAny(textbfMAny)は、textbfCross-modal textbfProjection textbfMergingを通じてタスク固有の知識を統合するフレームワークである。
textbfLow-rank textbfParameter textbfMerging (textbfLPM)
論文 参考訳（メタデータ） (2026-04-15T15:57:23Z) - DexWorldModel: Causal Latent World Modeling towards Automated Learning of Embodied Tasks [54.32016216994156]
本稿では,DINOv3特徴を生成対象として用い,視覚ノイズから相互作用意味を乱す因果潜在世界モデル(CLWM)を提案する。
メモリスケーリングを克服するため、CLWMはDual-State Test-Time Training (TTT)メモリを備えている。
EmbodiChainは、トレーニング中に物理基底軌道の無限の流れを注入することによって効率法を確立するオンラインフレームワークである。
論文 参考訳（メタデータ） (2026-04-13T03:19:36Z) - CAWN: Continuous Acoustic Wave Networks for Autoregressive Language Modeling [46.16066322190728]
完全連続配列混合アーキテクチャであるCAWN(Continuous Acoustic Wave Network)を導入する。
CAWNは離散行列ベースの注意を代わりに、多面体複素ドメインファサーに隠された状態を計画している。
超長コンテキスト上での信号劣化を防止するため,デュアルゲート選択位相共振機構を導入する。
論文 参考訳（メタデータ） (2026-04-05T20:13:22Z) - Beyond Short-Horizon: VQ-Memory for Robust Long-Horizon Manipulation in Non-Markovian Simulation Benchmarks [96.60530830276281]
RuleSafeは、スケーラブルなLLM支援シミュレーションフレームワーク上に構築された、新しいオペレーティングベンチマークである。
VQ-Memoryはベクトル量子化変分オートエンコーダを用いたコンパクトで構造化された時間表現である。
論文 参考訳（メタデータ） (2026-03-10T11:13:54Z) - MSA: Memory Sparse Attention for Efficient End-to-End Memory Model Scaling to 100M Tokens [38.762431789628074]
メモリスパース注意(MSA:Memory Sparse Attention)は、エンドツーエンドのトレーニング可能で、効率的で、非常にスケーラブルなメモリモデルフレームワークである。
MSAは、例外的な安定性を維持しながら、トレーニングと推論の両方において線形複雑性を実現する。
また,分散メモリセグメント間の複雑なマルチホップ推論を容易にするメモリインターリービングを提案する。
論文 参考訳（メタデータ） (2026-03-06T02:29:54Z) - LoGeR: Long-Context Geometric Reconstruction with Hybrid Memory [97.14005794889134]
提案するLoGeRは,高密度な3次元再構成を,後最適化なしで極めて長いシーケンスに拡張する新しいアーキテクチャである。
LoGeRはビデオストリームをチャンクで処理し、高忠実度なチャンク内推論に強力な双方向の事前処理を活用する。
このメモリアーキテクチャにより、LoGeRは128フレームのシーケンスでトレーニングでき、推論中に数千フレームまで一般化できる。
論文 参考訳（メタデータ） (2026-03-03T18:55:37Z) - Multiscale Aggregated Hierarchical Attention (MAHA): A Game Theoretic and Optimization Driven Approach to Efficient Contextual Modeling in Large Language Models [0.0]
マルチスケール集約階層的注意(MAHA)は、階層的分解と数学的に厳密な集約を通じて注意機構を再構築する新しいアーキテクチャフレームワークである。
MAHAは、入力シーケンスを学習可能なダウンサンプリング演算子を介して階層スケールに動的に分割する。
実験的なFLOP解析により,4096のシークエンス長で計算コストが81%削減されたことが確認された。
論文 参考訳（メタデータ） (2025-12-16T21:27:21Z) - UniMRSeg: Unified Modality-Relax Segmentation via Hierarchical Self-Supervised Compensation [104.59740403500132]
マルチモーダルイメージセグメンテーションは、不完全/破損したモダリティの劣化による実際のデプロイメント課題に直面している。
階層型自己教師型補償(HSSC)による統一Modality-relaxセグメンテーションネットワーク(UniMRSeg)を提案する。
我々のアプローチは、入力レベル、特徴レベル、出力レベルをまたいだ完全なモダリティと不完全なモダリティの間の表現ギャップを階層的に橋渡しします。
論文 参考訳（メタデータ） (2025-09-19T17:29:25Z) - A Training-free Sub-quadratic Cost Transformer Model Serving Framework With Hierarchically Pruned Attention [43.211427581302715]
大規模言語モデルにおける文脈長を増大させるため,HiP(Hierarchically Pruned Attention)を提案する。
HiPは注意機構の時間的複雑さを$O(T log T)$に減らし、空間的複雑さを$O(T)$に減らし、$T$はシーケンス長である。
HiPは, 劣化を最小限に抑えつつ, プリフィルとデコードの両方のレイテンシとメモリ使用率を著しく低減することを示す。
論文 参考訳（メタデータ） (2024-06-14T08:32:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。