論文の概要: Rethinking Token Reduction in MLLMs: Towards a Unified Paradigm for Training-Free Acceleration

• arxiv url: http://arxiv.org/abs/2411.17686v1
• Date: Tue, 26 Nov 2024 18:53:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-27 13:34:36.780820
• Title: Rethinking Token Reduction in MLLMs: Towards a Unified Paradigm for Training-Free Acceleration
• Title（参考訳）: MLLMにおけるトークン削減の再考 : 学習自由加速のための統一パラダイムを目指して
• Authors: Yuhang Han, Xuyang Liu, Pengxiang Ding, Donglin Wang, Honggang Chen, Qingsen Yan, Siteng Huang,
• Abstract要約: 本研究は,無訓練トークン還元研究の現況を再考する。 トークン還元を3つの異なる段階に分解する「フィルタ相関圧縮」パラダイムを提案する。 10のベンチマークでの実験結果から,本手法は最大82.4%のFLOP削減が可能であることが示唆された。
• 参考スコア（独自算出の注目度）: 31.50005609235654
• License:
• Abstract: To accelerate the inference of heavy Multimodal Large Language Models (MLLMs), this study rethinks the current landscape of training-free token reduction research. We regret to find that the critical components of existing methods are tightly intertwined, with their interconnections and effects remaining unclear for comparison, transfer, and expansion. Therefore, we propose a unified ''filter-correlate-compress'' paradigm that decomposes the token reduction into three distinct stages within a pipeline, maintaining consistent design objectives and elements while allowing for unique implementations. We additionally demystify the popular works and subsume them into our paradigm to showcase its universality. Finally, we offer a suite of methods grounded in the paradigm, striking a balance between speed and accuracy throughout different phases of the inference. Experimental results across 10 benchmarks indicate that our methods can achieve up to an 82.4% reduction in FLOPs with a minimal impact on performance, simultaneously surpassing state-of-the-art training-free methods. Our project page is at https://ficoco-accelerate.github.io/.
• Abstract（参考訳）: 本研究は,MLLM(ヘビーマルチモーダル大規模言語モデル)の推論を高速化するために,学習自由トークン削減研究の現在の状況を再考する。 既存の手法の臨界成分が密接に絡み合っており、その相互接続や効果が比較、転送、拡張に不明瞭であることに後悔する。 そこで我々は,一貫した設計目標と要素を維持しつつ,一貫した実装を実現しつつ,トークンの削減をパイプライン内の3つの異なるステージに分解する「フィルタ相関圧縮」パラダイムを提案する。 さらに、ポピュラーな作品をデミスティフィケーションし、その普遍性を示すために、私たちのパラダイムにそれらをサブスクライブします。 最後に、このパラダイムに根ざした一連の手法を提供し、推論の異なるフェーズで速度と精度のバランスをとる。 10ベンチマークでの実験結果から, FLOPの最大82.4%の削減が可能であり, 性能への影響は最小限であり, 同時に最先端のトレーニングフリー手法を超越していることがわかった。 私たちのプロジェクトページはhttps://ficoco-accelerate.github.io/です。

関連論文リスト

• FTP: A Fine-grained Token-wise Pruner for Large Language Models via Token Routing [17.01412432658081]
  大規模言語モデル(LLM)は、法則を拡張することによって、様々なタスクにおいて優れた性能を示す。 重要でないトークンを適応的に識別する学習可能なルータを提案する。 提案手法は,既存の刈り込み手法を超越して,最先端(SOTA)刈り込み結果を実現する。
  論文  参考訳（メタデータ） (2024-12-16T07:09:46Z)
• ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
  ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。 巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
  論文  参考訳（メタデータ） (2024-12-11T12:31:30Z)
• Efficient Diffusion as Low Light Enhancer [63.789138528062225]
  RATR(Reflectance-Aware Trajectory Refinement)は、イメージの反射成分を用いて教師の軌跡を洗練するための、シンプルで効果的なモジュールである。 textbfReDDiT (textbfDistilled textbfTrajectory) は低照度画像強調(LLIE)に適した効率的で柔軟な蒸留フレームワークである。
  論文  参考訳（メタデータ） (2024-10-16T08:07:18Z)
• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• BECLR: Batch Enhanced Contrastive Few-Shot Learning [1.450405446885067]
  教師なしの少数ショット学習は、トレーニング時にアノテーションへの依存を捨てることで、このギャップを埋めようとしている。 本稿では,高度に分離可能な潜在表現空間を促進するために,新しい動的クラスタ mEmory (DyCE) モジュールを提案する。 そして、数ショットの推論段階でサンプルバイアスの問題に取り組みます。
  論文  参考訳（メタデータ） (2024-02-04T10:52:43Z)
• Streaming LifeLong Learning With Any-Time Inference [36.3326483579511]
  本稿では,1回の入力サンプルが各タイムステップ,シングルパス,クラスインクリメンタル,任意のタイミングで評価対象に到達する,新たな生涯学習手法を提案する。 また,スナップショット自己蒸留方式の暗黙正則化器を提案する。 我々の経験的評価と改善は,提案手法が先行研究を大きなマージンで上回ることを示すものである。
  論文  参考訳（メタデータ） (2023-01-27T18:09:19Z)
• Isolation and Impartial Aggregation: A Paradigm of Incremental Learning without Interference [61.11137714507445]
  本稿では,インクリメンタルラーニングの段階におけるパフォーマンスの不均衡について論じる。 ステージアイソレーションに基づくインクリメンタルラーニングフレームワークを提案する。 提案手法を4つの大規模ベンチマークで評価した。
  論文  参考訳（メタデータ） (2022-11-29T06:57:48Z)
• Few-shot Action Recognition with Prototype-centered Attentive Learning [88.10852114988829]
  2つの新しい構成要素からなるプロトタイプ中心型注意学習(pal)モデル。 まず,従来のクエリ中心学習目標を補完するために,プロトタイプ中心のコントラスト学習損失を導入する。 第二に、PALは注意深いハイブリッド学習機構を統合しており、アウトレーヤの負の影響を最小限に抑えることができる。
  論文  参考訳（メタデータ） (2021-01-20T11:48:12Z)
• A Simple but Tough-to-Beat Data Augmentation Approach for Natural Language Understanding and Generation [53.8171136907856]
  カットオフと呼ばれる、シンプルで効果的なデータ拡張戦略のセットを紹介します。 カットオフはサンプリング一貫性に依存しているため、計算オーバーヘッドが少なくなる。 cutoffは、敵のトレーニングを一貫して上回り、IWSLT2014 German- English データセットで最先端の結果を達成する。
  論文  参考訳（メタデータ） (2020-09-29T07:08:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。