論文の概要: MOOSComp: Improving Lightweight Long-Context Compressor via Mitigating Over-Smoothing and Incorporating Outlier Scores

• arxiv url: http://arxiv.org/abs/2504.16786v1
• Date: Wed, 23 Apr 2025 15:02:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 15:41:38.868536
• Title: MOOSComp: Improving Lightweight Long-Context Compressor via Mitigating Over-Smoothing and Incorporating Outlier Scores
• Title（参考訳）: MOOSComp:Over-SmoothingとIncorporating Outlier Scoresによる軽量長調圧縮機の改良
• Authors: Fengwei Zhou, Jiafei Song, Wenjin Jason Li, Gengjian Xue, Zhikang Zhao, Yichao Lu, Bailin Na,
• Abstract要約: MOOSCompはトークン分類に基づく長文圧縮方式である。 タスク非依存圧縮において破棄されがちな希少だが重要なトークンを保存するために、外れ値を導入する。 本手法は,資源制約されたモバイルデバイス上での4倍圧縮率で3.3倍の高速化を実現する。
• 参考スコア（独自算出の注目度）: 5.893964327109089
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in large language models have significantly improved their ability to process long-context input, but practical applications are challenged by increased inference time and resource consumption, particularly in resource-constrained environments. To address these challenges, we propose MOOSComp, a token-classification-based long-context compression method that enhances the performance of a BERT-based compressor by mitigating the over-smoothing problem and incorporating outlier scores. In the training phase, we add an inter-class cosine similarity loss term to penalize excessively similar token representations, thereby improving the token classification accuracy. During the compression phase, we introduce outlier scores to preserve rare but critical tokens that are prone to be discarded in task-agnostic compression. These scores are integrated with the classifier's output, making the compressor more generalizable to various tasks. Superior performance is achieved at various compression ratios on long-context understanding and reasoning benchmarks. Moreover, our method obtains a speedup of 3.3x at a 4x compression ratio on a resource-constrained mobile device.
• Abstract（参考訳）: 大規模言語モデルの最近の進歩は、長文入力の処理能力を大幅に向上させたが、特に資源制約環境において、推論時間と資源消費の増加により、実用的な応用が課題となっている。 これらの課題に対処するため,トークン分類に基づく長文圧縮手法MOOSCompを提案する。 トレーニングフェーズでは、クラス間コサイン類似度損失項を追加して、過度に類似したトークン表現をペナルティ化し、トークン分類精度を向上させる。 圧縮段階では,タスク非依存の圧縮において破棄されがちな希少かつ重要なトークンを保存するために,外れ値スコアを導入する。 これらのスコアは分類器の出力と統合され、圧縮器は様々なタスクに対してより一般化される。 長文理解と推論のベンチマークにおいて,様々な圧縮比で上位性能が達成される。 さらに,資源制約されたモバイルデバイス上での圧縮率を4倍にすることで,3.3倍の高速化を実現する。

関連論文リスト

• Cognitive Chunking for Soft Prompts: Accelerating Compressor Learning via Block-wise Causal Masking [28.492055407384495]
  長期のコンテキストは、自己注意の計算コストがシークエンスの長さと2次的に増加するにつれて、推論遅延を増大させる。 既存のメソッドは通常、コンテキスト全体を無差別にメモリトークンの集合に圧縮する。 本稿では,メモリトークンの受容領域を逐次局所チャンクに制限する並列反復圧縮(PIC)を提案する。
  論文  参考訳（メタデータ） (2026-02-15T03:58:13Z)
• Arbitrary Ratio Feature Compression via Next Token Prediction [52.10426317889982]
  Arbitrary Ratio Feature Compression (ARFC)フレームワークは、任意の圧縮比を単一のモデルでサポートする。 ARCは、次の回帰予測によって圧縮を行う自動回帰モデルである。 MoSモジュールは複数の圧縮結果を利用して圧縮トークンを洗練する。 ERGCは、圧縮中の意味的および構造的関係を維持するために、トレーニングプロセスに統合される。
  論文  参考訳（メタデータ） (2026-02-12T02:38:57Z)
• Proxy Compression for Language Modeling [58.904023114033954]
  プロキシ圧縮は、圧縮された入力の効率性を維持する代替のトレーニングスキームである。 コード言語モデリングの実験では、プロキシ圧縮がトレーニング効率を大幅に向上することを示した。 モデルスケールが大きくなるにつれて、プロキシトレーニングされたモデルは最終的に一致するか、あるいは競合するトークン化アルゴリズムのアプローチになる。
  論文  参考訳（メタデータ） (2026-02-04T07:36:46Z)
• ATACompressor: Adaptive Task-Aware Compression for Efficient Long-Context Processing in LLMs [28.55805086141996]
  本稿では,タスクの特定の要求に応じて圧縮を調整する適応タスク認識(ATACompressor)を提案する。 ATACompressorは、長いコンテキストのタスク関連部分のみを圧縮する選択エンコーダを使用し、不要なコンテンツを減らすとともに必須情報が保存されることを保証する。 我々はATACompressorを3つのQAデータセット上で評価する: HotpotQA, MSMARCO, SQUAD-showingは圧縮効率とタスク性能の両面で既存の手法より優れている。
  論文  参考訳（メタデータ） (2026-02-03T07:53:29Z)
• Compressing Many-Shots in In-Context Learning [61.231471139896506]
  マルチショットプロンプトを圧縮することにより,ICL推論のメモリと計算効率を向上させる手法を提案する。 まず,既存のプロンプト圧縮手法がマルチショット圧縮には有効でないことを示す。 本稿では,レイヤワイド圧縮手法であるMemComを提案する。
  論文  参考訳（メタデータ） (2025-10-17T16:57:42Z)
• AttnComp: Attention-Guided Adaptive Context Compression for Retrieval-Augmented Generation [27.480791258325066]
  我々は適応的で効率的でコンテキスト対応の圧縮フレームワークであるAttnCompを紹介した。 AttnCompは最小限の文書を保持するためにトップP圧縮アルゴリズムを使用している。 圧縮に加えて、AttnCompは、検索したコンテンツの全体的な関連性を評価することで、応答の信頼性を推定する。
  論文  参考訳（メタデータ） (2025-09-22T08:18:50Z)
• UniGist: Towards General and Hardware-aligned Sequence-level Long Context Compression [86.33995240043936]
  UniGistは、大規模言語モデルのためのシーケンスレベルのロングコンテキスト圧縮フレームワークである。 生のトークンを特別な圧縮トークン(gist)に微粒な方法で置き換えることで、コンテキスト情報を効率的に保存する。 提案手法は,圧縮トークンの実際の除去を可能にすることで,フレキシブルな推論もサポートしている。
  論文  参考訳（メタデータ） (2025-09-19T08:47:37Z)
• Lag-Relative Sparse Attention In Long Context Training [8.365610885641276]
  本稿では,LagKV圧縮法で固定されたLag-Relative Sparse Attention(LRSA)を長期学習後に提案する。 本手法はチャンク・バイ・チャンク・プリフィルを行い, 固定サイズのラグウィンドウにおいて, 最上位のキー値ペアを選択する。
  論文  参考訳（メタデータ） (2025-06-13T06:49:53Z)
• Long Context In-Context Compression by Getting to the Gist of Gisting [50.24627831994713]
  GistPoolは、デコーダ変換器にアーキテクチャ変更を加えることなく、コンテクスト内で圧縮する方法である。 圧縮速度が最小でも性能が大幅に低下し, より長いコンテキストで試行錯誤することを示す。 GistPoolは、gistingの単純さを保ちながら、長いコンテキスト圧縮タスクのパフォーマンスを大幅に向上させる。
  論文  参考訳（メタデータ） (2025-04-11T19:23:31Z)
• Efficient Token Compression for Vision Transformer with Spatial Information Preserved [59.79302182800274]
  トーケン圧縮は、トランスモデルの計算およびメモリ要求の低減に不可欠である。 本稿では,Prune と Merge という,効率的なハードウェア互換のトークン圧縮手法を提案する。
  論文  参考訳（メタデータ） (2025-03-30T14:23:18Z)
• Optimizing Singular Spectrum for Large Language Model Compression [95.7621116637755]
  SVDの分解したコンポーネントをデータ駆動で再スケールする新しい圧縮フレームワークであるSoCoを紹介する。 学習可能な特異スペクトルのおかげで、SoCoは重要度スコアに応じて成分を適応的にプーンする。 複数のLLMおよびベンチマークでの実験的な評価は、SoCoがモデル圧縮における最先端の手法を超越していることを示している。
  論文  参考訳（メタデータ） (2025-02-20T23:18:39Z)
• Fast Feedforward 3D Gaussian Splatting Compression [55.149325473447384]
  3D Gaussian Splatting (FCGS) は、1つのフィードフォワードパスで3DGS表現を高速に圧縮できる最適化フリーモデルである。 FCGSは圧縮比を20倍以上に向上し、高精細度を維持しながら、ほとんどのシーン毎のSOTA最適化手法を上回ります。
  論文  参考訳（メタデータ） (2024-10-10T15:13:08Z)
• Perception Compressor: A Training-Free Prompt Compression Framework in Long Context Scenarios [17.720102137585503]
  Perceptionは、大規模な言語モデルのためのトレーニングフリーのプロンプト圧縮フレームワークである。 これには、指導的質問と指示を利用して、最も関連するデモンストレーションを検索する知覚検索機能が含まれる。 長いコンテキスト、ベンチマーク、iSie、LongBench、MuSiQueに関する広範な実験を行います。
  論文  参考訳（メタデータ） (2024-09-28T07:13:33Z)
• Token Compensator: Altering Inference Cost of Vision Transformer without Re-Tuning [63.43972993473501]
  視覚変換器(ViT)の訓練と推論を高速化するトークン圧縮 しかし、下流タスクに適用した場合、圧縮度はトレーニングと推論の段階で不一致となる。 本稿では,2段階間の圧縮度を分離するモデル演算フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-13T10:36:43Z)
• In-Context Former: Lightning-fast Compressing Context for Large Language Model [48.831304302467004]
  本稿では,Transformer-based large language model (LLM) の長期入力コンテキストを圧縮する手法を提案する。 我々は,単語の埋め込みから情報を集めるために,クロスアテンション機構と少数の学習可能なダイジェストトークンを使用する。 実験の結果, 圧縮時のベースライン浮動小数点演算の1/32しか必要とせず, 処理速度を68倍から112倍に向上することがわかった。
  論文  参考訳（メタデータ） (2024-06-19T15:14:55Z)
• Retaining Key Information under High Compression Ratios: Query-Guided Compressor for LLMs [35.91962517513945]
  圧縮比が増加するにつれて従来の手法の性能は劇的に低下し、時にはクローズドブックレベルにまで低下する。 本稿では、クエリを利用してコンテキスト圧縮プロセスをガイドするQuery-Guided (QGC)を紹介する。 提案したQGCの有効性を,NaturalQuestions,TriviaQA,HotpotQAデータセットを含む質問応答タスクで検証する。
  論文  参考訳（メタデータ） (2024-06-04T14:53:24Z)
• Context Compression for Auto-regressive Transformers with Sentinel Tokens [37.07722536907739]
  本稿では,特定のトークンの中間活性化をコンパクトに段階的に圧縮できるプラグイン・アンド・プレイ方式を提案する。 ドメイン内言語モデリングとゼロショットオープンエンド文書生成の両方の実験は、我々のアプローチの利点を実証している。
  論文  参考訳（メタデータ） (2023-10-12T09:18:19Z)
• Sign Bit is Enough: A Learning Synchronization Framework for Multi-hop All-reduce with Ultimate Compression [17.692238652162203]
  我々は,符号ビット圧縮に基づく学習同期フレームワークMarsitを実装した。 最大35%のトレーニング時間を短縮し、圧縮なしでトレーニングと同じ精度を維持する。
  論文  参考訳（メタデータ） (2022-04-14T06:54:32Z)
• Accordion: Adaptive Gradient Communication via Critical Learning Regime Identification [12.517161466778655]
  分散モデルトレーニングは、計算ノードにまたがる頻繁なモデル更新による通信ボトルネックに悩まされる。 これらのボトルネックを軽減するために、実践者はスパーシフィケーションや量子化、低ランク更新といった勾配圧縮技術を使用する。 本研究では,高圧縮比の選択による性能劣化が基本的でないことを示す。 適応圧縮戦略は、最終テスト精度を維持しながら通信を低減することができる。
  論文  参考訳（メタデータ） (2020-10-29T16:41:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。