Fugu-MT 論文翻訳(概要): Compressing Many-Shots in In-Context Learning

論文の概要: Compressing Many-Shots in In-Context Learning

arxiv url: http://arxiv.org/abs/2510.16092v1
Date: Fri, 17 Oct 2025 16:57:42 GMT
ステータス: 翻訳完了
システム内更新日: 2025-10-25 00:56:38.847737
Title: Compressing Many-Shots in In-Context Learning
Title（参考訳）: インテクスト学習における複数ショットの圧縮
Authors: Devvrit Khatri, Pranamya Kulkarni, Nilesh Gupta, Yerram Varun, Liqian Peng, Jay Yagnik, Praneeth Netrapalli, Cho-Jui Hsieh, Alec Go, Inderjit S Dhillon, Aditya Kusupati, Prateek Jain,
Abstract要約: マルチショットプロンプトを圧縮することにより,ICL推論のメモリと計算効率を向上させる手法を提案する。まず,既存のプロンプト圧縮手法がマルチショット圧縮には有効でないことを示す。本稿では,レイヤワイド圧縮手法であるMemComを提案する。
参考スコア（独自算出の注目度）: 61.231471139896506
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Large Language Models (LLMs) have been shown to be able to learn different tasks without explicit finetuning when given many input-output examples / demonstrations through In-Context Learning (ICL). Increasing the number of examples, called ``shots'', improves downstream task performance but incurs higher memory and computational costs. In this work, we study an approach to improve the memory and computational efficiency of ICL inference by compressing the many-shot prompts. Given many shots comprising t tokens, our goal is to generate a m soft-token summary, where m < t. We first show that existing prompt compression methods are ineffective for many-shot compression, and simply using fewer shots as a baseline is surprisingly strong. To achieve effective compression, we find that: (a) a stronger compressor model with more trainable parameters is necessary, and (b) compressing many-shot representations at each transformer layer enables more fine-grained compression by providing each layer with its own compressed representation. Based on these insights, we propose MemCom, a layer-wise compression method. We systematically evaluate various compressor models and training approaches across different model sizes (2B and 7B), architectures (Gemma and Mistral), many-shot sequence lengths (3k-6k tokens), and compression ratios (3x to 8x). MemCom outperforms strong baselines across all compression ratios on multiple classification tasks with large label sets. Notably, while baseline performance degrades sharply at higher compression ratios, often by over 20-30%, MemCom maintains high accuracy with minimal degradation, typically dropping by less than 10%.
Abstract（参考訳）: 大規模言語モデル(LLM)は、多くのインプット・アウトプット・サンプルやデモをICL(In-Context Learning)を通じて与えられた場合、明示的な微調整なしに異なるタスクを学習できることが示されている。 ``shots''と呼ばれる例の数を増やすことで、ダウンストリームタスクのパフォーマンスが向上するが、メモリと計算コストが上昇する。本研究では,多ショットプロンプトを圧縮することにより,ICL推論のメモリと計算効率を向上させる手法を提案する。 tトークンからなる多くのショットが与えられた場合、我々のゴールはm < t となる m ソフトトーケンの要約を生成することである。まず,従来のプロンプト圧縮手法は多ショット圧縮には有効でなく,ベースラインとして少ないショットを使用するだけでは驚くほど強力であることを示す。効率的な圧縮を実現するために、私たちは次のようなものを見つけました。 (a)より訓練可能なパラメータを持つ強い圧縮機モデルが必要であり、 b) 各トランス層に多重ショット表現を圧縮することにより、各層に独自の圧縮表現を提供することにより、よりきめ細かな圧縮を可能にする。これらの知見に基づき,レイヤワイド圧縮法であるMemComを提案する。異なるモデルサイズ(2Bと7B)、アーキテクチャ(GemmaとMistral)、多重ショット列長(3k-6kトークン)、圧縮比(3x〜8x)の様々な圧縮機モデルとトレーニングアプローチを体系的に評価した。 MemComは、大きなラベルセットを持つ複数の分類タスクにおいて、すべての圧縮比で強いベースラインを上回ります。特に、ベースライン性能は高い圧縮比で大幅に低下し、しばしば20～30%以上低下するが、MemComは最小限の劣化で高い精度を維持し、通常10%以下に低下する。

関連論文リスト

Simple Context Compression: Mean-Pooling and Multi-Ratio Training [12.049015994907629]
我々は、広く使われている圧縮トークンアーキテクチャを一貫して上回る軽量でシンプルな平均プール手法を開発した。ドメイン内およびドメイン外QAデータセット、モデルファミリ、スケール、圧縮比にわたって、広範な実験を行います。全体としては,複数の圧縮比のトレーニングを行う場合,比較的少ない低下率で,本手法は最強性能を達成する。
論文参考訳（メタデータ） (2025-10-23T17:57:23Z)
VisionSelector: End-to-End Learnable Visual Token Compression for Efficient Multimodal LLMs [82.72388893596555]
MLLM(Multimodal Large Language Models)は、計算とメモリのボトルネックに遭遇する。従来のトークン圧縮技術は、重要な情報を破棄するリスクを負うルールによって制約されることが多い。我々は,トークン圧縮をエンドツーエンドの学習可能な決定プロセスに再構成する軽量なプラグアンドプレイフレームワークとして,トークン圧縮を再構成する。
論文参考訳（メタデータ） (2025-10-18T17:54:18Z)
CORE-RAG: Lossless Compression for Retrieval-Augmented LLMs via Reinforcement Learning [22.93037884068796]
Retrieval-Augmented Generation (RAG) は、知識更新のタイムラインと大規模言語モデルにおける応答の事実的正確性を高めるための有望なアプローチとして登場した。 RAG用に調整された文書圧縮への既存のアプローチは、しばしばタスクパフォーマンスを低下させる。我々は、RAGにおけるロスレスコンテキスト圧縮の新しい手法であるCOREを提案する。
論文参考訳（メタデータ） (2025-08-24T12:21:50Z)
LaCo: Efficient Layer-wise Compression of Visual Tokens for Multimodal Large Language Models [62.240460476785934]
視覚エンコーダの中間層内で効果的なトークン圧縮を実現する新しいフレームワークであるLaCo(Layer-wise Visual Token Compression)を提案する。 LaCoは,1)空間-チャネル変換によって隣接するトークンを体系的にマージするレイヤワイドピクセルシャッフル機構,2)非パラメトリックショートカットを用いた残差学習アーキテクチャ,の2つのコアコンポーネントを導入している。
論文参考訳（メタデータ） (2025-07-03T03:42:54Z)
L3TC: Leveraging RWKV for Learned Lossless Low-Complexity Text Compression [23.179381396167084]
我々はLearned Lossless Low-complexity Text Compression Method (L3TC)を紹介する。 RWKVモデルは、適度な圧縮比で高速な復号速度を達成する。本稿では,頻繁なトークンをカバーするために,限定語彙を用いた外部認識トークン化手法を提案する。
論文参考訳（メタデータ） (2024-12-21T14:24:32Z)
Style-Compress: An LLM-Based Prompt Compression Framework Considering Task-Specific Styles [49.65811277223873]
Style-Compressは、より小さな言語モデルを適用して、新たなタスクでより大きなモデルのプロンプトを、追加のトレーニングなしで圧縮する軽量フレームワークである。提案手法は,実効圧縮プロンプトを,スタイルのバリエーションやコンテキスト内学習を通じて,タスク固有の実演として反復的に生成し,選択する。 Style-Compressは、オリジナルのプロンプト再構成、テキスト要約、マルチホップQA、CoT推論の4つのタスクで2つのベースライン圧縮モデルを上回っている。
論文参考訳（メタデータ） (2024-10-17T21:35:49Z)
Activations and Gradients Compression for Model-Parallel Training [85.99744701008802]
モデル並列分散トレーニングセットアップにおけるアクティベーションと勾配の同時圧縮が収束に与える影響について検討する。グラデーションはアクティベーションよりも軽度な圧縮速度を必要とする。実験では、TopKでトレーニングされたモデルが、推論中に圧縮も適用された場合にのみ正常に動作することが示されている。
論文参考訳（メタデータ） (2024-01-15T15:54:54Z)
Long Context Compression with Activation Beacon [22.054232261437186]
Activation Beaconは、トランスフォーマーベースのLLM用のプラグインモジュールである。長いコンテキストの効率的な、効率的、柔軟な圧縮をターゲットとしている。推論時間の2倍の高速化と、KVキャッシュのメモリコストの8倍の削減を実現している。
論文参考訳（メタデータ） (2024-01-07T11:57:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。