Fugu-MT 論文翻訳(概要): Prompt Compression via Activation Aggregation

論文の概要: Prompt Compression via Activation Aggregation

arxiv url: http://arxiv.org/abs/2607.08399v1
Date: Thu, 09 Jul 2026 12:21:44 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-10 14:45:27.524691
Title: Prompt Compression via Activation Aggregation
Title（参考訳）: アクティベーションアグリゲーションによるプロンプト圧縮
Abstract要約: 大規模な言語モデルは、応答を生成する前に数十のレイヤを通してアクティベーションを伝播することで、プロンプトを処理します。命令プロンプトに含まれるタスク関連情報を1つのアクティベーションベクトルに圧縮し、モデルに再注入できるかどうかを問う。中間層で抽出し, ターゲットLDMの初期層に注入した, 学習した重み付き活性化和を用いて達成可能であることを示す。
参考スコア（独自算出の注目度）: 2.739231894601598
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Large language models process prompts by propagating activations through dozens of layers before generating a response. We ask whether the task-relevant information contained in an instruction prompt can be compressed into a single activation vector and re-injected into the model, replacing the original token sequence? We show this is achievable using a learned weighted sum of activations extracted at an intermediate layer and injected at an early layer of the target LLM. The compressed vector preserves task-relevant information, incurring an accuracy drop of under $2\%$ relative to full prompt processing. Beyond its practical implications, including reducing per-query computation for fixed instruction prompts without reprocessing the original token sequence, our analysis reveals structure in the activation space of LLMs: (i) mid-layer representations transfer meaningfully to early layers, suggesting a degree of cross-layer compatibility in how information is encoded; (ii) a single activation vector encodes a quantifiable and recoverable amount of semantic information; (iii) a weighted sum of activations is a robust representation compressor.
Abstract（参考訳）: 大規模な言語モデルは、応答を生成する前に数十のレイヤを通してアクティベーションを伝播することで、プロンプトを処理します。命令プロンプトに含まれるタスク関連情報を1つのアクティベーションベクトルに圧縮してモデルに再注入し、元のトークンシーケンスを置き換えることができるかどうかを問う。中間層で抽出し, ターゲットLDMの初期層に注入した, 学習した重み付き活性化和を用いて達成可能であることを示す。圧縮ベクタはタスク関連情報を保存し、フルプロンプト処理に対して2\%以下の精度低下を発生させる。従来のトークンシーケンスを再処理することなく、固定命令プロンプトのクエリごとの計算を減らし、LCMのアクティベーション空間の構造を明らかにする。 (i)中間層表現は、初期層に有意義に伝達し、情報のエンコード方法における層間互換性の程度を示唆する。二単一のアクティベーションベクトルが、定量かつ回復可能な量の意味情報を符号化すること。三アクティベーションの重み付け和は、堅牢な表現圧縮機である。

関連論文リスト

A Single Layer to Explain Them All:Understanding Massive Activations in Large Language Models [56.03096341469333]
大規模言語モデル(LLM)における大規模アクティベーションの起源について検討する。モデルファミリ間で一貫して観察されるtextbfMassive Emergence Layer (ME Layer) と呼ばれる特定の層を同定する。 RMSNormとFFNパラメータの両方がME層内で大きな活性化の出現に共同して寄与していることを示す。本研究では,この制限により,大規模アクティベーショントークンの剛性を簡易かつ効果的に低減する手法を提案する。
論文参考訳（メタデータ） (2026-05-08T21:37:27Z)
MiA-Signature: Approximating Global Activation for Long-Context Understanding [48.9604042895266]
我々は、クエリによって誘導されるグローバルなアクティベーションパターンの圧縮表現である textbfMindscape Activation Signature (MiA-Signature) の概念を導入する。結果として得られるMiA-Signatureは、計算可能でありながらフルアクティベーション状態の効果を近似する条件信号として機能する。
論文参考訳（メタデータ） (2026-05-07T15:25:02Z)
Detecting Overflow in Compressed Token Representations for Retrieval-Augmented Generation [49.48204107529758]
我々はトークンオーバーフローを、圧縮された表現が与えられたクエリに応答する十分な情報を含んでいない状態として定義する。本稿では,非圧縮トークン表現から,クエリ非依存の飽和統計を確実に分離することを見出した。クエリとコンテキストの両方のxRAG表現上の軽量なプローブ分類器は平均0.72 AUC-ROCでオーバーフローを検出する。これらの結果は、クエリ非依存の診断からクエリ対応検出まで進歩し、低コストのプレLLMゲーティングにより、圧縮によるエラーを軽減できる。
論文参考訳（メタデータ） (2026-02-12T18:15:08Z)
To Copy or Not to Copy: Copying Is Easier to Induce Than Recall [5.057026826740146]
言語モデルは、重みに格納されたパラメトリック知識と、プロンプトの文脈情報とを仲裁しなければならない。本研究は, モデルアクティベーションから慣性ベクトルを抽出し, その選択に関する力学的検討を行う。
論文参考訳（メタデータ） (2026-01-17T14:46:29Z)
Behavior-Equivalent Token: Single-Token Replacement for Long Prompts in LLMs [55.827877498548965]
単一プロンプト固有の振る舞い等価トークン([BE])を学習する軽量なトレーニングフレームワークを提案する。フレームワークはまず[BE]に、元のシステムプロンプトの自然言語内容を再構成してエンコードし、その後、プロンプトの下流の振る舞いをこの単一のトークンに蒸留するように訓練する。 3つのデータセットに対する実証的な評価は、1つの[BE]トークンが3000倍の高速化を実現し、元のシステムの下流性能の約98%を維持していることを示している。
論文参考訳（メタデータ） (2025-11-28T15:22:52Z)
Direct Multi-Token Decoding [24.347862297812977]
我々は,大規模言語モデル(LLM)の推論パラダイムとして,DMTD(Direct Multi-Token Decoding)を導入する。投機的復号法とは異なり,提案手法では追加パラメータや補助ルーチンやポストジェネレーション検証は導入されない。微調整のDMTD Qwen3-4Bモデルはすでに有望な結果を示しており、2倍のスピードアップを実現している。
論文参考訳（メタデータ） (2025-10-13T21:42:37Z)
Command-V: Pasting LLM Behaviors via Activation Profiles [67.07238260037839]
Command-Vはバックプロパゲーションフリーな行動伝達法である。既存の残留活性化アダプタをドナーモデルからコピーし、その効果を受信モデルに貼り付ける。
論文参考訳（メタデータ） (2025-06-23T21:21:49Z)
GMSA: Enhancing Context Compression via Group Merging and Layer Semantic Alignment [18.256369876037883]
本稿では,エンコーダ・デコーダアーキテクチャに基づく文脈圧縮フレームワークであるGMSAを紹介する。 GMSAは入力シーケンスの長さと冗長な情報を減らす。エンドツーエンドの推論で約2倍のスピードアップを達成することができる。
論文参考訳（メタデータ） (2025-05-18T03:21:30Z)
Semantic Compression With Large Language Models [1.0874100424278175]
大規模言語モデル(LLM)は、情報検索、質問応答、要約、コード生成タスクに革命をもたらしている。 LLMは本質的に、一度に処理できる入力トークンと出力トークンの数によって制限される。本稿では,LLMの研究への3つの貢献について述べる。
論文参考訳（メタデータ） (2023-04-25T01:47:05Z)
MASTER: Multi-task Pre-trained Bottlenecked Masked Autoencoders are Better Dense Retrievers [140.0479479231558]
本研究では,様々な事前学習タスクをマルチタスク事前学習モデル(MASTER)に統合することを目的とする。 MASTERは共有エンコーダのマルチデコーダアーキテクチャを利用して、タスク全体にわたる豊富なセマンティック情報を高密度ベクトルに圧縮する表現ボトルネックを構築することができる。
論文参考訳（メタデータ） (2022-12-15T13:57:07Z)
Representation Learning for Sequence Data with Deep Autoencoding Predictive Components [96.42805872177067]
本稿では,シーケンスデータの有用な表現が潜在空間における単純な構造を示すべきという直感に基づく,シーケンスデータの自己教師型表現学習法を提案する。我々は,過去と将来のウィンドウ間の相互情報である潜在特徴系列の予測情報を最大化することにより,この潜時構造を奨励する。提案手法は,ノイズの多い動的システムの潜時空間を復元し,タスク予測のための予測特徴を抽出し,エンコーダを大量の未ラベルデータで事前訓練する場合に音声認識を改善する。
論文参考訳（メタデータ） (2020-10-07T03:34:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。