論文の概要: Adaptive Multi-Resolution Procedural Knowledge Compression for Large Language Models

• arxiv url: http://arxiv.org/abs/2606.12203v1
• Date: Wed, 10 Jun 2026 15:21:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-11 16:42:38.525192
• Title: Adaptive Multi-Resolution Procedural Knowledge Compression for Large Language Models
• Title（参考訳）: 大規模言語モデルに対する適応型多解手続き型知識圧縮
• Authors: Changyue Wang, Weihang Su, Qingyao Ai, Yichen Tang, Runzhong Qiao, Xuancheng Li, Min Zhang, Yiqun Liu,
• Abstract要約: 手続き的スキルのための適応型多解像度ソフトトークン圧縮フレームワークであるSKIMを提案する。 実験により、SKIMは既存の圧縮方法よりもタスク性能を保ちながら、元のトークン長の30%から60%のスキルを圧縮することが示された。
• 参考スコア（独自算出の注目度）: 35.48413071709974
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) are widely used to tackle complex tasks with autonomous workflows. Recently, reusable natural language skills have emerged as a popular paradigm to inject procedural knowledge into LLM applications. Since popular skills are often invoked repeatedly, placing their full text in every context significantly increases prefill cost and latency. While text compression techniques have the potential to solve this problem, most existing methods are designed to compress factual knowledge in documents instead of procedural knowledge, making them insufficient for skill compression. In this paper, we argue that an effective skill compression method should: 1) preserve logical dependencies among workflows and tool protocols, 2) enable lightweight, offline compression for frequently updated community skills, and 3) be adaptable to varying complexities across skills. To address this, we present SKIM (SKIll coMpression), an adaptive multi-resolution soft token compression framework for procedural skills. Depending on the complexity of each skill, SKIM creates different numbers of soft tokens that not only improve the efficiency of LLM inference, but also preserve the effectiveness of skill usage. Experiments indicate that SKIM compresses skills to 30 to 60 percent of their original token length while preserving task performance better than existing compression methods.We have released our code at https://github.com/bebr2/SKIM .
• Abstract（参考訳）: 大規模言語モデル(LLM)は、自律的なワークフローで複雑なタスクに取り組むために広く使われている。 近年、LLMアプリケーションに手続き的知識を注入する一般的なパラダイムとして、再利用可能な自然言語スキルが登場している。 一般的なスキルが繰り返し呼び出されることが多いため、すべてのコンテキストにフルテキストを置くことで、プリフィルコストとレイテンシが大幅に向上する。 テキスト圧縮技術はこの問題を解決する可能性があるが、既存の手法の多くは、手続き的な知識ではなく、文書に事実の知識を圧縮するように設計されており、技術圧縮には不十分である。 本稿では,効果的なスキル圧縮手法を提案する。 1)ワークフローとツールプロトコル間の論理的依存関係を維持する。 2) 頻繁に更新されるコミュニティスキルに対して、軽量でオフラインの圧縮を可能にする。 3) スキルの多様さに適応する。 そこで我々はSKIM(Skill coMpression)という,手続き的スキルのための適応型マルチレゾリューションソフトトークン圧縮フレームワークを提案する。 各スキルの複雑さに応じて、SKIMは異なる数のソフトトークンを生成し、LSM推論の効率を向上するだけでなく、スキル使用の有効性も維持する。 実験の結果、SKIMは既存の圧縮手法よりもタスクパフォーマンスを保ちながら、元のトークン長の30%から60%のスキルを圧縮することがわかった。

関連論文リスト

• SCOPE: A Generative Approach for LLM Prompt Compression [7.813705327778312]
  本稿では,新しい生成的即時圧縮法を提案する。 既存のトークン除去方法とは異なり,本手法はチャンキング・アンド・サマー化機構に重点を置いている。 提案手法は, 圧縮品質が向上し, 最新技術よりも安定性が向上する。
  論文  参考訳（メタデータ） (2025-08-16T01:41:53Z)
• Dynamic Compressing Prompts for Efficient Inference of Large Language Models [38.604760935983364]
  大規模言語モデル(LLM)は、高度なプロンプト技術のために、様々なタスクで優れたパフォーマンスを示している。 プロンプト圧縮は簡単な解決策だが、既存の手法では、重要な情報を保持し、状況の変化に適応し、異なるタスクにまたがって効果的を維持するという課題に直面している。 本手法は,性能を最大限に保ちつつ,プロンプトトークンの数を削減する。
  論文  参考訳（メタデータ） (2025-04-15T09:20:45Z)
• MultiTok: Variable-Length Tokenization for Efficient LLMs Adapted from LZW Compression [5.5795785998430185]
  MultiTokは、ユニバーサルなLempel-Ziv-Welchデータ圧縮にインスパイアされた新しいトークン化手法である。 我々は,MultiTok が BERT と GPT-2 の標準に匹敵する性能を実現していることを示す。
  論文  参考訳（メタデータ） (2024-10-28T21:24:51Z)
• Training LLMs over Neurally Compressed Text [55.11828645767342]
  本稿では,高度に圧縮されたテキスト上での大規模言語モデル(LLM)の訓練について検討する。 テキストをブロックに分割し,それぞれが同じビット長に圧縮する新しい圧縮手法であるEqual-Info Windowsを提案する。 提案手法は, 大規模化により向上し, パープレキシティと推論速度のベンチマークにおいて, バイトレベルのベースラインをはるかに上回る, ニューラルネットワークによる効果的な学習を実演する。
  論文  参考訳（メタデータ） (2024-04-04T17:48:28Z)
• Compressing LLMs: The Truth is Rarely Pure and Never Simple [90.05366363633568]
  Knowledge-Intensive Compressed LLM BenchmarKは、圧縮された大言語モデルの評価プロトコルを再定義することを目的としている。 LLM-KICKは、現在のSoTA圧縮方式の多くの有利な利点と不運な点を明らかにしている。 LLM-KICKは、言語理解、推論、生成、テキスト内検索、テキスト内要約などのための圧縮LLMの能力に一様にアクセスできるように設計されている。
  論文  参考訳（メタデータ） (2023-10-02T17:42:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。