論文の概要: On the Effectiveness of Context Compression for Repository-Level Tasks: An Empirical Investigation

• arxiv url: http://arxiv.org/abs/2604.13725v1
• Date: Wed, 15 Apr 2026 11:00:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-16 20:38:32.49962
• Title: On the Effectiveness of Context Compression for Repository-Level Tasks: An Empirical Investigation
• Title（参考訳）: リポジトリレベル課題に対する文脈圧縮の有効性について:実証的研究
• Authors: Jia Feng, Zhanyue Qin, Cuiyun Gao, Ruiqi Wang, Chaozheng Wang, Yingwei Ma, Xiaoyuan Xie,
• Abstract要約: リポジトリレベルのコードインテリジェンスタスクは、長い複数ファイルコンテキストを処理するために大きな言語モデルを必要とする。 コンテキスト圧縮は、入力を凝縮することでこれらのリスクを軽減する。 本稿では,リポジトリレベルのコードインテリジェンスのためのコンテキスト圧縮に関する最初の体系的実証的研究について述べる。
• 参考スコア（独自算出の注目度）: 22.803236151303846
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Repository-level code intelligence tasks require large language models (LLMs) to process long, multi-file contexts. Such inputs introduce three challenges: crucial context can be obscured by noise, truncated due to limited windows, and increased inference latency. Context compression mitigates these risks by condensing inputs. While studied in NLP, its applicability to code tasks remains largely unexplored. We present the first systematic empirical study of context compression for repository-level code intelligence, organizing eight methods into three paradigms: discrete token sequences, continuous latent vectors, and visual tokens. We evaluate them on code completion and generation, measuring performance and efficiency. Results show context compression is effective: at 4x compression, continuous latent vector methods surpass full-context performance by up to 28.3% in BLEU score, indicating they filter noise rather than just truncating. On efficiency, all paradigms reduce inference cost. Both visual and text-based compression achieve up to 50% reduction in end-to-end latency at high ratios, approaching the cost of inference without repository context. These findings establish context compression as a viable approach and provide guidance for paradigm selection.
• Abstract（参考訳）: リポジトリレベルのコードインテリジェンスタスクは、長いマルチファイルコンテキストを処理するために、大きな言語モデル(LLM)を必要とする。 このような入力には3つの課題がある: 重要なコンテキストはノイズによって隠蔽され、ウィンドウが制限され、推論遅延が増大する。 コンテキスト圧縮は、入力を凝縮することでこれらのリスクを軽減する。 NLPで研究されているが、コードタスクの適用性はほとんど解明されていない。 リポジトリレベルのコードインテリジェンスのためのコンテキスト圧縮に関する最初の体系的実証的研究を行い、8つのメソッドを3つのパラダイム(離散トークンシーケンス、連続潜時ベクトル、視覚トークン)にまとめる。 コード補完と生成、性能と効率の測定について評価する。 4倍圧縮では、連続潜時ベクトル法は、BLEUスコアで最大28.3%のフルコンテキスト性能を上回り、単にトラッピングするのではなくノイズをフィルタする。 効率性では、全てのパラダイムが推論コストを削減します。 ビジュアルおよびテキストベースの圧縮は、高い比率でエンドツーエンドのレイテンシを最大50%削減し、リポジトリコンテキストなしで推論するコストにアプローチする。 これらの知見は、文脈圧縮を実行可能なアプローチとして確立し、パラダイム選択のためのガイダンスを提供する。

関連論文リスト

• Detecting Overflow in Compressed Token Representations for Retrieval-Augmented Generation [49.48204107529758]
  我々はトークンオーバーフローを、圧縮された表現が与えられたクエリに応答する十分な情報を含んでいない状態として定義する。 本稿では,非圧縮トークン表現から,クエリ非依存の飽和統計を確実に分離することを見出した。 クエリとコンテキストの両方のxRAG表現上の軽量なプローブ分類器は平均0.72 AUC-ROCでオーバーフローを検出する。 これらの結果は、クエリ非依存の診断からクエリ対応検出まで進歩し、低コストのプレLLMゲーティングにより、圧縮によるエラーを軽減できる。
  論文  参考訳（メタデータ） (2026-02-12T18:15:08Z)
• SimpleMem: Efficient Lifelong Memory for LLM Agents [73.74399447715052]
  セマンティックロスレス圧縮に基づく効率的なメモリフレームワークSimpleMemを紹介する。 本稿では,情報密度とトークン利用量の最大化を目的とした3段階パイプラインを提案する。 ベンチマークデータセットを用いた実験により,提案手法は精度,検索効率,推論コストにおいて,ベースラインアプローチを一貫して上回っていることがわかった。
  論文  参考訳（メタデータ） (2026-01-05T21:02:49Z)
• Are We Using the Right Benchmark: An Evaluation Framework for Visual Token Compression Methods [54.4711434793961]
  単純な画像ダウンサンプリングは、複数の広く使用されているベンチマークにおいて、多くの高度な圧縮方法より一貫して優れていることを示す。 これらの結果に触発され,既存のベンチマークを識別するデータフィルタリング機構を組み込んだ評価フレームワークであるVTC-Benchを導入する。
  論文  参考訳（メタデータ） (2025-10-08T15:44:28Z)
• CompLLM: Compression for Long Context Q&A [47.90063873976842]
  そこで本研究では,実用的デプロイメント用に設計されたソフト圧縮技術であるCompLLMを紹介する。 CompLLMはコンテキストを水平に処理する代わりにセグメントに分割し、それぞれを独立して圧縮する。 実験の結果,2倍圧縮速度でコンテクスト長のCompLLMでは,TTFT(Time To First Token)を最大4倍高速化し,KVキャッシュサイズを50%削減できることがわかった。
  論文  参考訳（メタデータ） (2025-09-23T16:49:43Z)
• CORE-RAG: Lossless Compression for Retrieval-Augmented LLMs via Reinforcement Learning [22.93037884068796]
  Retrieval-Augmented Generation (RAG) は、知識更新のタイムラインと大規模言語モデルにおける応答の事実的正確性を高めるための有望なアプローチとして登場した。 RAG用に調整された文書圧縮への既存のアプローチは、しばしばタスクパフォーマンスを低下させる。 我々は、RAGにおけるロスレスコンテキスト圧縮の新しい手法であるCOREを提案する。
  論文  参考訳（メタデータ） (2025-08-24T12:21:50Z)
• Understanding and Improving Information Preservation in Prompt Compression for LLMs [15.797246416590339]
  情報集約的なタスクでは、プロンプト長は急速に増加し、計算要求の増大、性能劣化、無関係または冗長な情報からのバイアスが引き起こされる。 本稿では,プロンプト圧縮手法の詳細な解析を可能にする総合評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-24T20:06:11Z)
• EXIT: Context-Aware Extractive Compression for Enhancing Retrieval-Augmented Generation [8.757777529568383]
  現在のRAGシステムは、検索モデルが最も関連性の高い文書のランク付けに失敗したときにしばしば苦労する。 抽出文脈圧縮フレームワークEXITを紹介する。 評価の結果,EXITは既存の圧縮手法を一貫して上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-12-17T05:38:27Z)
• Compressing LLMs: The Truth is Rarely Pure and Never Simple [90.05366363633568]
  Knowledge-Intensive Compressed LLM BenchmarKは、圧縮された大言語モデルの評価プロトコルを再定義することを目的としている。 LLM-KICKは、現在のSoTA圧縮方式の多くの有利な利点と不運な点を明らかにしている。 LLM-KICKは、言語理解、推論、生成、テキスト内検索、テキスト内要約などのための圧縮LLMの能力に一様にアクセスできるように設計されている。
  論文  参考訳（メタデータ） (2023-10-02T17:42:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。