論文の概要: Compressing Code Context for LLM-based Issue Resolution

• arxiv url: http://arxiv.org/abs/2603.28119v1
• Date: Mon, 30 Mar 2026 07:31:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-31 23:18:45.278052
• Title: Compressing Code Context for LLM-based Issue Resolution
• Title（参考訳）: LLMに基づく課題解決のためのコードコンテキスト圧縮
• Authors: Haoxiang Jia, Earl T. Barr, Sergey Mechtaev,
• Abstract要約: 大きな言語モデル(LLM)が現実のGitHubの問題を解決することができるようになった。 既存の圧縮技術はこの緊張を解消することができない。 本稿では,2つのコンポーネントからなる新しいフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 6.6121784437529
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) are now capable of resolving real-world GitHub issues. However, current approaches overapproximate the code context and suffer from two compounding problems: the prohibitive cost of processing massive inputs, and low effectiveness as noise floods the context window and distracts the model from the bug-fixing signal. Existing compression techniques fail to resolve this tension: generic compressors compromise the semantic integrity of code, while code-specific tools lack awareness of code structure and task context to preserve essential patch ingredients. To address this, we propose a novel framework consisting of two components. First, Oracle-guided Code Distillation (OCD), a context distillation algorithm that combines genetic search and delta debugging to systematically reduce code contexts to their minimal sufficient subsequence - retaining only the ingredients required for a successful fix. We use this distilled data to fine-tune SWEzze, a lightweight model that learns to compress code context at inference time, filtering noise and combating distraction while preserving fix ingredients. Evaluated on SWE-bench Verified across three frontier LLMs, SWEzze maintains a stable compression rate of about 6 times across models, reduces the total token budget by 51.8%-71.3% relative to the uncompressed setting, improves issue resolution rates by 5.0%-9.2%, and delivers the best overall balance among effectiveness, compression ratio, and latency compared with state-of-the-art context compression baselines.
• Abstract（参考訳）: 大きな言語モデル(LLM)が現実のGitHubの問題を解決することができるようになった。 しかし、現在のアプローチでは、大量の入力を処理することの禁止コストと、ノイズがコンテキストウィンドウを溢れさせ、モデルをバグ修正信号から逸脱させる効果の2つの複合的な問題に悩まされている。 ジェネリック圧縮機はコードのセマンティックな整合性を損なう一方、コード固有のツールは、重要なパッチ要素を保持するためのコード構造とタスクコンテキストの認識を欠いている。 そこで本研究では,2つのコンポーネントからなる新しいフレームワークを提案する。 まず、Oracleが指導するCode Distillation (OCD)は、遺伝的検索とデルタデバッギングを組み合わせたコンテキスト蒸留アルゴリズムで、コードコンテキストを最小限のサブシーケンスに体系的に還元する。 我々はこの蒸留データを用いてSWEzzeを微調整する。SWEzzeは、予測時にコードコンテキストを圧縮し、ノイズをフィルタリングし、固定材料を保存しながら乱れに対処する軽量モデルである。 3つのフロンティア LLM で検証された SWE-bench で評価され、SWEzze はモデル全体の6倍の安定した圧縮率を維持し、非圧縮条件と比較してトークン全体の予算を51.8%-71.3%削減し、イシュー解決率を5.0%-9.2%改善し、有効性、圧縮比、レイテンシーのバランスを最先端のコンテキスト圧縮ベースラインと比較する。

関連論文リスト

• Towards Practical Lossless Neural Compression for LiDAR Point Clouds [84.36825469211375]
  高精度な幾何学的詳細の極端に広い範囲は、効率的な文脈モデリングを妨げる。 私たちのフレームワークは2つの軽量モジュールで構成されています。 実験では、リアルタイムに競争力のある圧縮性能を示す。
  論文  参考訳（メタデータ） (2026-03-26T10:02:07Z)
• Towards Efficient Large Language Reasoning Models via Extreme-Ratio Chain-of-Thought Compression [55.63153956934198]
  Chain-of-Thought (CoT)推論はLarge Language Models (LLMs)の推論能力をうまく向上させる 既存のCoT圧縮法は、しばしば高い圧縮比で論理的忠実度が著しく低下する。 本稿では,Extra-CoTと呼ばれる新しいEXTreme-RAtio Chain-of-Thought Compressionフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-09T06:57:15Z)
• AttnComp: Attention-Guided Adaptive Context Compression for Retrieval-Augmented Generation [27.480791258325066]
  我々は適応的で効率的でコンテキスト対応の圧縮フレームワークであるAttnCompを紹介した。 AttnCompは最小限の文書を保持するためにトップP圧縮アルゴリズムを使用している。 圧縮に加えて、AttnCompは、検索したコンテンツの全体的な関連性を評価することで、応答の信頼性を推定する。
  論文  参考訳（メタデータ） (2025-09-22T08:18:50Z)
• CORE-RAG: Lossless Compression for Retrieval-Augmented LLMs via Reinforcement Learning [22.93037884068796]
  Retrieval-Augmented Generation (RAG) は、知識更新のタイムラインと大規模言語モデルにおける応答の事実的正確性を高めるための有望なアプローチとして登場した。 RAG用に調整された文書圧縮への既存のアプローチは、しばしばタスクパフォーマンスを低下させる。 我々は、RAGにおけるロスレスコンテキスト圧縮の新しい手法であるCOREを提案する。
  論文  参考訳（メタデータ） (2025-08-24T12:21:50Z)
• Enhancing RAG Efficiency with Adaptive Context Compression [24.94881830262324]
  検索拡張生成は、長い検索コンテキストのためにかなりの推論コストを発生させる。 既存の手法では、固定圧縮率、単純なクエリの過剰圧縮、複雑なクエリのアンダー圧縮などを適用している。 本稿では,入力複雑性に基づいて動的に圧縮率を調整するフレームワークであるRAG(ACC-RAG)の適応文脈圧縮を提案する。
  論文  参考訳（メタデータ） (2025-07-24T13:46:51Z)
• EoRA: Fine-tuning-free Compensation for Compressed LLM with Eigenspace Low-Rank Approximation [84.70637613266835]
  EoRAは、圧縮されたLarge Language Modelを低ランク行列で拡張する微調整不要な手法である。 EoRAは、圧縮LDMの精度を回復するために、トレーニングなしの低ランク法よりも一貫して優れている。
  論文  参考訳（メタデータ） (2024-10-28T17:59:03Z)
• Prompt Compression with Context-Aware Sentence Encoding for Fast and Improved LLM Inference [16.830389144259584]
  文レベルのプロンプト圧縮技術である文脈対応プロンプト圧縮(CPC)を提案する。 鍵となる革新は、与えられた質問に対する各文の関連スコアを提供する新しい文脈対応の文エンコーダである。 提案手法は,ベンチマークデータセットの高速圧縮に関する先行研究をかなり上回っている。
  論文  参考訳（メタデータ） (2024-09-02T13:02:51Z)
• Differential error feedback for communication-efficient decentralized learning [48.924131251745266]
  本稿では,差分量子化と誤りフィードバックをブレンドする分散通信効率学習手法を提案する。 その結果,平均二乗誤差と平均ビットレートの両面において通信効率が安定であることが示唆された。 その結果、小さなステップサイズで有限ビットの場合には、圧縮がない場合に達成可能な性能が得られることが判明した。
  論文  参考訳（メタデータ） (2024-06-26T15:11:26Z)
• In-Context Former: Lightning-fast Compressing Context for Large Language Model [48.831304302467004]
  本稿では,Transformer-based large language model (LLM) の長期入力コンテキストを圧縮する手法を提案する。 我々は,単語の埋め込みから情報を集めるために,クロスアテンション機構と少数の学習可能なダイジェストトークンを使用する。 実験の結果, 圧縮時のベースライン浮動小数点演算の1/32しか必要とせず, 処理速度を68倍から112倍に向上することがわかった。
  論文  参考訳（メタデータ） (2024-06-19T15:14:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。