論文の概要: On Problems of Implicit Context Compression for Software Engineering Agents
- arxiv url: http://arxiv.org/abs/2605.11051v1
- Date: Mon, 11 May 2026 14:47:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-13 21:48:56.330799
- Title: On Problems of Implicit Context Compression for Software Engineering Agents
- Title(参考訳): ソフトウェア・エンジニアリング・エージェントにおけるインシシト・コンプレッションの問題点
- Authors: Kirill Gelvan, Igor Slinko, Felix Steinbauer, Egor Bogomolov, Florian Kofler, Yaroslav Zharov,
- Abstract要約: LLMベースのソフトウェアエンジニアリングエージェントは重要なボトルネックに直面している。
有望な解決策の1つは、コンテキストを離散トークンではなく連続的な埋め込みとしてエンコードし、より密集した情報ストレージを可能にすることである。
この目的のために最近提案された In-Context Autoencoder を適用した。
本手法は単発共通認識タスクやコード理解タスクではうまく機能するが,本実験では多段階のエージェントコーディングタスクではフェールすることを示した。
- 参考スコア(独自算出の注目度): 3.9397002735105566
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: LLM-based Software Engineering agents face a critical bottleneck: context length limitations cause failures on complex, long-horizon tasks. One promising solution is to encode context as continuous embeddings rather than discrete tokens, enabling denser information storage. We apply the recently proposed In-Context Autoencoder for this purpose. While the method performs well on single-shot common-knowledge and code-understanding tasks, our experiments demonstrate that it fails on multi-step agentic coding tasks. In this paper, we explore this phenomenon and discuss possible factors contributing to this failure.
- Abstract(参考訳): LLMベースのソフトウェアエンジニアリングエージェントは重要なボトルネックに直面している。
有望な解決策の1つは、コンテキストを離散トークンではなく連続的な埋め込みとしてエンコードし、より密集した情報ストレージを可能にすることである。
この目的のために最近提案された In-Context Autoencoder を適用した。
本手法は単発共通認識タスクやコード理解タスクではうまく機能するが,本実験では多段階のエージェントコーディングタスクではフェールすることを示した。
本稿では,この現象を考察し,その原因となる可能性について考察する。
関連論文リスト
- Understanding by Reconstruction: Reversing the Software Development Process for LLM Pretraining [66.89012795621349]
大規模言語モデル(LLM)は、複雑なソフトウェア工学に必要な、深く、長期にわたる推論に苦しむことが多い。
本稿では,再構築による理解という,新しいパラダイムを提案する。
マルチエージェントシミュレーションを用いて潜在エージェント軌道を合成するフレームワークを提案する。
論文 参考訳(メタデータ) (2026-03-11T09:23:20Z) - An Evaluation of Context Length Extrapolation in Long Code via Positional Embeddings and Efficient Attention [4.307992396152879]
大規模言語モデル(LLM)は、ソフトウェア工学における自動化ツールの大幅な増加につながっている。
これらの進歩にもかかわらず、その効果は一定の文脈長によって制限される。
位置符号化の改善と注意機構の最適化を目的としたゼロショット推論専用手法について検討する。
論文 参考訳(メタデータ) (2026-02-25T11:27:34Z) - Operational Robustness of LLMs on Code Generation [2.9232837969697965]
現在、大規模言語モデル(LLM)のためのソフトウェア開発において、プログラムコードを生成するために使われるのが一般的である。
本稿では,LLMがコーディングタスクの記述の変化にどれほど敏感であるかを考察する。
このロバスト性を評価するための既存の技術は、自然言語記述の入力データ空間が離散的であるため、コード生成には適さない。
論文 参考訳(メタデータ) (2026-02-21T11:21:13Z) - AgentLongBench: A Controllable Long Benchmark For Long-Contexts Agents via Environment Rollouts [78.33143446024485]
我々は、横方向思考パズルに基づく環境ロールアウトによるエージェントの評価を行うtextbfAgentLongBenchを紹介した。
このフレームワークは、知識集約的で知識のないシナリオにまたがる厳密な相互作用の軌跡を生成する。
論文 参考訳(メタデータ) (2026-01-28T16:05:44Z) - SemAgent: A Semantics Aware Program Repair Agent [14.80363334219173]
SemAgentは、イシュー、コード、実行セマンティクスを利用して完全なパッチを生成する、新しいワークフローベースのプロシージャである。
我々は、(a)実行セマンティクスを活用して関連するコンテキストを検索し、(b)一般化された抽象化を通して問題セマンティクスを理解し、(c)この抽象化のコンテキスト内でコードセマンティクスを分離する、という新しいパイプラインを通してこれを実現する。
提案手法は,SWEBench-Liteベンチマークで44.66%の解率を達成し,ワークフローベースのアプローチを全て上回り,ベースラインと比較して7.66%の絶対的な改善を実現している。
論文 参考訳(メタデータ) (2025-06-19T23:27:58Z) - KV Cache Compression, But What Must We Give in Return? A Comprehensive Benchmark of Long Context Capable Approaches [52.02764371205856]
長期の文脈能力は、大規模言語モデル(LLM)にとって重要な能力である
この研究は、現在の手法の分類を提供し、長いコンテキストタスクの7つのカテゴリにまたがる10以上の最先端のアプローチを評価する。
論文 参考訳(メタデータ) (2024-07-01T17:59:47Z) - Unlocking Efficiency in Large Language Model Inference: A Comprehensive Survey of Speculative Decoding [46.485363806259265]
投機的デコーディングは、LLM(Large Language Models)推論のための新しいデコーディングパラダイムとして登場した。
復号処理の各ステップにおいて、この手法はまず、複数の将来のトークンを効率的にドラフトし、それらを並列に検証する。
本稿では,この有望な復号化パラダイムの概観と解析について述べる。
論文 参考訳(メタデータ) (2024-01-15T17:26:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。