論文の概要: EngramBench: A Capability-Grounded Benchmark for Skill-Evolution Harnesses
- arxiv url: http://arxiv.org/abs/2609.39284v1
- Date: Wed, 30 Sep 2026 08:33:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 18:57:27.446975
- Title: EngramBench: A Capability-Grounded Benchmark for Skill-Evolution Harnesses
- Title（参考訳）: EngramBench: スキル進化のハーネスのベンチマーク
- Abstract要約: EngramBenchは、ソリューションオーバーラップすることなく、厳密なオーバーラップの公理に支配される機能基底ベンチマークである。
人間の専門的検証によって裏付けられた48の複数時間実行軌跡に対する我々の評価は、手続き記憶に関する深い洞察を浮き彫りにしている。
破滅的なトークン重大な試行錯誤からエージェントを遠ざけることで、真の能力抽象化は冗長なコンテキストの肥大を削減し、全体的なコーディング時間を55%以上削減します。
- 参考スコア（独自算出の注目度）: 50.93446596863591
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While large language models have achieved remarkable success in isolated code generation, authentic software engineering requires sustained reasoning, complex state management, and continuous cross-domain abstraction. However, current evaluations of skill evolution in autonomous agents suffer from a critical identifiability problem: they structurally confound genuine capability abstraction with rote solution leakage (i.e., copying highly similar code from historical training data). To resolve this, we introduce EngramBench, a rigorous, capability-grounded benchmark governed by the strict axiom of capability overlap without solution overlap. Comprising 30 diverse learning tasks and 13 unseen transfer tasks, EngramBench challenges agents to navigate interactive, multi-hour development cycles driven by LLM-simulated users. Our extensive evaluation across 48 multi-hour execution trajectories -- corroborated by human-expert validation -- reveals a profound insight into procedural memory. We demonstrate that static skill banks do not magically bypass the "last mile" of exact code implementation, which remains bottlenecked by the base model's inherent reasoning limits. However, they serve as an indispensable execution compass. By navigating agents away from catastrophic, token-heavy trial-and-error, genuine capability abstraction slashes redundant context bloat and reduces overall coding time by over 55%. Ultimately, EngramBench shifts the evaluation paradigm from trivial pattern matching to the verifiable measurement of deep, cross-domain capability transfer.
- Abstract（参考訳）: 大規模言語モデルは孤立したコード生成において顕著な成功を収めていますが、真のソフトウェア工学には、持続的な推論、複雑な状態管理、継続的なドメイン間の抽象化が必要です。
しかし、自律エージェントのスキル進化に関する現在の評価は重要な識別可能性の問題に悩まされており、それらは構造的にルート・ソリューション・リーク(すなわち、歴史的トレーニングデータから非常に類似したコードをコピーする)で真の能力抽象化を導出する。
この問題を解決するために,厳密で高機能なベンチマークであるEngramBenchを導入する。
30の多様な学習タスクと13の未確認の移行タスクを補完するEngramBenchは、エージェントに対して、LLMシミュレーションユーザによって駆動されるインタラクティブなマルチ時間開発サイクルをナビゲートするよう警告する。
人間の専門的検証によって裏付けられた48の複数時間実行軌跡に対する広範な評価は、手続き記憶に深い洞察を与えている。
静的スキルバンクは、ベースモデル固有の推論制限によってボトルネックが残っている、正確なコード実装の"ラストマイル"を魔法のようにバイパスするものではないことを実証します。
しかし、それらは必須の実行コンパスとして機能する。
破滅的なトークン重大な試行錯誤からエージェントを遠ざけることで、真の能力抽象化は冗長なコンテキストの肥大を削減し、全体的なコーディング時間を55%以上削減します。
最終的に、EngramBenchは評価パラダイムを、自明なパターンマッチングから、深いクロスドメイン機能移行の検証可能な測定にシフトする。
関連論文リスト
- MTAC-IFBench: Benchmarking Instruction-Following in Multi-Turn Agentic Coding [83.0805548642958]
MTAC-IFBenchは、ソフトウェア開発におけるインストラクションフォローのための包括的なベンチマークである。
6つのプライマリと18のセカンダリカテゴリにまたがるさまざまな制約を持つ、多ターンプログレッシブなソフトウェア開発指示が特徴である。
MTAC-IFBenchは、マルチターン命令フォローにおける既存のコードエージェントの重大な欠陥を認識し、インタラクションセッションが長くなるにつれてパフォーマンスが急速に低下する。
論文 参考訳（メタデータ） (2026-09-14T03:57:37Z) - What Really Improves Mathematical Reasoning: Structured Reasoning Signals Beyond Pure Code [72.9921566968371]
ドメイン分離のきめ細かい10T-tokenコーパスにおける事前学習の制御実験により,コードが推論を改善するという主張を再考する。
コードはプログラミング能力を大幅に改善するが、一般的な推論エンハンサーとして機能しない。
コード-テキストと数学-テキストの混合のようなドメイン間構造的推論トレースがよりうまく説明されている。
論文 参考訳（メタデータ） (2026-05-19T12:37:01Z) - A2RBench: An Automatic Paradigm for Formally Verifiable Abstract Reasoning Benchmark Generation [59.98516959731531]
抽象推論能力は、抽象ルールを抽出し適用するためのLLMの知性と能力を反映する。
既存のベンチマークは、高価な手作業のアノテーション、そのスケールの制限、あるいは真の推論ではなく暗記のリスク測定に頼っている。
我々はA2RBenchという名の自動パイプラインを導入し、生成、拡張、評価、分析を行う。
論文 参考訳（メタデータ） (2026-05-17T06:14:20Z) - CodeTracer: Towards Traceable Agent States [40.51936201889185]
異種実行アーティファクトを解析し,抽出器を進化させるトレースアーキテクチャであるCodeTracerを提案する。
CodeTracerは、永続的なメモリを持つ階層的なトレースツリーとして、完全な状態遷移履歴を再構築する。
障害発生元とその下流チェーンを特定するために、障害オンセットのローカライゼーションを実行する。
論文 参考訳（メタデータ） (2026-04-13T15:52:03Z) - Your Code Agent Can Grow Alongside You with Structured Memory [6.836735626065529]
我々は,人間とAIの継続的な共進化を可能にするフレームワークであるMemCoderを提案する。
MemCoderはまず、過去のコミットから潜伏した意図-コードマッピングを蒸留するために、過去の人間の経験を構造化する。
次に、検証フィードバックによって駆動される自己リファインメントメカニズムを使用して、エージェントの動作をリアルタイムで修正する。
論文 参考訳（メタデータ） (2026-02-25T06:39:29Z) - Accelerate Speculative Decoding with Sparse Computation in Verification [49.74839681322316]
投機的復号化は、複数のドラフトトークンを並列に検証することにより、自動回帰言語モデル推論を加速する。
既存のスペーシフィケーション方式は主にトークン・バイ・トーケンの自己回帰復号化のために設計されている。
そこで本研究では,注目度,FFN,MoEを両立させるスパース検証フレームワークを提案する。
論文 参考訳（メタデータ） (2025-12-26T07:53:41Z) - Scaling Code-Assisted Chain-of-Thoughts and Instructions for Model Reasoning [65.20602712957725]
Cacoは、高品質で検証可能な多様な命令-CoT推論データの合成を自動化する新しいフレームワークである。
我々の研究は、人間の介入なしに自己持続的で信頼できる推論システムを構築するためのパラダイムを確立します。
論文 参考訳（メタデータ） (2025-10-05T07:59:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。