論文の概要: Gistify! Codebase-Level Understanding via Runtime Execution
- arxiv url: http://arxiv.org/abs/2510.26790v1
- Date: Thu, 30 Oct 2025 17:58:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-31 16:05:09.970617
- Title: Gistify! Codebase-Level Understanding via Runtime Execution
- Title(参考訳): Gistify!実行時実行によるコードベースレベルの理解
- Authors: Hyunji Lee, Minseon Kim, Chinmay Singh, Matheus Pereira, Atharv Sonwane, Isadora White, Elias Stengel-Eskin, Mohit Bansal, Zhengyan Shi, Alessandro Sordoni, Marc-Alexandre Côté, Xingdi Yuan, Lucas Caccia,
- Abstract要約: Gistifyは、コーディング LLM が特定の機能を再現できる単一で最小限の自己完結型ファイルを作成する必要があるタスクである。
現在の最先端モデルは、Gistifyタスク、特に長時間実行のあるタスクを確実に解くのに苦労している。
- 参考スコア(独自算出の注目度): 97.63528391679807
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As coding agents are increasingly deployed in large codebases, the need to automatically design challenging, codebase-level evaluation is central. We propose Gistify, a task where a coding LLM must create a single, minimal, self-contained file that can reproduce a specific functionality of a codebase. The coding LLM is given full access to a codebase along with a specific entrypoint (e.g., a python command), and the generated file must replicate the output of the same command ran under the full codebase, while containing only the essential components necessary to execute the provided command. Success on Gistify requires both structural understanding of the codebase, accurate modeling of its execution flow as well as the ability to produce potentially large code patches. Our findings show that current state-of-the-art models struggle to reliably solve Gistify tasks, especially ones with long executions traces.
- Abstract(参考訳): コーディングエージェントが大規模コードベースにますますデプロイされるにつれて、コードベースレベルの評価が重要になる。
Gistifyは、コーディングLLMがコードベースの特定の機能を再現できる単一の最小限の自己完結型ファイルを作成する必要があるタスクである。
コーディング LLM は特定のエントリポイント(例:pythonコマンド)とともにコードベースへの完全なアクセスが与えられ、生成されたファイルは、提供されたコマンドを実行するのに必要なコンポーネントのみを含むと同時に、コードベース内で実行される同じコマンドの出力を複製する必要がある。
Gistifyの成功には、コードベースの構造的理解、実行フローの正確なモデリング、および潜在的に大きなコードパッチを生成する能力の両方が必要である。
以上の結果から,現在の最先端モデルはGistifyタスク,特に長期実行トレースのあるタスクを確実に解くのに苦労していることがわかった。
関連論文リスト
- CodeRAG: Finding Relevant and Necessary Knowledge for Retrieval-Augmented Repository-Level Code Completion [11.329578913209623]
リポジトリレベルのコード補完は、リポジトリからのより広範な情報に基づいて、未完成のコードを自動的に予測する。
CodeRAGは、リポジトリレベルのコード補完を検索するために必要な知識を特定するためのフレームワークである。
論文 参考訳(メタデータ) (2025-09-19T15:57:40Z) - CodeRAG: Supportive Code Retrieval on Bigraph for Real-World Code Generation [69.684886175768]
大規模言語モデル(LLM)は、自動コード生成において有望なパフォーマンスを示している。
本稿では,検索拡張コード生成フレームワークであるCodeRAGを提案する。
実験によると、CodeRAGはRAGのシナリオと比較して大幅に改善されている。
論文 参考訳(メタデータ) (2025-04-14T09:51:23Z) - Hierarchical Context Pruning: Optimizing Real-World Code Completion with Repository-Level Pretrained Code LLMs [24.00351065427465]
本稿では,階層型コンテキストプルーニング(HCP)という戦略を提案し,高い情報量を持つコンプリートプロンプトを構築する。
HCPは関数レベルでコードリポジトリをモデル化し、コードファイル間のトポロジ的な依存関係を維持しながら、大量の無関係なコードコンテンツを削除する。
論文 参考訳(メタデータ) (2024-06-26T12:26:16Z) - VersiCode: Towards Version-controllable Code Generation [58.82709231906735]
大規模言語モデル(LLM)は、コード生成において大きな進歩を遂げていますが、既存の研究は、ソフトウェア開発の動的な性質を説明できません。
バージョン別コード補完(VSCC)とバージョン別コードマイグレーション(VACM)の2つの新しいタスクを提案する。
VersiCodeについて広範な評価を行い、バージョン管理可能なコード生成が確かに重要な課題であることを示した。
論文 参考訳(メタデータ) (2024-06-11T16:15:06Z) - SparseCoder: Identifier-Aware Sparse Transformer for File-Level Code
Summarization [51.67317895094664]
本稿では,大規模なソースコードプロジェクトの理解と維持を支援するファイルレベルのコード要約について検討する。
長いコードシーケンスを効果的に処理するための識別子対応スパース変換器であるSparseCoderを提案する。
論文 参考訳(メタデータ) (2024-01-26T09:23:27Z) - CodeT5+: Open Code Large Language Models for Code Understanding and
Generation [72.1638273937025]
大きな言語モデル (LLM) は膨大なソースコードで事前訓練されており、コードインテリジェンスにおいて顕著な進歩を遂げている。
CodeT5+は、コンポーネントモジュールを柔軟に組み合わせて、幅広い下流のコードタスクに適合させることができるコードのためのエンコーダ-デコーダLLMのファミリーである。
我々は、ゼロショット、微調整、命令調整を含む20以上のコード関連ベンチマークでCodeT5+を広範囲に評価した。
論文 参考訳(メタデータ) (2023-05-13T14:23:07Z) - Repository-Level Prompt Generation for Large Language Models of Code [28.98699307030983]
本稿では,提案手法を用いてサンプル固有のプロンプトを生成するフレームワークを提案する。
プロンプトプロポーザルはリポジトリ全体からコンテキストを取ります。
我々は,Google Codeアーカイブから取得したコードリポジトリを用いて,単行コード自動補完のタスクについて実験を行った。
論文 参考訳(メタデータ) (2022-06-26T10:51:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。