論文の概要: Planning to Explore: Curiosity-Driven Planning for LLM Test Generation
- arxiv url: http://arxiv.org/abs/2604.05159v1
- Date: Mon, 06 Apr 2026 20:40:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-08 17:42:09.48259
- Title: Planning to Explore: Curiosity-Driven Planning for LLM Test Generation
- Title(参考訳): LLMテスト生成のための好奇心駆動型計画
- Abstract要約: テスト生成の現在のアプローチは、即時カバレッジゲインを最大化する戦略に依存している。
ベイズ探索の原理を用いて,プログラムの分岐構造を未知の環境として扱う。
提案手法はTestGenEval Liteのグリーディ選択に優れ,3つのLLMで51~77%,77~84%の目標で勝利した。
- 参考スコア(独自算出の注目度): 33.08809975771204
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The use of LLMs for code generation has naturally extended to code testing and evaluation. As codebases grow in size and complexity, so does the need for automated test generation. Current approaches for LLM-based test generation rely on strategies that maximize immediate coverage gain, a greedy approach that plateaus on code where reaching deep branches requires setup steps that individually yield zero new coverage. Drawing on principles of Bayesian exploration, we treat the program's branch structure as an unknown environment, and an evolving coverage map as a proxy probabilistic posterior representing what the LLM has discovered so far. Our method, CovQValue, feeds the coverage map back to the LLM, generates diverse candidate plans in parallel, and selects the most informative plan by LLM-estimated Q-values, seeking actions that balance immediate branch discovery with future reachability. Our method outperforms greedy selection on TestGenEval Lite, achieving 51-77% higher branch coverage across three popular LLMs and winning on 77-84% of targets. In addition, we build a benchmark for iterative test generation, RepoExploreBench, where they achieve 40-74%. These results show the potential of curiosity-driven planning methods for LLM-based exploration, enabling more effective discovery of program behavior through sequential interaction
- Abstract(参考訳): コード生成におけるLLMの使用は、コードテストと評価に自然に拡張されている。
コードベースのサイズと複雑さが大きくなると、自動テスト生成も必要になる。
LLMベースのテスト生成の現在のアプローチは、即時カバレッジゲインを最大化する戦略に依存している。
ベイズ探索の原理に基づき、プログラムの分岐構造を未知の環境として扱うとともに、LLMがこれまでに発見したことを表すプロキシ確率的後部マップとして進化する。
我々の手法であるCovQValueは、LLMにカバレッジマップを返送し、様々な候補プランを並列に生成し、LLMが推定したQ値を用いて最も情報性の高いプランを選択し、即座に分岐発見と将来の到達可能性のバランスをとるアクションを求める。
提案手法はTestGenEval Liteのグリーディ選択に優れ,3つのLLMで51~77%,77~84%の目標で勝利した。
さらに、反復的なテスト生成のベンチマークであるRepoExploreBenchを構築し、40-74%を達成しました。
これらの結果は、LCMに基づく探索のための好奇心駆動型計画手法の可能性を示し、逐次的相互作用によるプログラム行動のより効果的な発見を可能にする。
関連論文リスト
- LLMAP: LLM-Assisted Multi-Objective Route Planning with User Preferences [31.10423199218523]
大規模言語モデル(LLM)の台頭により、リッチなユーザ目標を含む新たな研究領域を自然言語駆動で計画するルートが生まれている。
本稿では,自然言語を理解し,タスクを識別し,ユーザの好みを抽出するLLM-asタスクを提案する。
世界中の14の国と27の都市で、様々な複雑さでサンプリングされた1000のルーティングプロンプトを用いて広範な実験を行っている。
論文 参考訳(メタデータ) (2025-09-14T02:30:19Z) - Neural Bandit Based Optimal LLM Selection for a Pipeline of Tasks [11.389019661082415]
本稿では,各サブタスク上でLLMの成功をオンラインにモデル化するニューラルネットワークをトレーニングするニューラルネットワークのコンテキスト帯域ベースアルゴリズムを提案する。
通信質問応答と診断予測データセットの実験から,提案手法の有効性が示唆された。
論文 参考訳(メタデータ) (2025-08-13T17:19:41Z) - Open-Source LLMs Collaboration Beats Closed-Source LLMs: A Scalable Multi-Agent System [51.04535721779685]
本稿では,オープンソース集団の可能性と強みを実証することを目的とする。
高性能なマルチエージェント協調システム(MACS)フレームワークであるSMACSを提案する。
8つの主要なベンチマーク実験により、SMACSの有効性が検証された。
論文 参考訳(メタデータ) (2025-07-14T16:17:11Z) - Iterative Self-Incentivization Empowers Large Language Models as Agentic Searchers [74.17516978246152]
大規模言語モデル(LLM)は、従来の手法を進化させるために情報検索に広く統合されている。
エージェント検索フレームワークであるEXSEARCHを提案する。
4つの知識集約ベンチマークの実験では、EXSEARCHはベースラインを大幅に上回っている。
論文 参考訳(メタデータ) (2025-05-26T15:27:55Z) - Latent Factor Models Meets Instructions: Goal-conditioned Latent Factor Discovery without Task Supervision [50.45597801390757]
Instruct-LFはゴール指向の潜在因子発見システムである。
命令フォロー機能と統計モデルを統合して、ノイズの多いデータセットを処理する。
論文 参考訳(メタデータ) (2025-02-21T02:03:08Z) - When Do LLMs Help With Node Classification? A Comprehensive Analysis [21.120619437937382]
我々はLarge Language Models (LLMs) を用いたノード分類のための包括的でテストベッドを開発する。
10のホモ親和性データセット、4つのヘテロ親和性データセット、8つのLLMアルゴリズム、8つの古典的ベースライン、3つの学習パラダイムを含む。
その結果,(1) LLMに基づく手法は, 半教師付き環境では従来手法よりも優れているが, 教師付き環境では優位性が低い, という8つの知見が得られた。
論文 参考訳(メタデータ) (2025-02-02T15:56:05Z) - Query-Efficient Planning with Language Models [8.136901056728945]
複雑な環境での計画では、エージェントがスタートからゴールまでの一連のアクションを見つけるために、ワールドモデルを効率的にクエリする必要がある。
最近の研究によると、Large Language Models(LLM)は、将来有望な状態を探索し、世界からのフィードバックに適応することによって、計画に役立つ可能性がある。
両アプローチが同等のベースラインで改善されているのに対して,LLMを生成プランナーとして使用すると,相互作用が大幅に減少することを示す。
論文 参考訳(メタデータ) (2024-12-09T02:51:21Z) - From Words to Actions: Unveiling the Theoretical Underpinnings of LLM-Driven Autonomous Systems [59.40480894948944]
大規模言語モデル (LLM) は、物理世界の意思決定問題を解くことができる。
このモデルの下で、LLM Plannerは、プロンプトを介して言語ベースのサブゴールを反復的に生成することにより、部分的に観測可能なマルコフ決定プロセス(POMDP)をナビゲートする。
我々は,事前学習したLLMプランナーが,文脈内学習を通じてベイズ的集計模倣学習(BAIL)を効果的に行うことを証明した。
論文 参考訳(メタデータ) (2024-05-30T09:42:54Z) - PiCO: Peer Review in LLMs based on the Consistency Optimization [48.48819141999387]
ピアレビュー機構を用いて,大規模言語モデル(LLM)を自動的に測定する。
制約付き最適化問題として定式化し、各LLMの能力とスコアの一貫性を最大化することを目的としている。
我々はPEN, CIN, LISという3つの指標を提案し, ランク付けのギャップを評価する。
論文 参考訳(メタデータ) (2024-02-02T18:49:26Z) - Large Language Model-Aware In-Context Learning for Code Generation [75.68709482932903]
大規模言語モデル(LLM)は、コード生成において印象的なコンテキスト内学習(ICL)能力を示している。
コード生成のためのLAIL (LLM-Aware In-context Learning) という新しい学習ベース選択手法を提案する。
論文 参考訳(メタデータ) (2023-10-15T06:12:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。