論文の概要: HERO: Harnessing Evidence for Test-time Refinement and Prompt Optimization in Program Generation

• arxiv url: http://arxiv.org/abs/2610.19184v2
• Date: Sat, 17 Oct 2026 20:48:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 21:22:33.485048
• Title: HERO: Harnessing Evidence for Test-time Refinement and Prompt Optimization in Program Generation
• Title（参考訳）: HERO:プログラム生成におけるテスト時間短縮とプロンプト最適化のハーネス化
• Abstract要約: 我々は、オフラインとテストタイムのハーネス最適化を組み合わせたHEROを紹介する。 HEROは実行検証された成功と失敗から再利用可能な即時更新を学習する。 テスト時には、生成されたコードをインスタンス固有のハーネスとして扱い、実行フィードバックを使ってそれを洗練します。
• 参考スコア（独自算出の注目度）: 20.284118594006213
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Harness optimization improves LLMs by refining reusable prompts and scaffolding, yet requires further adaptation for program generation tasks such as text-to-SQL and text-to-Python. Existing methods often rely on LLM reflectors to propose harness updates, which can fix observed failures but also disrupt previously correct behavior. Text-to-code tasks offer a natural way to mitigate this issue: we can execute generated outputs, allowing us to evaluate and verify the effects of proposed updates directly. Building on this signal, we introduce HERO Harnessing Evidence for Refinement and Optimization), which combines offline and test-time harness optimization. At the first stage, HERO learns reusable prompt updates from execution-verified successes and failures and validates candidate revisions before adoption. At test time, we treat the generated code as an instance-specific harness and refine it using execution feedback. Across four SQL, Cypher, and Python benchmarks, HERO achieves the best offline performance, improving pass@1 by 7.6 points over the initial prompt, while test-time refinement adds another 2.0 points and improves execution efficiency.
• Abstract（参考訳）: Harnessの最適化は再利用可能なプロンプトやスキャフォールディングを書き換えることでLLMを改善するが、text-to-SQLやtext-to-Pythonのようなプログラム生成タスクにさらに適応する必要がある。 既存の手法は、しばしばLLMリフレクタに頼って、観測された障害を修正できるとともに、以前の正しい動作を妨害するハーネス更新を提案する。 テキストからコードへのタスクは、この問題を緩和する自然な方法を提供する: 生成された出力を実行でき、提案された更新の効果を直接評価し、検証することができる。 この信号に基づいてHERO Harnessing Evidence for Refinement and Optimizationを導入する。 最初の段階では、HEROは実行検証された成功と失敗から再利用可能な即時アップデートを学び、採用前に候補修正を検証する。 テスト時には、生成されたコードをインスタンス固有のハーネスとして扱い、実行フィードバックを使ってそれを洗練します。 SQL、Cypher、Pythonの4つのベンチマークで、HEROは最高のオフラインパフォーマンスを実現し、最初のプロンプトでpass@1を7.6ポイント改善した。

関連論文リスト

• RLPF: Reinforcement Learning from Performance Feedback for Code Generation [44.39557506834191]
  評価基準としてのみ効率性を扱うのではなく、より高速な実装を好むようにコードエージェントを訓練する方法を研究する。 本稿では,パフォーマンスフィードバックからの強化学習である textbfRLPF を提案する。 PerfCodeBench の RLPF による微調整 Qwen3-32B は,修正および実行可能なソリューションを 11.1% から 54.6% に引き上げる。
  論文  参考訳（メタデータ） (2026-07-29T11:39:55Z)
• TTHE: Test-Time Harness Evolution [50.26245555541721]
  既存のアプローチでは、デプロイ前、トレーニング前、あるいはテスト時に凍結される固定されたエージェントワークフローの開発データを最適化する。 我々は、エージェントがテスト入力で生成するラベルのない実行トレースのみを使用して、評価自体にハーネスを最適化できるかどうかを問う。 評価中、TTHEは候補ハーネスの人口を維持し、それらの実行トレースの理由をエージェントプロジェクタを通じてそれらを洗練する。 その後、審査員は実行元プロキシ信号から改善されたハーネスをコミットし、選択したプログラムは継続してその後の入力を統治する。
  論文  参考訳（メタデータ） (2026-07-09T05:53:39Z)
• ACE: Self-Evolving LLM Coding Framework via Adversarial Unit Test Generation and Preference Optimization [28.464748466548965]
  ACEは、ソルバ・アドバイザリーアーキテクチャに基づく自己進化型コード生成フレームワークである。 実行中心の監視を通じて、アクティブな障害発見を優先する。 ACEは強いソルバよりも一貫して優れています。
  論文  参考訳（メタデータ） (2026-04-17T07:20:01Z)
• TATRA: Training-Free Instance-Adaptive Prompting Through Rephrasing and Aggregation [10.52527481709651]
  大きな言語モデル(LLM)は大幅に改善されているが、その振舞いは表現の速さに非常に敏感である。 本稿では,インスタンス固有の少数ショットプロンプトを構成するデータセットフリープロンプトであるTATRAを紹介する。 数学的推論ベンチマークでは、TATRAはGSM8KとDeepMathで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-02-06T19:20:35Z)
• Relevance to Utility: Process-Supervised Rewrite for RAG [38.81331265140413]
  モジュールが真のドキュメントユーティリティをキャプチャできないことを示す。 本稿では,正しい解を生成する確率を最大化するために,直接最適化する鍵となる特徴を持つR2Uを提案する。
  論文  参考訳（メタデータ） (2025-09-19T04:24:57Z)
• Test-Time Alignment for Large Language Models via Textual Model Predictive Control [63.508812485566374]
  Textual Model Predictive Control (TMPC) は、推論時に大規模言語モデルを調整するために適応された新しい予測計画フレームワークである。 TMPCは、談話レベル翻訳、長文応答生成、プログラム合成の3つの異なるセグメンテーション特性を持つタスクで評価される。 その結果、TMPCはパフォーマンスを継続的に改善し、一般性を強調している。
  論文  参考訳（メタデータ） (2025-02-28T07:24:33Z)
• Efficient Real-time Refinement of Language Model Text Generation [65.1937138219008]
  大規模言語モデル(LLM)は、幅広い自然言語タスクにおいて顕著な性能を示している。 重要な課題は、時に事実的に誤った答えを生じさせることである。 本稿では,LLM出力の検証と改善の効率化を目的とした新しい手法であるStreaming-VRを提案する。
  論文  参考訳（メタデータ） (2025-01-14T03:59:48Z)
• In-context Demonstration Matters: On Prompt Optimization for Pseudo-Supervision Refinement [71.60563181678323]
  大規模言語モデル(LLM)は様々なタスクで大きな成功を収めており、生成品質をさらに向上させるためには微調整が必要である場合もある。 これらの課題に対処する直接的な解決策は、教師なしの下流タスクから高信頼のデータを生成することである。 本稿では,プロンプトと全体的な擬似スーパービジョンを両立させる新しい手法,擬似教師付きデモアライメント・アライメント・アライメント・プロンプト・最適化(PAPO)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-04T03:39:28Z)
• DAC: Decomposed Automation Correction for Text-to-SQL [51.48239006107272]
  De Automation Correction (DAC)を導入し、エンティティリンクとスケルトン解析を分解することでテキストから合成を補正する。 また,本手法では,ベースライン法と比較して,スパイダー,バード,カグルDBQAの平均値が平均3.7%向上することを示した。
  論文  参考訳（メタデータ） (2024-08-16T14:43:15Z)
• Text Revision by On-the-Fly Representation Optimization [76.11035270753757]
  現在の最先端手法は、これらのタスクをシーケンスからシーケンスまでの学習問題として定式化している。 並列データを必要としないテキストリビジョンのための反復的なインプレース編集手法を提案する。 テキストの単純化に関する最先端の教師付き手法よりも、競争力があり、パフォーマンスも向上する。
  論文  参考訳（メタデータ） (2022-04-15T07:38:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。