論文の概要: Compile as Hypothesis: A Headroom Typology for Prompt Optimization on Real Reasoning Models

• arxiv url: http://arxiv.org/abs/2611.01135v1
• Date: Sat, 31 Oct 2026 17:24:48 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 20:18:51.198614
• Title: Compile as Hypothesis: A Headroom Typology for Prompt Optimization on Real Reasoning Models
• Title（参考訳）: 仮説としてのコンパイル:実推論モデルにおけるプロンプト最適化のためのヘッドルームタイポロジー
• Abstract要約: 自動プロンプトコンパイラは、最適化が下流のパフォーマンスを継続的に改善するという暗黙の仮定の下で、検索または書き直しを行う。 4つのファミリー(ゲノム検索、プロファイル誘導突然変異、EPA、ESPO)で構造化された検索は、強い推論者に対して統計的に有意な精度を得られない。 離散構造は、致命的な構造安定性をもたらし、破滅的な二モーダル種子崩壊を防ぐ。
• 参考スコア（独自算出の注目度）: 0.7734726150561088
• License:
• Abstract: Automated prompt compilers search for or rewrite prompts under the implicit assumption that optimization consistently improves downstream task performance. We evaluate this assumption on frontier reasoning models through rigorous paired, same-day measurements. Across four optimizer families (genome search, profile-guided mutation, GEPA, and ESPO) and eight tasks, structured search yields no statistically significant accuracy gains on strong reasoners. However, a discrete structural genome provides essential architectural stability, preventing catastrophic bimodal seed-collapse (where unconstrained search collapses toward the judge floor in 3/5 runs). Through 190-problem evaluations on knowledge-intensive benchmarks, we establish a three-dimensional headroom typology: prompt optimization cannot compensate for intrinsic knowledge deficits or physical token truncation, but successfully resolves protocol and formatting errors. On gpt-6, while free-text reflective search (GEPA) yields a +.14 gain on a task where structured search remains flat, qualitative ablation reveals that ~.035 stems from judge-rubric reconstruction while ~.105 reflects genuine instruction refinement. Our pre-registered AutoAPC-Select deployment gate matches the oracle policy in 5/7 groups and rescues seed-collapse arms with zero regret. Finally, we expose silent backend-mixing in commercial APIs during outage windows and provide automated per-call audit verification tools to ensure empirical evaluation fidelity.
• Abstract（参考訳）: 自動プロンプトコンパイラは、最適化がダウンストリームタスクのパフォーマンスを一貫して改善するという暗黙の仮定の下で、検索または書き直しを行う。 我々は、厳密なペア同日測定により、フロンティア推論モデルに対するこの仮定を評価する。 4つのオプティマイザファミリー(ゲノム探索、プロファイル誘導突然変異、EPA、ESPO)と8つのタスクにまたがって、構造化された検索は、強い推論者に対して統計的に有意な精度が得られない。 しかし、離散構造ゲノムは、致命的な構造安定性をもたらし、破滅的な二モーダルシード崩壊を防ぐ(3/5ランで、未拘束の探索が判断フロアに向かって崩壊する)。 知識集約型ベンチマークにおける190-problemの評価を通じて,3次元の頭部タイプボロジーを確立した: 迅速な最適化は本質的な知識不足や物理的トークンの切り離しを補うことはできないが,プロトコルやフォーマットエラーの解決に成功している。 gpt-6では、自由テキスト反射探索(GEPA)が、構造化された探索が平坦なタスクで+.14ゲインを得るのに対して、質的アブレーションにより、 ~.035 は判定ルブリックな再構成から始まり、 ~.105 は真の命令の洗練を反映していることが明らかになった。 登録済みのAutoAPC-Select配置ゲートは、5/7グループでオラクルのポリシーと一致し、無後悔でシード崩壊の腕を救った。 最後に、停止中の商用APIにサイレントバックエンドミキシングを公開し、試験的評価の正確性を確保するために、コールごとの自動監査検証ツールを提供する。

関連論文リスト

• IdeaAMBIG: Benchmarking Implementation-Critical Gaps in Research-Idea Specifications [52.570108663867046]
  研究のアイデアは、新しく、一貫性があり、科学的に妥当であるが、その提案された手法は、忠実な実装のために不十分に指定されている。 提案手法は,実装を対象とする研究手法仕様の体系化の可否を,有能な実装者やコーディングエージェントに十分な方法論的情報を提供して,前提条件を満たさずに目的とする手法を構築することができるかを検討する。 IdeaAMBIGは660のエビデンス基底インスタンスのベンチマークで、レポートとGitHubの問題から163の現実世界のギャップと、コーディフィケーション対応のリファレンスに注入される合成ギャップを497のコントロールで管理する。
  論文  参考訳（メタデータ） (2026-09-09T17:59:04Z)
• EAVer: Long-Form Factuality Verification as an End-to-End Agentic Policy [50.665874114632]
  我々は、完全な応答レベルの検証ワークフローを統一ポリシーとして制御することを学ぶ、エンドツーエンドのエージェント検証であるEAVerを紹介する。 EAVerはセマンティック関連クレームをグループ化し、信頼に基づいた直接検証やターゲット検索にルートし、コンパクトなインコンテキストメモで検索によって返される証拠を保持する。
  論文  参考訳（メタデータ） (2026-09-02T21:00:35Z)
• Coding Agents are Strong Prompt Optimizers [7.9205333979965635]
  市販の符号化エージェントが直接最適化されたプロンプトを合成可能であることを示す。 我々はこのアプローチをtextCoding-Agent Skill Distillation (CASD) と呼ぶ。
  論文  参考訳（メタデータ） (2026-08-13T11:10:32Z)
• Fantastic Adaptive Taxonomies and How to Use Them [100.20614173157708]
  AdaMASTは、実行トレースをコンパクトでエビデンスに基づく障害分類に変換する。 コードには手書きのコードはなく、人間による注釈もない。 エージェント・システム・サーチでは、失敗候補の分類コード診断が自由形式より優れている。
  論文  参考訳（メタデータ） (2026-07-17T17:41:16Z)
• Agentic Adversarial Rewriting Exposes Architectural Vulnerabilities in Black-Box NLP Pipelines [34.37967130277969]
  本稿では,意味摂動空間で動作する2エージェント回避フレームワークを提案する。 現代大言語モデル(LLM)ベースのシステムでは、普及率は19.95から40.34%である。 パターンインフォームド・ディフェンスは回避率を65.18%まで下げる。
  論文  参考訳（メタデータ） (2026-04-26T00:58:36Z)
• Dynamic analysis enhances issue resolution [53.50448142467294]
  DAIRA(Dynamic Analysis-enhanced Issue Resolution Agent)は、エージェントの推論サイクルに動的解析を組み込む自動修復フレームワークである。 テストトレース駆動の方法論によって駆動されるDAIRAは、軽量モニタを使用して重要なランタイムデータを抽出する。 Gemini 3 Flash Previewを使用すると、DAIRAは新たな最先端(SOTA)パフォーマンスを確立し、SWE-bench Verifiedデータセットで79.4%の解像度を達成する。
  論文  参考訳（メタデータ） (2026-03-23T14:48:54Z)
• Reflection in the Dark: Exposing and Escaping the Black Box in Reflective Prompt Optimization [1.8420836938108678]
  本稿では,仮説生成を即時書き直しから切り離すマルチエージェントAPOフレームワークであるVISTAを提案する。 ランダム再起動とエプシロン-グレディサンプリングを組み合わせた2層探索-露光機構は、さらに局所最適を逃れる。
  論文  参考訳（メタデータ） (2026-03-19T01:14:36Z)
• Mitigating LLM Hallucinations through Domain-Grounded Tiered Retrieval [0.0]
  大型言語モデル (LLM) は前例のない流布を達成したが、「幻覚」の影響を受けないままである。 本研究では,LLMをパターンマッチングから真偽探索へシフトさせることにより,事実不正確さを検知する階層型検索・検証アーキテクチャを提案する。 システムは5つの多様なベンチマークから650のクエリで評価された。
  論文  参考訳（メタデータ） (2026-03-18T15:59:30Z)
• Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
  暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。 Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。 SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
  論文  参考訳（メタデータ） (2025-09-25T14:05:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。