論文の概要: Janus: An Algorithm-Evaluator Co-Evolution Framework for LLM-Driven Discovery under Expensive Evaluation Budgets

• arxiv url: http://arxiv.org/abs/2608.08189v1
• Date: Sat, 08 Aug 2026 15:31:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:36.716823
• Title: Janus: An Algorithm-Evaluator Co-Evolution Framework for LLM-Driven Discovery under Expensive Evaluation Budgets
• Title（参考訳）: Janus: 高価な評価予算の下でのLLM駆動の発見のためのアルゴリズム評価フレームワーク
• Abstract要約: 我々は、LLMを使ってターゲットプログラムと実行可能なプロキシ評価器を共同開発するフレームワークであるJanusを紹介する。 ラベル不足に対処するため、JanusはLLMに符号化されたドメイン知識を活用してタスク固有の評価プログラムを生成する。 流通シフトを軽減するため、Janusはターゲットプログラムと並行して評価器を進化させ、プロモーション対応の目標を使ってそれらを選択し、地域条件のポートフォリオを維持する。
• 参考スコア（独自算出の注目度）: 56.93233495754078
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: LLM-driven program discovery relies on rapid evaluator feedback, but many scientific and engineering tasks require high-fidelity simulations, hardware execution, or physical experiments, making each evaluation expensive. Cheap surrogate evaluators can reduce this cost, yet fixed surrogates are vulnerable to search-induced distribution shift and are difficult to fit reliably from sparse, search-biased labels. We introduce Janus, a framework that uses LLMs to co-evolve target programs and executable proxy evaluators. To address label scarcity, Janus leverages domain knowledge encoded in LLMs to generate task-specific evaluator programs and calibrates them using real outcomes. To mitigate distribution shift, Janus evolves evaluators alongside target programs, selects them using a promotion-aligned objective, and maintains region-conditioned portfolios with online credit updates. Because proxy predictions remain fallible, Janus uses them only to prioritize candidates and requires real validation before candidates can enter the target-program population or update the incumbent. Across five scientific and engineering design tasks, Janus achieves a larger area under the best-so-far improvement curve over the real-evaluation budget and higher final performance than a matched baseline that evolves only target programs. On average, Janus reaches 99/% of the baseline's final improvement with 59.1/% fewer real evaluations. Evolved proxy evaluators also rank promising candidates more accurately than their seed versions. Together, these results extend evaluator-guided LLM discovery from tasks with cheap, scalable feedback to scientific domains where trustworthy evaluation is scarce and expensive.
• Abstract（参考訳）: LLMによるプログラム発見は、迅速な評価器のフィードバックに頼っているが、多くの科学的および工学的なタスクは、高い忠実度シミュレーション、ハードウェア実行、物理的実験を必要とし、それぞれの評価を高価にしている。 チープサロゲート評価器は、このコストを削減することができるが、固定サロゲートは、検索によって誘導される分布シフトに弱いため、スパースな検索バイアス付きラベルから確実に適合することが難しい。 我々は、LLMを使ってターゲットプログラムと実行可能なプロキシ評価器を共同開発するフレームワークであるJanusを紹介する。 ラベル不足に対処するため、JanusはLLMに符号化されたドメイン知識を活用してタスク固有の評価プログラムを生成し、実際の結果を使ってそれらを校正する。 流通のシフトを軽減するため、Janusはターゲットプログラムと一緒に評価装置を進化させ、プロモーション対応の目標を使ってそれらを選択し、オンラインクレジット更新で地域条件のポートフォリオを維持する。 プロキシの予測は引き続き失敗するので、Janus氏は候補を優先順位付けするためにのみ使用し、ターゲットプログラムの集団に入る前に実際の検証を必要とする。 5つの科学的・工学的な設計課題にまたがって、Janusは実際の評価予算よりも最高の改善曲線の下でより大きな領域を達成し、ターゲットプログラムのみを進化させるマッチしたベースラインよりも高い最終性能を達成している。 平均して、Janusはベースラインの最終的な改善の99/%に達し、59.1/%は実際の評価を減らした。 進化したプロキシ評価者は、有望な候補を種別よりも正確にランク付けする。 これらの結果は、信頼性の高い評価が不十分で高価である科学領域に、安価でスケーラブルなフィードバックを持つタスクから評価者によるLLM発見を拡大する。

関連論文リスト

• HarnessOpt-Bench: Evaluating LLMs at Harness Optimization [3.846854817984248]
  高価な評価体制下でのエンド・ツー・エンドのハーネス最適化のためのベンチマークを導入する。 信頼された実行環境は、評価境界、ターゲットエージェントリソースの使用を強制し、監査のための候補バージョンを保存する。 実験結果から、モデルはコードハーネスよりも分離され、ネイティブハーネスは一貫して優れておらず、タスク間で利得が大きく異なることがわかった。
  論文  参考訳（メタデータ） (2026-08-06T17:21:05Z)
• Overcoming the Weakest-Link Effect in LLM-Driven Program Optimization via Heterogeneous Edit Recombination [59.679182823718556]
  HEROは、多様で重複しない原子編集を生成し、それから体系的に選択し、評価器スコアを用いてコヒーレントなプログラム改善に構成するプログラムである。 我々は,アルゴリズム問題,戦略ゲーム,LSMに基づくエージェントシステムの設計,ロボット経路計画などにわたるHEROを評価する。
  論文  参考訳（メタデータ） (2026-07-31T02:05:45Z)
• LLM-as-a-Verifier: A General-Purpose Verification Framework [74.40111651545979]
  本稿では,汎用検証フレームワーク LLM-as-a-Verifier を紹介する。 追加のトレーニングを必要とせずに、エージェントタスクに対してきめ細かいフィードバックを提供する。 いくつかのベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-07-06T17:59:35Z)
• Property-Guided LLM Program Synthesis for Planning [6.88204255655161]
  評価後にプログラムを採点する代わりに、候補が正式に定義された性質を満たすかどうかを確認する。 このフィードバックは、プログラム生成数と評価コストの両方を大幅に削減します。
  論文  参考訳（メタデータ） (2026-05-15T16:23:35Z)
• Learning from the Irrecoverable: Error-Localized Policy Optimization for Tool-Integrated LLM Reasoning [36.23268783033404]
  長い水平ツール統合推論軌道では、早期発見不可能な誤りが成功または失敗を決定できる。 本研究は,まず発見不可能なステップをローカライズし,それをきめ細かなクレジット代入に活用するために,ELPO(Error-Localized Policy Optimization)を提案する。 私たちのコードはまもなく公開されます。
  論文  参考訳（メタデータ） (2026-02-10T09:50:24Z)
• FreshBrew: A Benchmark for Evaluating AI Agents on Java Code Migration [2.981397088242044]
  我々は、プロジェクトレベルのJavaマイグレーションでAIエージェントを評価するための新しいベンチマークであるFreshBrewを紹介する。 我々は、いくつかの最先端のLCMをベンチマークし、それらの性能を既存のルールベースのツールと比較する。 228リポジトリのこのベンチマークにおけるAIエージェントの評価は、最高のパフォーマンスモデルである2.5 Gemini Flashがプロジェクトの52.3%を17.5%に移行できることを示している。
  論文  参考訳（メタデータ） (2025-10-06T14:39:58Z)
• An LLM-as-Judge Metric for Bridging the Gap with Human Evaluation in SE Tasks [15.820416019287622]
  SE-JuryはLLM-as-Ensemble-Judgeの最初の評価基準である。 さまざまなソフトウェアエンジニアリング(SE)ベンチマークでSE-Juryを評価します。
  論文  参考訳（メタデータ） (2025-05-27T08:04:34Z)
• PredictaBoard: Benchmarking LLM Score Predictability [50.47497036981544]
  大きな言語モデル(LLM)は予測不能に失敗することが多い。 これは、安全なデプロイメントを保証する上で、大きな課題となる。 PredictaBoardは,新しいベンチマークフレームワークである。
  論文  参考訳（メタデータ） (2025-02-20T10:52:38Z)
• AIME: AI System Optimization via Multiple LLM Evaluators [79.03422337674664]
  AIME は複数の LLM を利用した評価プロトコルであり、それぞれが独立した基準で評価を生成し、結合を通してそれらを結合する。 コード生成タスクにおける AIME のベースラインメソッドのパフォーマンスは,LeetCodeHard と HumanEval データセットの単一 LLM 評価プロトコルよりも最大 62% 高いエラー検出率,最大 16% 高い成功率で向上している。
  論文  参考訳（メタデータ） (2024-10-04T04:03:24Z)
• VinePPO: Refining Credit Assignment in RL Training of LLMs [66.80143024475635]
  我々は,言語環境の柔軟性を利用してモンテカルロをベースとした推定値を計算する,簡単なアプローチであるVinePPOを提案する。 本手法は,MATHおよびGSM8Kデータセット間のPPOおよび他のベースラインをウォールクロック時間以下で連続的に上回る。
  論文  参考訳（メタデータ） (2024-10-02T15:49:30Z)
• Efficient Budget Allocation for Large-Scale LLM-Enabled Virtual Screening [0.9558392439655016]
  そこで我々は,LLM-as- human-evaluatorアプローチによるスクリーニングを事実上実施し,コスト負担を低減した。 我々は,トップ$m$greedy評価機構を用いて,探索ファーストの上位$m$greedy (EFG-$m$) アルゴリズムを設計する。 驚いたことに、我々はボーナスランキング効果を発見し、アルゴリズムは選択されたサブセット内で、自然に無関心なランキングを誘導する。
  論文  参考訳（メタデータ） (2024-08-18T16:44:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。