論文の概要: RankEvolve: A Reliable Multi-Agent Auto-Research Harness for Evolving Ranking Models

• arxiv url: http://arxiv.org/abs/2609.39551v1
• Date: Wed, 30 Sep 2026 11:50:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.63186
• Title: RankEvolve: A Reliable Multi-Agent Auto-Research Harness for Evolving Ranking Models
• Title（参考訳）: RankEvolve: ランク付けモデルを進化させるための信頼性の高いマルチエージェント自動検索のハーネス
• Abstract要約: 生成的ランキングモデルを進化させるための自動検索フレームワークである RankEvolve を提示する。 Executable Operating Protocol (EOP)は、フェーズ、ゲート、ブランチ、ループを宣言し、ランタイムがコンパイルされたステートマシンを強制する。 メタメタハーネスは、Claude CodeやCodexなど、完全なブラックボックスコーディングエージェント製品を実行グラフノードとして構成する。
• 参考スコア（独自算出の注目度）: 11.914355904979358
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Auto-research agents, LLM systems that propose, implement, train, and evaluate model changes across iterations, promise to automate applied ML's experimental loop. Over long horizons, execution accuracy is a binding constraint: a change can silently leak held-out data, omit normalization, disconnect a gradient, or leave a train/eval flag unwired, invalidating expensive runs and compounding error across iterations. We present RankEvolve, an auto-research framework for evolving generative ranking models. An Executable Operating Protocol (EOP) declares phases, gates, branches, and loops, and the runtime enforces the compiled state machine. A meta-meta-harness composes complete black-box coding-agent products, including Claude Code and Codex, as execution-graph nodes that review and repair one another's work. In a budget-matched evaluation, heterogeneous composition raises all-oracle execution accuracy from the best single-product baseline of 45.8 percent to 62.5 percent (paired +16.7 points, 95 percent CI [6.6, 26.7]) while achieving a 10.4 percent silent critical-defect rate. An implemented knowledge layer carries findings, including negative results, across iterations. In a twelve-iteration deployment on the open-source HSTU recommender, RankEvolve reported NDCG@10 of 0.2192 on MovieLens-20M LARGE (+4.48 percent over the published anchor) and 0.1948 on BASE (+2.80 percent). ExecML-HSTU, seeded by incidents from that deployment, provides the oracle benchmark for the execution-accuracy evaluation. A pre-specified LitGPT transfer split replicates the heterogeneous-composition effect beyond recommendation (+12.5 points, 95 percent CI [3.0, 22.0]), and a paired ablation isolates per-step from full-protocol instruction injection. These results characterize when runtime-controlled composition of coding-agent products improves execution accuracy.
• Abstract（参考訳）: 自動検索エージェント、反復間のモデル変更を提案し、実装し、訓練し、評価するLLMシステムは、応用MLの実験ループを自動化することを約束する。 変更は静かにホールドアウトデータをリークしたり、正規化を省略したり、グラデーションを切断したり、トレイン/エスバルフラグをアンワイヤで残したり、高価な実行を無効にしたり、繰り返しにわたって複雑なエラーを発生させる。 生成的ランキングモデルを進化させるための自動検索フレームワークである RankEvolve を提示する。 Executable Operating Protocol (EOP)は、フェーズ、ゲート、ブランチ、ループを宣言し、ランタイムがコンパイルされたステートマシンを強制する。 メタメタハーネス(Meta-Meta-harness)は、クロードコードやコーデックスなどの完全なブラックボックスコーディングエージェント製品を、相互の作業のレビューと修復を行う実行グラフノードとして構成する。 予算整合評価において、不均一な組成物は、最高の単一生成物ベースラインである45.8%から62.5%(paired +16.7 point, 95% CI [6.6, 26.7])まで全軌道実行精度を上昇させ、10.4%の無音臨界欠陥率を達成する。 実装された知識層は、イテレーション全体にわたって、ネガティブな結果を含む結果をもたらす。 オープンソースHSTUレコメンデータの12項目のデプロイメントにおいて、RangeEvolveはMovieLens-20M LARGEで0.2192のNDCG@10(公開アンカーで+4.48%)、BASEで0.1948(+2.80%)を報告した。 ExecML-HSTUは、そのデプロイメントからインシデントによってシードされ、実行精度評価のためのオラクルベンチマークを提供する。 予め特定されたLitGPTトランスファーは、レコメンデーションを超える異種合成効果(+12.5点、95% CI [3.0, 22.0])を複製し、ペア化されたアブレーションはフルプロトコールインジェクションインジェクションインジェクションからステップごとに分離する。 これらの結果は、実行時制御されたコーディングエージェント製品の合成が実行精度を向上させるときに特徴付けられる。

関連論文リスト

• A-SR: Self-Evolving Agentic LLMs for Symbolic Regression via Hierarchical Coordination [51.06539604709775]
  本稿では、制御ユニットを表現編集からロール条件のエビデンスビューへシフトさせる自己進化型エージェントフレームワークであるA-SRを提案する。 A-SRは、コーディネートプロトコル、オンライン評価器・リワードロールポリシー、および状態制御プロセスメモリ間のルーティングによる公式発見をコーディネートする。
  論文  参考訳（メタデータ） (2026-08-05T14:01:10Z)
• Fantastic Adaptive Taxonomies and How to Use Them [100.20614173157708]
  AdaMASTは、実行トレースをコンパクトでエビデンスに基づく障害分類に変換する。 コードには手書きのコードはなく、人間による注釈もない。 エージェント・システム・サーチでは、失敗候補の分類コード診断が自由形式より優れている。
  論文  参考訳（メタデータ） (2026-07-17T17:41:16Z)
• TTHE: Test-Time Harness Evolution [50.26245555541721]
  既存のアプローチでは、デプロイ前、トレーニング前、あるいはテスト時に凍結される固定されたエージェントワークフローの開発データを最適化する。 我々は、エージェントがテスト入力で生成するラベルのない実行トレースのみを使用して、評価自体にハーネスを最適化できるかどうかを問う。 評価中、TTHEは候補ハーネスの人口を維持し、それらの実行トレースの理由をエージェントプロジェクタを通じてそれらを洗練する。 その後、審査員は実行元プロキシ信号から改善されたハーネスをコミットし、選択したプログラムは継続してその後の入力を統治する。
  論文  参考訳（メタデータ） (2026-07-09T05:53:39Z)
• Verifier-First Evaluation of Agentic LLMs for Infrastructure-as-Code Generation [0.0]
  自然言語からインフラストラクチャ・アズ・コード(IaC)を生成するには、プロバイダのスキーマ、依存関係の計画、組織的なポリシの制約を満たす必要がある。 Rego v1ポリシを備えた186タスクのAWS/TerraformベンチマークであるIaC-Eval v2で評価されたTerraform生成のための7つのエージェント戦略に関する検証初の実験的研究を示す。
  論文  参考訳（メタデータ） (2026-05-29T12:43:27Z)
• ReacTOD: Bounded Neuro-Symbolic Agentic NLU for Zero-Shot Dialogue State Tracking [2.2573512203799626]
  本稿では,NLUを独立したツールコールとして再構成する有界神経シンボルアーキテクチャであるReacTODを提案する。 有界ReActループは反復自己補正を可能にし、MultiWOZ上のシングルパス推論よりも最大9.3ポイント精度を向上させる。
  論文  参考訳（メタデータ） (2026-05-18T20:06:04Z)
• Multi-Dimensional Behavioral Evaluation of Agentic Stock Prediction Systems Using Large Language Model Judges with Closed-Loop Reinforcement Learning Feedback [1.2362187555287152]
  ファイナンスにおける予測評価は、ポイント予測エラーに基づく集計精度測定と予測精度テストに依存している。 本稿では,中間決定プロセス自体を評価することによって,精度試験を補完する行動予測評価手法を提案する。
  論文  参考訳（メタデータ） (2026-05-07T06:31:34Z)
• APEX-EM: Non-Parametric Online Learning for Autonomous Agents via Structured Procedural-Episodic Experience Replay [7.370176470430802]
  LLMベースの自律エージェントは、永続的な手続き記憶を欠いている。 我々は,構造化手続き計画の蓄積,検索,再利用を行う非パラメトリックオンライン学習フレームワークであるAPEX-EMを提案する。
  論文  参考訳（メタデータ） (2026-03-31T00:24:56Z)
• AegisLLM: Scaling Agentic Systems for Self-Reflective Defense in LLM Security [74.22452069013289]
  AegisLLMは、敵の攻撃や情報漏洩に対する協調的なマルチエージェント防御である。 テスト時のエージェント推論システムのスケーリングは,モデルの有用性を損なうことなく,ロバスト性を大幅に向上させることを示す。 アンラーニングやジェイルブレイクを含む主要な脅威シナリオに対する総合的な評価は、AegisLLMの有効性を示している。
  論文  参考訳（メタデータ） (2025-04-29T17:36:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。