論文の概要: PromptOps: Iterative Prompt Optimization for LLM-as-a-Judge Systems
- arxiv url: http://arxiv.org/abs/2611.07123v1
- Date: Wed, 04 Nov 2026 20:38:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 21:50:50.448074
- Title: PromptOps: Iterative Prompt Optimization for LLM-as-a-Judge Systems
- Title(参考訳): PromptOps: LLM-as-a-Judgeシステムの反復的プロンプト最適化
- Abstract要約: 大規模言語モデル(LLM)は、AIシステムの振る舞いを評価するための自動判断器として、ますます使われている。
しかし,展開においては,ユーザインタラクションやスコア分布の変化に伴い,対象とする評価方針との合意が低下する可能性がある。
我々は,この問題を判断フロートとして捉え,LLM-as-a-Judgeシステムを監視するクローズドループフレームワークであるPromptOpsを導入する。
- 参考スコア(独自算出の注目度): 0.7590259626672812
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) are increasingly used as automated judges for evaluating the behavior of chatbots and other AI systems. In deployment, however, their agreement with the intended human evaluation policy may degrade as user interactions and score distributions change. Existing automatic prompt optimization methods are primarily studied as one-shot procedures on static development sets and therefore provide limited guidance for maintaining LLM judges over time. We frame this problem as judge drift and introduce PromptOps, a closedloop framework for monitoring and iteratively recalibrating LLM-as-a-Judge (LLMaaJ) systems. PromptOps separates four operational decisions: when to optimize, which optimization procedure to apply, which feedback records to use, and how to update the judge prompt. We instantiate the framework with five prompt optimization methods: GEPA, SIMBA, Rubric Synthesis, and exemplar selection using either simulated annealing or a Tree-structured Parzen Estimator. Our experiments demonstrate that iterative prompt optimization can recalibrate LLM judges and recover performance after controlled shifts in the referencescore distribution. However, effective maintenance is inherently contextdependent: neither optimization algorithm choice nor update timing generalizes universally across settings. These findings establish prompt optimization for deployed LLM judges as an inherently iterative maintenance problem and demonstrate that PromptOps provides a practical abstraction for studying and implementing this process.
- Abstract(参考訳): 大規模言語モデル(LLM)は、チャットボットや他のAIシステムの振る舞いを評価するための自動判断器として、ますます使われている。
しかし、展開においては、ユーザインタラクションやスコア分布の変化に伴い、意図した人的評価ポリシーとの合意が低下する可能性がある。
既存の自動プロンプト最適化手法は、主に静的開発セットのワンショットプロシージャとして研究されており、LLMの判断を時間とともに維持するための限定的なガイダンスを提供する。
本稿では,LLMaaJ(LLM-as-a-Judge)システムを監視するクローズドループフレームワークであるPromptOpsを紹介する。
PromptOpsは、いつ最適化するか、どの最適化手順を適用するか、どのフィードバック記録を使用するか、裁判官のプロンプトの更新方法の4つの運用上の決定を分離する。
GEPA, SIMBA, ルブリック合成, 模擬アニーリング, 木構造パーゼン推定器のいずれかを用いて, 5 つの迅速な最適化手法でフレームワークをインスタンス化する。
本実験は, LLMの判定を反復的に最適化し, 基準スコア分布の制御シフト後に性能を回復できることを実証する。
しかし、効果的なメンテナンスは本質的にコンテキスト依存であり、最適化アルゴリズムの選択も更新タイミングも設定全体にわたって一般化されない。
これらの結果から,再帰的な保守問題としてLLM審査員の迅速な最適化が確立され,PromptOpsがこのプロセスの研究と実装に実用的な抽象化を提供することが証明された。
関連論文リスト
- Environment-Grounded Automated Prompt Optimization for LLM Game Agents [11.148496916101989]
LLMエージェントのための自動プロンプト最適化フレームワークを提案する。
観察対アクションパイプラインをゴール条件記述エージェントとアクション選択エージェントに分解する。
環境リターンによって誘導されるLLM駆動の進化ループを通じて、各モジュールのプロンプトを反復的に洗練する。
論文 参考訳(メタデータ) (2026-06-16T12:06:27Z) - Embedding by Elicitation: Dynamic Representations for Bayesian Optimization of System Prompts [22.060204303535187]
システムプロンプトは、現代のAIシステムにおいて中心的な制御メカニズムであり、会話、タスク、ユーザ集団間での振る舞いを形作る。
本研究では,この集合フィードバック設定を,個別の可変長テキストに対するサンプル制約付きブラックボックス最適化として検討する。
本稿では,ベイズ最適化フレームワークReElicitを紹介する。
論文 参考訳(メタデータ) (2026-05-18T20:28:17Z) - Execution-Verified Reinforcement Learning for Optimization Modeling [49.171122807323634]
実行検証学習フレームワークは、数学的プログラミング解法を決定論的で対話的な検証器として扱う。
NL4OPT, MAMO, IndustryOR, OptiBenchをグロビ, OR-Tools, COPTで行った実験では, EVOMがプロセス管理SFTに適合または優れていた。
論文 参考訳(メタデータ) (2026-04-01T03:39:11Z) - Adaptive Dependency-aware Prompt Optimization Framework for Multi-Step LLM Pipeline [9.013236765328301]
我々は,多段階LLMパイプラインのための適応依存型プロンプト最適化フレームワークであるADOPTを提案する。
ADOPTは、各LCMステップと最終タスク結果の依存関係を明示的にモデル化し、正確なテキスト勾配推定を可能にする。
実世界のデータセットと多様なパイプライン構造の実験は、ADOPTが効果的で堅牢であることを示している。
論文 参考訳(メタデータ) (2025-12-31T15:46:37Z) - SOCRATES: Simulation Optimization with Correlated Replicas and Adaptive Trajectory Evaluations [25.18297372152296]
SOCRATESは、調整されたSOアルゴリズムの設計を自動化する新しい2段階のプロシージャである。
実システムのデジタルレプリカのアンサンブルは、ベースラインSOアルゴリズムのセットを評価するテストベッドとして使用される。
LLMはメタ最適化器として機能し、これらのアルゴリズムのパフォーマンストラジェクトリを分析して、最終的なハイブリッド最適化スケジュールを反復的に修正し構成する。
論文 参考訳(メタデータ) (2025-11-01T19:57:38Z) - Can Prompt Difficulty be Online Predicted for Accelerating RL Finetuning of Reasoning Models? [65.18157595903124]
本研究では任意のプロンプトの反復的近似評価について検討する。
Model Predictive Prompt Selection (MoPPS)はベイズにおけるリスク予測フレームワークである。
MoPPSは迅速な困難を確実に予測し、ロールアウトを大幅に削減したトレーニングを加速する。
論文 参考訳(メタデータ) (2025-07-07T03:20:52Z) - In-context Demonstration Matters: On Prompt Optimization for Pseudo-Supervision Refinement [71.60563181678323]
大規模言語モデル(LLM)は様々なタスクで大きな成功を収めており、生成品質をさらに向上させるためには微調整が必要である場合もある。
これらの課題に対処する直接的な解決策は、教師なしの下流タスクから高信頼のデータを生成することである。
本稿では,プロンプトと全体的な擬似スーパービジョンを両立させる新しい手法,擬似教師付きデモアライメント・アライメント・アライメント・プロンプト・最適化(PAPO)アルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-10-04T03:39:28Z) - Query-Dependent Prompt Evaluation and Optimization with Offline Inverse
RL [62.824464372594576]
ゼロショットプロンプト最適化により,Large Language Models (LLM) の算術的推論能力を向上させることを目的とする。
このような最適化では、以前見過ごされたクエリ依存の目的を特定します。
本稿では、オフライン逆強化学習を利用して、実演データから洞察を引き出すPrompt-OIRLを紹介する。
論文 参考訳(メタデータ) (2023-09-13T01:12:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。