論文の概要: When Gradients Collide: Failure Modes of Multi-Objective Prompt Optimization for LLM Judges
- arxiv url: http://arxiv.org/abs/2605.26046v1
- Date: Mon, 25 May 2026 17:08:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-26 19:50:20.538232
- Title: When Gradients Collide: Failure Modes of Multi-Objective Prompt Optimization for LLM Judges
- Title（参考訳）: 衝突時の勾配: LLM判事のための多目的プロンプト最適化の故障モード
- Abstract要約: テキスト勾配法は多目的テキスト勾配設定には適用されないことを示す。
勾配特異性は、勾配が複数の基準を共同で処理するときに59%(9.0から3.7まで)低下する。
最適化時勾配解法と推論時命令干渉の2つの分離可能な障害モードを同定する。
- 参考スコア（独自算出の注目度）: 0.3580891736370874
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Customizing an LLM judge to a specific task or domain often involves optimizing its prompt across multiple evaluation criteria simultaneously. Textual gradient methods automate this for a single judge criterion, however they produce natural-language critiques, not numerical vectors. Thus, the conflict-resolution toolkit of multi-task learning (PCGrad, MGDA) doesn't apply to the multi-objective textual gradient setting. We test five decomposition modes of textual gradient optimizers by varying how much cross-task information the loss, gradient and optimizer LLMs share. In 6 of 10 configurations, we observe that optimization never improves over the initial prompt. Gradient specificity drops by 59% (from 9.0 to 3.7) when the gradient LLM processes multiple criteria jointly. Separately, we observe that naively combining per-task instructions into a single prompt degrades Spearman's rho by -5.3%. These results identify two separable failure modes: optimization-time gradient dilution and inference-time instruction interference, which together constrain the design space for multi-objective judge customization using textual feedback.
- Abstract（参考訳）: LLMの判断を特定のタスクやドメインにカスタマイズするには、複数の評価基準をまたいでプロンプトを最適化する必要があることが多い。
テキスト勾配法は、これを1つの判断基準に対して自動化するが、数値ベクトルではなく自然言語批判を生成する。
したがって、マルチタスク学習(PCGrad, MGDA)のコンフリクト分解ツールキットは、多目的テキスト勾配設定には適用されない。
我々は,テキスト勾配最適化器の5つの分解モードを,損失,勾配,最適化器がどの程度の確率で共有されているかによって検証する。
10のコンフィグレーションのうち6つでは、初期プロンプトよりも最適化が改善されないことが観察される。
勾配 LLM が複数の基準を共同で処理すると、勾配特異度は59%低下する(9.0から3.7)。
個別に、タスク毎の命令を1つのプロンプトに鼻で組み合わせることで、スピアマンのローを5.3%低下させる。
これらの結果から,最適化時勾配解法と推論時命令干渉法という2つの分離可能な障害モードが同定された。
関連論文リスト
- Overcoming the Weakest-Link Effect in LLM-Driven Program Optimization via Heterogeneous Edit Recombination [59.679182823718556]
HEROは、多様で重複しない原子編集を生成し、それから体系的に選択し、評価器スコアを用いてコヒーレントなプログラム改善に構成するプログラムである。
我々は,アルゴリズム問題,戦略ゲーム,LSMに基づくエージェントシステムの設計,ロボット経路計画などにわたるHEROを評価する。
論文 参考訳（メタデータ） (2026-07-31T02:05:45Z) - DetPO: In-Context Learning with Multi-Modal LLMs for Few-Shot Object Detection [39.153744982595036]
勾配のないテスト時間最適化手法である検出プロンプト最適化(DetPO)を提案する。
提案手法は,Roboflow20-VLおよびLVIS上の一般MLLMに対して一貫した改善をもたらす。
論文 参考訳（メタデータ） (2026-03-24T17:26:55Z) - UtilityMax Prompting: A Formal Framework for Multi-Objective Large Language Model Optimization [0.0]
UtilityMax Promptingは、形式的な数学的言語を用いてタスクを特定するフレームワークである。
3つのフロンティアモデルにわたるMovieLens 1Mデータセットに対するアプローチを検証する。
論文 参考訳（メタデータ） (2026-03-12T06:17:09Z) - $\
abla$-Reasoner: LLM Reasoning via Test-Time Gradient Descent in Latent Space [71.23672814629448]
$nabla$-Reasonerは、トークンログに対する差別化可能な最適化をデコードループに統合する反復生成フレームワークである。
$nabla$-Reasonerは、挑戦的な数学的推論ベンチマークで20%以上の精度の向上を実現している。
論文 参考訳（メタデータ） (2026-03-05T08:42:54Z) - Bi-Level Prompt Optimization for Multimodal LLM-as-a-Judge [21.61898421774144]
大規模言語モデル(LLM)はAI生成コンテンツを評価するための自動判断器として広く採用されている。
彼らの成功にもかかわらず、LLMに基づく評価と人間の判断を合わせることは依然として困難である。
評価関連視覚的手がかりを保ちながら、画像をテキスト表現に変換する双方向プロンプト最適化フレームワークBLPOを提案する。
論文 参考訳（メタデータ） (2026-02-11T20:22:13Z) - Objective Soups: Multilingual Multi-Task Modeling for Speech Processing [69.52720282028385]
マルチ言語・マルチタスク音声処理(MSP)のための単一モデルの訓練は,タスク間の目的の相反によって著しく妨げられる。
本稿では,多目的MSPの3つの定式化について検討し,これらをthabfobjective soup recipesと呼ぶ。
我々の研究は、階層型MOOが最先端のMSPモデルを構築する上で、より効率的でスケーラブルなアプローチであることを実証している。
論文 参考訳（メタデータ） (2025-08-12T07:01:09Z) - OAT-Rephrase: Optimization-Aware Training Data Rephrasing for Zeroth-Order LLM Fine-Tuning [25.76983801886268]
本稿では,OAT-Rephraseについて紹介する。
OAT-RephraseはMeZOの微調整性能を常に改善することを示す。
提案手法は,ゼロ階調音システムにおける再利用可能な低オーバヘッド向上に有効であることが示唆された。
論文 参考訳（メタデータ） (2025-06-10T02:53:04Z) - A Systematic Examination of Preference Learning through the Lens of Instruction-Following [83.71180850955679]
新たな合成データ生成パイプラインを用いて48,000の命令追従プロンプトを生成する。
合成プロンプトでは、リジェクションサンプリング(RS)とモンテカルロ木探索(MCTS)の2つの選好データセットキュレーション手法を用いる。
実験により、MCTSが生成した選好ペアにおける共有プレフィックスは、限界はあるが一貫した改善をもたらすことが明らかになった。
高コントラストの選好ペアは一般的に低コントラストのペアよりも優れているが、両者を組み合わせることで最高のパフォーマンスが得られることが多い。
論文 参考訳（メタデータ） (2024-12-18T15:38:39Z) - AIME: AI System Optimization via Multiple LLM Evaluators [79.03422337674664]
AIME は複数の LLM を利用した評価プロトコルであり、それぞれが独立した基準で評価を生成し、結合を通してそれらを結合する。
コード生成タスクにおける AIME のベースラインメソッドのパフォーマンスは,LeetCodeHard と HumanEval データセットの単一 LLM 評価プロトコルよりも最大 62% 高いエラー検出率,最大 16% 高い成功率で向上している。
論文 参考訳（メタデータ） (2024-10-04T04:03:24Z) - LLM as a Complementary Optimizer to Gradient Descent: A Case Study in Prompt Tuning [69.95292905263393]
グラデーションベースとハイレベルなLLMは、協調最適化フレームワークを効果的に組み合わせることができることを示す。
本稿では,これらを相互に補完し,組み合わせた最適化フレームワークを効果的に連携させることができることを示す。
論文 参考訳（メタデータ） (2024-05-30T06:24:14Z) - PRompt Optimization in Multi-Step Tasks (PROMST): Integrating Human Feedback and Heuristic-based Sampling [20.0605311279483]
マルチステップタスク(PROMST)におけるPRompt Optimizationを導入する。
人間が設計したフィードバックルールを組み込んで、改善のための直接提案を自動的に提供する。
これは、人間工学的なプロンプトと、他のいくつかのプロンプト最適化手法の両方において、11の代表的なマルチステップタスクよりも大幅に優れている。
論文 参考訳（メタデータ） (2024-02-13T16:38:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。