論文の概要: Efficient Prompt Optimisation for Legal Text Classification with Proxy Prompt Evaluator
- arxiv url: http://arxiv.org/abs/2510.08524v1
- Date: Thu, 09 Oct 2025 17:49:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-10 17:54:15.272547
- Title: Efficient Prompt Optimisation for Legal Text Classification with Proxy Prompt Evaluator
- Title(参考訳): Proxy Prompt 評価器を用いた法定テキスト分類における効率的な Prompt 最適化
- Authors: Hyunji Lee, Kevin Chenhao Li, Matthias Grabmair, Shanshan Xu,
- Abstract要約: 本稿では,モンテカルロ木探索(MCTS)とプロキシプロンプト評価器を組み合わせることで,より効果的にプロンプト空間を探索するフレームワークを提案する。
提案手法は,制約付き計算予算下でのベースライン法よりも高い分類精度と効率を実現することを示す。
- 参考スコア(独自算出の注目度): 15.858271325271438
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Prompt optimization aims to systematically refine prompts to enhance a language model's performance on specific tasks. Fairness detection in Terms of Service (ToS) clauses is a challenging legal NLP task that demands carefully crafted prompts to ensure reliable results. However, existing prompt optimization methods are often computationally expensive due to inefficient search strategies and costly prompt candidate scoring. In this paper, we propose a framework that combines Monte Carlo Tree Search (MCTS) with a proxy prompt evaluator to more effectively explore the prompt space while reducing evaluation costs. Experiments demonstrate that our approach achieves higher classification accuracy and efficiency than baseline methods under a constrained computation budget.
- Abstract(参考訳): Prompt Optimizationは、特定のタスクにおける言語モデルのパフォーマンスを高めるために、プロンプトを体系的に洗練することを目的としている。
サービス規約(ToS)条項の公平性検出は、信頼できる結果を保証するために慎重に工夫されたプロンプトを要求する、法的に困難なNLPタスクである。
しかし,従来のプロンプト最適化手法は,非効率な探索戦略とコストのかかる候補スコアリングのため,計算コストがかかることが多い。
本稿では,モンテカルロ木探索(MCTS)とプロキシプロンプト評価器を組み合わせたフレームワークを提案する。
提案手法は,制約付き計算予算下でのベースライン法よりも高い分類精度と効率を実現することを示す。
関連論文リスト
- Bayesian Optimization in Language Space: An Eval-Efficient AI Self-Improvement Framework [0.0]
大規模言語モデル(LLM)は、最近、自己改善型AI、すなわち、自身の成果を反復的に生成し、評価し、洗練するAIを可能にした。
多くの社会的応用において、第一の限界は、新しい解を生成するのではなく、それらを評価することである。
本稿では, 単純かつ広く使用されているBest-of-N選択戦略と単純なテキスト勾配の組み合わせが, 標準 UCB 取得関数上の勾配の挙動を統計的にエミュレートすることを証明することで, この課題を克服する。
論文 参考訳(メタデータ) (2025-11-15T07:04:44Z) - Can Prompt Difficulty be Online Predicted for Accelerating RL Finetuning of Reasoning Models? [65.18157595903124]
本研究では任意のプロンプトの反復的近似評価について検討する。
Model Predictive Prompt Selection (MoPPS)はベイズにおけるリスク予測フレームワークである。
MoPPSは迅速な困難を確実に予測し、ロールアウトを大幅に削減したトレーニングを加速する。
論文 参考訳(メタデータ) (2025-07-07T03:20:52Z) - Evolving Prompts In-Context: An Open-ended, Self-replicating Perspective [65.12150411762273]
ランダムなデモを不整合な "gibberish" にプルーニングすることで,多様なタスクにおけるパフォーマンスが著しく向上することを示す。
本稿では,低データレジームのみを用いてプルーニング戦略を自動的に検索する自己発見プロンプト最適化フレームワークPromptQuineを提案する。
論文 参考訳(メタデータ) (2025-06-22T07:53:07Z) - HPSS: Heuristic Prompting Strategy Search for LLM Evaluators [81.09765876000208]
我々はHuristic Prompting Strategy Search (HPSS)と呼ばれる新しい自動プロンプト戦略最適化手法を提案する。
遺伝的アルゴリズムにインスパイアされ、HPSSは反復探索を行い、評価者に対する適切な手順を見つける。
4つの評価課題にわたる大規模な実験により,HPSSの有効性が示された。
論文 参考訳(メタデータ) (2025-02-18T16:46:47Z) - A Sequential Optimal Learning Approach to Automated Prompt Engineering in Large Language Models [14.483240353801074]
本稿では,自動プロンプトエンジニアリングのための最適学習フレームワークを提案する。
限られた評価予算を効率的に割り当てつつ、効果的なプロンプト機能を逐次識別するように設計されている。
私たちのフレームワークは、より広い範囲のアプリケーションに自動プロンプトエンジニアリングをデプロイするためのソリューションを提供します。
論文 参考訳(メタデータ) (2025-01-07T03:51:10Z) - Hyperband-based Bayesian Optimization for Black-box Prompt Selection [15.756224286651237]
ブラックボックスのプロンプト選択は、潜在的に大きな検索スペース、勾配情報の欠如、検証セット上のプロンプトの評価コストが高いため、困難である。
本稿では,HbBoPsを提案する。HbBoPsは,マルチファイダリティスケジューラとして,構造を意識したディープカーネルガウスプロセスとハイパーバンドを組み合わせた新しい手法である。
HbBoPsは、パフォーマンスと効率の両方で最先端の手法より優れている。
論文 参考訳(メタデータ) (2024-12-10T14:42:51Z) - SCULPT: Systematic Tuning of Long Prompts [17.00433893207345]
本稿では,迅速な最適化を階層木改良問題として扱うフレームワークを提案する。
SCULPTはプロンプトをツリー構造として表現し、コンテキスト整合性を維持しながらターゲット変更を可能にする。
より安定し、解釈可能なプロンプト修正を生成し、タスク間のより良い一般化を保証する。
論文 参考訳(メタデータ) (2024-10-28T07:10:10Z) - In-context Demonstration Matters: On Prompt Optimization for Pseudo-Supervision Refinement [71.60563181678323]
大規模言語モデル(LLM)は様々なタスクで大きな成功を収めており、生成品質をさらに向上させるためには微調整が必要である場合もある。
これらの課題に対処する直接的な解決策は、教師なしの下流タスクから高信頼のデータを生成することである。
本稿では,プロンプトと全体的な擬似スーパービジョンを両立させる新しい手法,擬似教師付きデモアライメント・アライメント・アライメント・プロンプト・最適化(PAPO)アルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-10-04T03:39:28Z) - Query-Dependent Prompt Evaluation and Optimization with Offline Inverse
RL [62.824464372594576]
ゼロショットプロンプト最適化により,Large Language Models (LLM) の算術的推論能力を向上させることを目的とする。
このような最適化では、以前見過ごされたクエリ依存の目的を特定します。
本稿では、オフライン逆強化学習を利用して、実演データから洞察を引き出すPrompt-OIRLを紹介する。
論文 参考訳(メタデータ) (2023-09-13T01:12:52Z) - Cost-Efficient Online Hyperparameter Optimization [94.60924644778558]
実験の単一実行でヒトのエキスパートレベルのパフォーマンスに達するオンラインHPOアルゴリズムを提案します。
提案するオンラインhpoアルゴリズムは,実験の1回で人間のエキスパートレベルのパフォーマンスに到達できるが,通常のトレーニングに比べて計算オーバーヘッドは少ない。
論文 参考訳(メタデータ) (2021-01-17T04:55:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。