論文の概要: Adapting LLM Judges to Observed Human Annotation Policy through Soft Prompt Tuning
- arxiv url: http://arxiv.org/abs/2611.07126v1
- Date: Wed, 04 Nov 2026 20:48:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 21:50:50.449568
- Title: Adapting LLM Judges to Observed Human Annotation Policy through Soft Prompt Tuning
- Title(参考訳): ソフトプロンプトチューニングによる人間のアノテーションポリシーに対するLLM審査員の適応
- Abstract要約: われわれは、FairBotBenchベンチマークでソフトプロンプトをトレーニングし、バイアス、毒性、パーソナライゼーションの次元にわたって、適応された審査員を評価する。
本研究は,テキストプロンプトと学習された連続的プロンプト埋め込みを組み合わせたハイブリッドソフトプロンプトチューニングが,人間のアノテーションとの一致性を一貫して改善することを示した。
- 参考スコア(独自算出の注目度): 0.7590259626672812
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) are increasingly employed as automated judges for evaluating chatbot responses. While proprietary models can achieve high agreement with human annotators, they remain costly and difficult to deploy in practical settings. Lightweight open-source LLM judges provide an attractive alternative but typically exhibit lower agreement with human ratings. In this paper, we investigate whether soft prompt tuning can align open-source LLM judges more closely with human annotation policy. We train soft prompts on the FairBotBench benchmark and evaluate the adapted judges across the dimensions of bias, toxicity, and personalization. Our findings demonstrate that hybrid soft-prompt tuning, which combines textual prompts with learned continuous prompt embeddings, consistently improves agreement with human annotations over the corresponding untuned baselines. For Qwen 3.5 9B, the adapted judges surpass both hosted reference judges across all three evaluation dimensions.
- Abstract(参考訳): 大規模言語モデル(LLM)は、チャットボットの応答を評価する自動化された判断器として、ますます採用されている。
プロプライエタリなモデルは人間のアノテータとの高い合意を達成できるが、実用的な環境でのデプロイは高価で困難である。
軽量オープンソースのLCM判事は、魅力的な代替手段を提供するが、典型的には人間の評価とより低い一致を示す。
本稿では,ソフトプロンプトチューニングが人間のアノテーションポリシーとより緊密に連携できるかどうかを考察する。
われわれは、FairBotBenchベンチマークでソフトプロンプトをトレーニングし、バイアス、毒性、パーソナライゼーションの次元にわたって、適応された審査員を評価する。
本研究は,テキストプロンプトと学習された連続的プロンプト埋め込みを組み合わせたハイブリッド型ソフトプロンプトチューニングが,対応する未修正ベースラインに対する人間のアノテーションとの一致を一貫して改善することを示した。
Qwen 3.5 9Bの場合、適合した審査員は3つの評価次元の全てにまたがって両方の基準審査員を追い越す。
関連論文リスト
- RankJudge: A Multi-Turn LLM-as-a-Judge Synthetic Benchmark Generator [16.137474142159277]
RankJudgeは、参照文書に基づいたマルチターン会話に対してLSM-as-a-judgeを評価するためのベンチマークジェネレータである。
機械学習、バイオメディシン、ファイナンスの各分野にRangeJudgeを実装し、21人のフロンティアLSM審査員を評価し、Bradley-Terryモデルを介して審査員をランク付けする。
論文 参考訳(メタデータ) (2026-05-20T21:20:01Z) - Comparing Developer and LLM Biases in Code Evaluation [30.695314123307764]
本稿では,人間の嗜好を予測できる判断能力を評価する枠組みであるTRACEを提案する。
13の異なるモデルの中で、優れた審査員は、人間のアノテータを12~23%下回っている。
既存のコード品質のディメンションの大部分において,重大なミスアライメントが見られます。
論文 参考訳(メタデータ) (2026-03-25T17:56:55Z) - Evaluating and Mitigating LLM-as-a-judge Bias in Communication Systems [32.83708359216193]
大規模言語モデル(LLM)は、コミュニケーションシステムにおけるコンテンツの品質を自律的に評価するために、ますます使われている。
本稿では,2つのLLM-as-a-judgeモデルにおける判定バイアスをポイントワイド評価条件下で系統的に検討する。
我々は,実践的なコミュニケーションシナリオにおいて,公平かつ信頼性の高いAIを確保するための4つの潜在的な緩和戦略を提案する。
論文 参考訳(メタデータ) (2025-10-14T12:52:29Z) - JudgeBench: A Benchmark for Evaluating LLM-based Judges [61.048125269475854]
judgeBenchは、知識、推論、数学、コーディングにまたがる挑戦的な応答ペアに関するLSMベースの判断を評価するためのベンチマークである。
審査員、微調整された審査員、マルチエージェントの審査員、報酬モデルに関する包括的な評価は、審査員ベンチが以前のベンチマークよりもかなり大きな課題を課していることを示している。
論文 参考訳(メタデータ) (2024-10-16T17:58:19Z) - Reference-Guided Verdict: LLMs-as-Judges in Automatic Evaluation of Free-Form Text [12.879551933541345]
大きな言語モデル(LLM)は、人間のような会話を生成できる。
BLEUやROUGEのような従来のメトリクスは、このような生成出力の微妙な意味と文脈的な豊かさを捉えるには不十分である。
本稿では,複数のLSM-as-judgesを活用することで,評価プロセスを自動化する基準誘導型判定手法を提案する。
論文 参考訳(メタデータ) (2024-08-17T16:01:45Z) - Evaluating the Evaluator: Measuring LLMs' Adherence to Task Evaluation Instructions [18.93335792080899]
LLMs-as-a-judgeがAI判断と人間の判断の整合性に与える影響について検討する。
我々は、LLMによる最先端評価で一般的に使用される品質基準の分類を集約し、それを審査員として厳密なモデルベンチマークとして提供する。
論文 参考訳(メタデータ) (2024-08-16T14:49:35Z) - Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena [76.21004582932268]
本研究では, LLM-as-a-judgeの使用状況と限界について検討し, 位置, 冗長性, 自己改善バイアスについて検討した。
次に、マルチターン質問セットであるMT-benchとクラウドソースのバトルプラットフォームであるArenaの2つのベンチマークを導入することで、LCMの判断と人間の嗜好の一致を検証する。
論文 参考訳(メタデータ) (2023-06-09T05:55:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。