論文の概要: SenseJudge: Human-Centric Preference-Driven Judgment Framework

• arxiv url: http://arxiv.org/abs/2606.03189v2
• Date: Wed, 03 Jun 2026 18:53:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-05 19:21:33.190136
• Title: SenseJudge: Human-Centric Preference-Driven Judgment Framework
• Title（参考訳）: SenseJudge: 人中心の推論駆動判断フレームワーク
• Authors: Rui Li, Junfeng Liu, Xiangwen Kong, Linhai Xu, Zhifang Sui,
• Abstract要約: SenseJudgeは、人間の嗜好によって駆動されるカスタマイズ可能な判断フレームワークである。 本研究では,(1)パーソナライズされた審査員としてのLLMと(2)モデルランキングの2つのタスクにSenseJudgeを適用した。 その結果,SenseJudge は LLMs-as-personalized-judges タスクやモデルランキングにおいて,他の判断方法やモデルを上回っていることがわかった。
• 参考スコア（独自算出の注目度）: 25.891144111334786
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large Language Models (LLMs) as judges across various scenarios such as assessing model responses is becoming an increasingly accepted paradigm. However, existing judgment approaches often rely on trained judgers using fixed preference data, which tend to overlook diverse user preferences and struggle to adapt to real-world human-AI dialogue scenarios. To address these limitations, we propose SenseJudge, a customizable judgment framework driven by human preferences and SenseBench, a diverse and challenging instruction-following benchmark derived from real-world multi-turn interactions. We applied the automatic judgment framework and benchmark to two tasks: (1) LLMs as personalized judges, and (2) model ranking. We conducted extensive experiments, and the results demonstrate that the SenseJudge framework surpasses other judgment methods and models in the LLMs-as-personalized-judges task and achieves model ranking that aligns with real human sense. Additionally, we conducted analyses on position bias and consistency, alongside ablation studies, which affirmed the robustness of SenseJudge.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、モデル応答の評価などの様々なシナリオの審査員として、ますます受け入れられるパラダイムになりつつある。 しかし、既存の判断アプローチは、様々なユーザの好みを見落とし、現実世界の人間とAIの対話シナリオに適応するのに苦労する傾向にある固定された嗜好データを使用して、訓練された審査員に頼っていることが多い。 これらの制約に対処するために、人間の嗜好によって駆動されるカスタマイズ可能な判断フレームワークであるSenseJudgeと、実世界のマルチターンインタラクションから派生した多彩で挑戦的な命令追従ベンチマークであるSenseBenchを提案する。 自動判断フレームワークとベンチマークを2つのタスクに適用し,(1)パーソナライズされた審査員としてのLLM,(2)モデルランキングについて検討した。 本研究では,SenseJudge フレームワークが LLMs-as-personalized-judges タスクの他の判断方法やモデルを上回っ,実際の人間の感覚に合わせたモデルランキングを実現することを実証した。 さらに,SenseJudgeの頑健さを裏付けるアブレーション研究とともに,位置バイアスと一貫性の分析を行った。

関連論文リスト

• Approximating Human Preferences Using a Multi-Judge Learned System [35.18016233072556]
  本稿では,複数のルーリック条件の審査員から出力を収集することを学ぶことによって,多様なペルソナに基づく選好をモデル化する枠組みを提案する。 コントリビューションには、大規模に好みラベルを合成するペルソナベースの方法と、アグリゲータの2つの異なる実装が含まれている。
  論文  参考訳（メタデータ） (2025-10-29T18:32:53Z)
• CompassJudger-2: Towards Generalist Judge Model via Verifiable Rewards [72.44810390478229]
  CompassJudger-2は、タスク駆動のマルチドメインデータキュレーション戦略によって制限を克服する新しいジェネラリストジャッジモデルである。 CompassJudger-2は、複数の判定と報奨ベンチマークで優れた結果を得る。
  論文  参考訳（メタデータ） (2025-07-12T01:34:24Z)
• CompassJudger-1: All-in-one Judge Model Helps Model Evaluation and Evolution [74.41064280094064]
  textbfJudger-1は、最初のオープンソースのtextbfall-in-one judge LLMである。 CompassJudger-1は、優れた汎用性を示す汎用LLMである。 textbfJudgerBenchは、様々な主観評価タスクを含む新しいベンチマークである。
  論文  参考訳（メタデータ） (2024-10-21T17:56:51Z)
• Diverging Preferences: When do Annotators Disagree and do Models Know? [92.24651142187989]
  我々は,4つのハイレベルクラスにまたがる10のカテゴリにまたがる相違点の分類法を開発した。 意見の相違の大部分は、標準的な報酬モデリングアプローチに反対している。 本研究は,選好の変化を識別し,評価とトレーニングへの影響を緩和する手法を開発する。
  論文  参考訳（メタデータ） (2024-10-18T17:32:22Z)
• Judging the Judges: Evaluating Alignment and Vulnerabilities in LLMs-as-Judges [6.609843448260634]
  LLM-as-a-judgeパラダイムは,大規模言語モデルを評価するアプローチとして急速に普及している。 本稿では,人間間の合意が高いクリーンなシナリオに焦点を当てる。 我々は、複雑性や長さを早めるための感度や、寛大さへの傾向など、審査モデルの脆弱性を識別する。
  論文  参考訳（メタデータ） (2024-06-18T13:49:54Z)
• Aligning Large Language Models by On-Policy Self-Judgment [49.31895979525054]
  大規模言語モデルと人間の嗜好を整合させる既存のアプローチは、オンライン学習のために別々の報酬モデル(RM)を必要とするトレードオフに直面しています。 本稿では,オンライン学習を行う新たなアライメントフレームワークSELF-JUDGEを提案する。 また, さらなる評価を行なわずに, サンプリング自体がさらなる性能向上に寄与することを示した。
  論文  参考訳（メタデータ） (2024-02-17T11:25:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。