論文の概要: JudgePanel: A Compact Judge with Panel Deliberation via Adaptive Multi-Reward Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2608.29168v1
- Date: Sat, 29 Aug 2026 09:33:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:30.865235
- Title: JudgePanel: A Compact Judge with Panel Deliberation via Adaptive Multi-Reward Reinforcement Learning
- Title（参考訳）: judgePanel: 適応型マルチリワード強化学習によるパネル検討によるコンパクトな判断
- Abstract要約: 単一モデル審査員は、固有のモデルバイアスによって制限される。
多様な検討を通じてこれを緩和するマルチエージェント評価プロトコルは、推論時に極めて高価である。
マルチエージェント型アンダーラインJudgeモデルとマルチエージェント型アンダーラインパネル検討機能を備えた textbfmodelname を提案する。
- 参考スコア（独自算出の注目度）: 5.81106044690391
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The LLM-as-a-Judge paradigm has emerged as a scalable alternative to human evaluation. However, single-model judges are limited by their inherent model biases, while multi-agent evaluation protocols that mitigate this through diverse deliberation are prohibitively expensive at inference time. To this end, we propose \textbf{\modelname}, which equips a compact \underline{Judge} model with multi-agent \underline{Panel} deliberation capability. Specifically, we first train on panel deliberation traces from an ensemble of strong evaluators, capturing structured patterns of discussion, disagreement, and resolution. To further improve judgment quality beyond SFT, we introduce \textit{AdaReward}, an adaptive multi-reward RL algorithm that dynamically rebalances reward component weights as different objectives saturate at different rates during RL training. For practical deployment, we further design a lightweight domain specialization module for rapid adaptation to new evaluation domains with few hundred labeled samples. As a result, (i) \textit{Novel}: the first framework to equip a single compact judge with multi-agent panel deliberation capability at single-model inference cost; (ii) \textit{Effective \& Reliable}: JudgePanel with a 14B backbone outperforms judge-specialized models up to 70B across four evaluation benchmarks, demonstrates strong position consistency, and rapidly specializes to new domains with few hundred samples.
- Abstract（参考訳）: LLM-as-a-Judgeパラダイムは、人間の評価に代わるスケーラブルな代替品として登場した。
しかし、単一モデル審査員はモデルバイアスによって制限される一方、様々な熟考を通じてこれを緩和するマルチエージェント評価プロトコルは推論時に違法に高価である。
そこで本論文では,マルチエージェントである \underline{Panel} Deliberation 機能を備えたコンパクトな \underline{Judge} モデルである \textbf{\modelname} を提案する。
具体的には、まず、強力な評価器の集合からパネルディスカッションのトレースを訓練し、構造化された議論パターン、意見の不一致、解決のパターンをキャプチャする。
適応型マルチリワードRLアルゴリズムは、RLトレーニング中に異なる速度で飽和する異なる目的に対して、報酬成分の重みを動的に再バランスする。
実用的展開のために,数百個のラベル付きサンプルを持つ新しい評価領域に迅速に適応する軽量なドメイン特化モジュールを設計する。
その結果である。
i) \textit{Novel}: 単一モデル推論コストでマルチエージェントパネルの熟考能力を備えた単一コンパクトな審査員を装備する最初のフレームワーク。
(ii) \textit{Effective \& Reliable}: JudgePanelは、14Bのバックボーンを持ち、4つの評価ベンチマークで最大70Bまでの審査特化モデルを上回り、強力な位置整合を示し、数百のサンプルを持つ新しいドメインに迅速に特化している。
関連論文リスト
- Sharding Prevents LLM Oversight Failures and Adversarial Exploitation [45.380649793616705]
シャーディングは要求を小さなグループに分割し、各グループを別の呼び出しに割り当て、評決を集約する。
シャードの弱い裁判官は、より有能な総合的な裁判官よりも優れており、後者がパネルの全予算を受け取ったとしても、その裁判官と一致することができる。
論文 参考訳（メタデータ） (2026-08-05T18:21:21Z) - Selective Ensemble Based on Preference-Directed Multi-Objective Bandits [90.75513823660775]
我々は、部分的に指定された線形選好の下で逐次決定問題を定式化する。
次に、嗜好指向の高信頼度境界(PrefUCB)アルゴリズムを提案する。
大規模な事前学習型モデル選択アンサンブルタスクと,機関委任下でのオンラインアセットアロケーションの実験により,本手法が検証された。
論文 参考訳（メタデータ） (2026-06-20T07:52:46Z) - TAME: Test-Time Adversarial Prompt Tuning via Mixture-of-Experts for Vision-Language Models [76.92890872338235]
大規模事前学習型ビジョンランゲージモデル(VLM)は、強いゼロショット一般化を示すが、知覚不能な逆方向の摂動に対して非常に脆弱である。
ダウンストリームタスク固有のリトレーニングを必要とせずに堅牢性を高めるため,新しいテストタイムディフェンスであるTAMEを提案する。
論文 参考訳（メタデータ） (2026-05-17T18:07:08Z) - You Only Judge Once: Multi-response Reward Modeling in a Single Forward Pass [40.11359880802771]
本稿では,1回の前方通過で全ての候補応答を判定する識別的マルチモーダル報酬モデルを提案する。
マルチレスポンス設計では、従来のシングルレスポンススコアよりも最大$Ntimes$ウォールクロックのスピードアップとFLOPの削減も得られる。
我々のモデルは、既存のより大きな生成的および差別的な報酬モデルよりも優れています。
論文 参考訳（メタデータ） (2026-04-13T04:02:03Z) - CDRRM: Contrast-Driven Rubric Generation for Reliable and Interpretable Reward Modeling [61.75914342638658]
CDRRM(Contrast-Driven Reward Model)は、高品質なルーリック生成と優先判断のためのフレームワークである。
この作業は、報酬モデリングのためのスケーラブルで解釈可能で、データ効率のよいパスを提供する。
論文 参考訳（メタデータ） (2026-03-09T07:15:23Z) - Judge Model for Large-scale Multimodality Benchmarks [11.960445424565895]
本稿では,多種多様なタスクにまたがる信頼性,説明可能な評価を提供するために,専用マルチモーダル・ジャッジ・モデルを提案する。
本フレームワークは,マルチモーダルな判断を集約し,モデル出力の品質と推論の一貫性を分析し,診断フィードバックを生成する。
結果は、判断モデルと人間のスコアとの間に強い整合性を示し、スケーラブルで解釈可能な評価パイプラインとしての可能性を示している。
論文 参考訳（メタデータ） (2026-01-03T07:17:17Z) - Approximating Human Preferences Using a Multi-Judge Learned System [35.18016233072556]
本稿では,複数のルーリック条件の審査員から出力を収集することを学ぶことによって,多様なペルソナに基づく選好をモデル化する枠組みを提案する。
コントリビューションには、大規模に好みラベルを合成するペルソナベースの方法と、アグリゲータの2つの異なる実装が含まれている。
論文 参考訳（メタデータ） (2025-10-29T18:32:53Z) - Think Twice: Branch-and-Rethink Reasoning Reward Model [32.70732791642558]
本稿では,2ターンのRMであるブランチ・アンド・リコンプリート(BR-RM)について紹介する。
我々は、厳密なフォーマットチェックによる単純なバイナリ結果報酬を用いて、構造化された2ターントレース上でGRPOスタイルの強化学習を訓練する。
All-at-oncescoringinto focus, second-lookreasoning を変換することにより、BR-RMreducesjudgmentdiffusionand は微妙で連続的な誤りに対する感受性を高める。
論文 参考訳（メタデータ） (2025-10-27T17:58:07Z) - Calibrating MLLM-as-a-judge via Multimodal Bayesian Prompt Ensembles [20.7718577645105]
マルチモーダル・大規模言語モデル (MLLM) はテキスト・ツー・イメージ(TTI)生成システムの評価にますます利用されている。
これらの「ジャッジ」モデルは、様々な画像領域にまたがるバイアス、過信、一貫性のないパフォーマンスに悩まされることが多い。
MMB(Multimodal Mixture-of-Bayesian Prompt Ensembles)と呼ばれる新しいマルチモーダル認識手法を提案する。
論文 参考訳（メタデータ） (2025-09-10T17:06:47Z) - UC-MOA: Utility-Conditioned Multi-Objective Alignment for Distributional Pareto-Optimality [52.49062565901046]
Reinforcement Learning from Human Feedback (RLHF) は、大きな言語モデルと人間の価値を整合させる基盤となっている。
既存のアプローチは、人間の好みの多次元、分布的なニュアンスを捉えるのに苦労している。
本稿では,これらの制約を克服する新しいフレームワークであるUtility-Conditioned Multi-Objective Alignment (UC-MOA)を紹介する。
論文 参考訳（メタデータ） (2025-03-10T09:52:42Z) - Aligning Large Language Models by On-Policy Self-Judgment [49.31895979525054]
大規模言語モデルと人間の嗜好を整合させる既存のアプローチは、オンライン学習のために別々の報酬モデル(RM)を必要とするトレードオフに直面しています。
本稿では,オンライン学習を行う新たなアライメントフレームワークSELF-JUDGEを提案する。
また, さらなる評価を行なわずに, サンプリング自体がさらなる性能向上に寄与することを示した。
論文 参考訳（メタデータ） (2024-02-17T11:25:26Z) - Contrastive Prototype Learning with Augmented Embeddings for Few-Shot
Learning [58.2091760793799]
拡張埋め込み(CPLAE)モデルを用いた新しいコントラスト型プロトタイプ学習を提案する。
クラスプロトタイプをアンカーとして、CPLは、同じクラスのクエリサンプルを、異なるクラスのサンプルを、さらに遠くに引き出すことを目的としている。
いくつかのベンチマークによる大規模な実験により,提案したCPLAEが新たな最先端を実現することが示された。
論文 参考訳（メタデータ） (2021-01-23T13:22:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。