論文の概要: CSPF: A Constrained Shared-Private Fusion Method for Non-Verifiable Preference Evaluation

• arxiv url: http://arxiv.org/abs/2607.20862v1
• Date: Thu, 23 Jul 2026 02:39:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-24 18:26:25.262558
• Title: CSPF: A Constrained Shared-Private Fusion Method for Non-Verifiable Preference Evaluation
• Title（参考訳）: CSPF:非検証型参照評価のための制約付き共有原始核融合法
• Abstract要約: Constrained Shared-Private Fusion (CSPF) は異種凍結報酬モデルを相補的評価器として扱う融合法である。 CSPFは、各専門家信号を共有および専門家のプライベートな表現に分解し、クロスエキスパートアライメントを促進する。 全体として、CSPFは、隠された状態の表現を融合させることにより、より表現力のある選好評価の基盤となることを示唆している。
• 参考スコア（独自算出の注目度）: 2.110528880760769
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: At present, reliable evaluation of non-verifiable tasks remains challenging. Existing approaches often fail to adequately capture the diverse evaluative criteria underlying human preferences in such tasks. To this end, we propose Constrained Shared-Private Fusion (CSPF), a fusion method that treats heterogeneous frozen reward models as complementary evaluators and learns to integrate their hidden-state representations under pairwise human-preference supervision. CSPF decomposes each expert signal into shared and expert-private representations, encouraging cross-expert alignment while preserving complementary viewpoints. Across experiments on LM-Arena target-domain adaptation and PPE out-of-distribution preference evaluation, CSPF achieves the best performance on the primary metrics among the evaluated single-expert reward-model, scalar-score multi-expert, and rubric-judge baselines. Overall, CSPF suggests that fusing hidden-state representations provides a more expressive basis for preference assessment, offering a practical route toward integrated evaluative signals for non-verifiable preference tasks.
• Abstract（参考訳）: 現在、検証不能なタスクの信頼性評価は依然として困難である。 既存のアプローチは、そのようなタスクにおいて人間の嗜好に根ざした様々な評価基準を適切に捉えられないことが多い。 この目的のために,異種凍結報酬モデルを相補的評価器として扱う融合法であるConstrained Shared-Private Fusion (CSPF)を提案する。 CSPFは、各専門家信号を共有および専門家のプライベートな表現に分解し、相補的な視点を維持しながら、クロスエキスパートアライメントを奨励する。 CSPFは、LM-Arenaターゲットドメイン適応とPPEアウト・オブ・ディストリビューション・プライオリティ評価に関する実験を通じて、評価されたシングルエキスパート報酬モデル、スカラースコアマルチエキスパート、ルーリック・ジャッジベースラインのうち、一次指標の最高の性能を達成する。 全体として、CSPFは、隠蔽状態の表現を融合させることにより、より表現力のある選好評価の基盤となり、検証不可能な選好タスクのための統合評価信号への実践的な経路を提供することを示唆している。

関連論文リスト

• Rewarding Better Thinking for LLM Preference Alignment [12.554370474428621]
  Thinking Checklist Reward (TCR)は、RLベースの優先順位調整のためのプロセス指向の報酬である。 TCRは、嗜好ペアをサンプル固有の思考チェックリストに変換し、それらを用いて、生成した推論トレースアドレスが嗜好に即した考慮事項であるかどうかを評価する。 3つのモデルファミリーの5つのモデルに対する実験では、TCRは様々なベンチマークで一貫してアライメント性能を改善している。
  論文  参考訳（メタデータ） (2026-07-22T06:57:55Z)
• CriterAlign: Criterion-Centric Rationale Alignment for Code Preference Judging [95.02210956333374]
  本稿では,一対の選好評価にルーブリックに基づく判断を適応させる基準中心のフレームワークを提案する。 BigCodeRewardでは、CriterAlignはQwen2.5-VL-32Bモノリシック判事を60.4%から66.3%に改善した。
  論文  参考訳（メタデータ） (2026-05-19T10:59:19Z)
• Utilizing and Calibrating Hindsight Process Rewards via Reinforcement with Mutual Information Self-Evaluation [50.696688705287755]
  我々は、強化学習におけるスパース報酬課題を克服するために、相互情報自己評価を提案する。 MISEにより、エージェントは、疎外的信号を補う高密度な内部報酬から自律的に学習することができる。 我々は、後見自己評価報酬を利用することは、政策と代行報酬政策の間のKL分散項と相互情報を組み合わせた目的を最小化することと等価であることを示す。
  論文  参考訳（メタデータ） (2026-04-13T15:18:51Z)
• Tree of Preferences for Diversified Recommendation [54.183647833064136]
  データバイアスの観点から、多種多様な推薦について検討する。 本研究では,世界知識を活用したゼロショット推論における大規模言語モデル(LLM)の卓越した性能に着想を得て,新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2025-12-24T04:13:17Z)
• Pluralistic Off-policy Evaluation and Alignment [47.35585359400588]
  LLMにおけるオフライン多元的選好評価とアライメントのための最初のフレームワークであるPOPEを提案する。 POPEには、人間の嗜好信号から派生した協調ユーティリティコンポーネントと、エントロピーベースのカバレッジ尺度にインスパイアされた多様性コンポーネントを組み合わせた、統一的な報酬機能が含まれている。 実験の結果,POPEは複数の応答生成を効率よく向上し,下流タスクにおけるモデルの汎用能力を維持できることがわかった。
  論文  参考訳（メタデータ） (2025-09-15T01:57:49Z)
• DAFE: LLM-Based Evaluation Through Dynamic Arbitration for Free-Form Question-Answering [12.879551933541345]
  大規模言語モデル評価のための動的アロケーションフレームワーク(DAFE)を提案する。 DAFEは2つの主要なLCM-as-judgesを採用し、不一致の場合のみ第3の仲裁を行う。 DAFEが一貫した、スケーラブルで、リソース効率の高いアセスメントを提供する能力を示す。
  論文  参考訳（メタデータ） (2025-03-11T15:29:55Z)
• HREF: Human Response-Guided Evaluation of Instruction Following in Language Models [61.273153125847166]
  我々は新しい評価ベンチマークHREF(Human Response-Guided Evaluation of Instruction following)を開発した。 HREFは信頼性の高い評価を提供するだけでなく、個々のタスクのパフォーマンスを強調し、汚染を受けない。 本稿では,評価セットのサイズ,判断モデル,ベースラインモデル,プロンプトテンプレートなど,HREFにおける鍵設計選択の影響について検討する。
  論文  参考訳（メタデータ） (2024-12-20T03:26:47Z)
• CFaiRLLM: Consumer Fairness Evaluation in Large-Language Model Recommender System [16.84754752395103]
  本研究は,Large Language Model (LLM) ベースのレコメンデータシステムにおける公平性評価に関する過去の研究に批判的な立場を取る。 CFaiRLLMは、真の嗜好アライメントを組み込むだけでなく、交叉フェアネスを厳格に検証する拡張評価フレームワークである。 CFaiRLLMの有効性を検証するため,MovieLensとLastFMを用いた広範囲な実験を行った。
  論文  参考訳（メタデータ） (2024-03-08T20:44:59Z)
• HD-Eval: Aligning Large Language Model Evaluators Through Hierarchical Criteria Decomposition [92.17397504834825]
  HD-Evalは、大規模な言語モデル評価ツールと人間の好みを反復的に調整するフレームワークである。 HD-Evalは、人間の専門家の評価思想から本質を継承し、LLMに基づく評価器のアライメントを強化する。 3つの評価領域に関する広範囲な実験は、HD-Evalのさらなる整合状態評価器の優位性を実証している。
  論文  参考訳（メタデータ） (2024-02-24T08:01:32Z)
• FedSPLIT: One-Shot Federated Recommendation System Based on Non-negative Joint Matrix Factorization and Knowledge Distillation [7.621960305708476]
  我々はNMF結合因子化に基づく最初の教師なしワンショットフェデレーションCF実装であるFedSPLITを提案する。 FedSPLITは、コミュニケーションの数を大幅に減らすことで、技術の現状と類似した結果を得ることができる(特定の状況では、それよりも優れている)。
  論文  参考訳（メタデータ） (2022-05-04T23:42:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。