論文の概要: Uncertainty-aware Reward Model: Teaching Reward Models to Know What is Unknown

• arxiv url: http://arxiv.org/abs/2410.00847v1
• Date: Tue, 1 Oct 2024 16:29:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-05 03:46:09.201903
• Title: Uncertainty-aware Reward Model: Teaching Reward Models to Know What is Unknown
• Title（参考訳）: 不確かさを意識したリワードモデル:未知のモデルを理解するためにリワードモデルを教える
• Authors: Xingzhou Lou, Dong Yan, Wei Shen, Yuzi Yan, Jian Xie, Junge Zhang,
• Abstract要約: 本稿では,未確認RM(URM)と未確認RMアンサンブル(URME)を提案し,報酬モデルに不確実性を取り込んで管理する。 URMEはアンサンブルにおける不一致を通じて不確実性を定量化する一方、URMは人間の好みの中で不整合属性の分布をモデル化することができる。 実験結果から,提案したURMは,同じ大きさのモデルと比較して最先端の性能を達成できることがわかった。
• 参考スコア（独自算出の注目度）: 20.753374166695494
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reward models (RM) play a critical role in aligning generations of large language models (LLM) to human expectations. However, prevailing RMs fail to capture the stochasticity within human preferences and cannot effectively evaluate the reliability of reward predictions. To address these issues, we propose Uncertain-aware RM (URM) and Uncertain-aware RM Ensemble (URME) to incorporate and manage uncertainty in reward modeling. URM can model the distribution of disentangled attributes within human preferences, while URME quantifies uncertainty through discrepancies in the ensemble, thereby identifying potential lack of knowledge during reward evaluation. Experiment results indicate that the proposed URM achieves state-of-the-art performance compared to models with the same size, demonstrating the effectiveness of modeling uncertainty within human preferences. Furthermore, empirical results show that through uncertainty quantification, URM and URME can identify unreliable predictions to improve the quality of reward evaluations.
• Abstract（参考訳）: リワードモデル(RM)は、大規模言語モデル(LLM)の世代を人間の期待に合わせる上で重要な役割を果たす。 しかし、一般に普及しているRMは、人間の嗜好の確率性を捉えることができず、報酬予測の信頼性を効果的に評価することができない。 これらの問題に対処するために,不確実なRM(URM)と不確実なRMアンサンブル(URME)を提案する。 URMEは、アンサンブル内の不一致を通じて不確実性を定量化し、報酬評価中の知識の潜在的な欠如を識別する。 実験結果から,提案したURMは,同じ大きさのモデルと比較して最先端の性能を達成し,人間の嗜好における不確実性をモデル化する効果が示された。 さらに, 不確実な定量化によって, URMとURMEは信頼できない予測を識別し, 報酬評価の質を向上させることが実証された。

関連論文リスト

• Beyond RMSE and MAE: Introducing EAUC to unmask hidden bias and unfairness in dyadic regression models [5.336076422485076]
  個々の実体の観測値分布の非均一性は、最先端モデルにおける非常に偏りのある予測をもたらすことを示す。 我々は、Eccentricity-Area Under the Curve(EAUC)を、すべての研究されたモデルとデータセットで定量化できる新しい指標として紹介する。
  論文  参考訳（メタデータ） (2024-01-19T13:41:08Z)
• Measuring and Modeling Uncertainty Degree for Monocular Depth Estimation [50.920911532133154]
  単分子深度推定モデル(MDE)の本質的な不適切さと順序感性は、不確かさの程度を推定する上で大きな課題となる。 本稿では,MDEモデルの不確かさを固有確率分布の観点からモデル化する。 新たなトレーニング正規化用語を導入することで、驚くほど単純な構成で、余分なモジュールや複数の推論を必要とせずに、最先端の信頼性で不確実性を推定できる。
  論文  参考訳（メタデータ） (2023-07-19T12:11:15Z)
• Training, Architecture, and Prior for Deterministic Uncertainty Methods [33.45069308137142]
  本研究は決定論的不確実性法(DUM)における重要な設計選択について検討する。 コアアーキテクチャと不確実性ヘッドスキームを分離したトレーニングスキームは、不確実性性能を大幅に改善できることを示す。 他のベイズモデルとは対照的に、DUMが定義した事前定義が最終的な性能に強い影響を及ぼさないことを示す。
  論文  参考訳（メタデータ） (2023-03-10T09:00:52Z)
• Rethinking Missing Data: Aleatoric Uncertainty-Aware Recommendation [59.500347564280204]
  本稿では, Aleatoric Uncertainty-aware Recommendation (AUR) フレームワークを提案する。 AURは、新しい不確実性推定器と通常のレコメンデータモデルで構成されている。 誤ラベルの可能性がペアの可能性を反映しているため、AURは不確実性に応じてレコメンデーションを行う。
  論文  参考訳（メタデータ） (2022-09-22T04:32:51Z)
• Uncertainty-Driven Action Quality Assessment [67.20617610820857]
  本稿では,複数の判定スコアの多様性を捉えるために,不確実性駆動型AQA (UD-AQA) という新しい確率モデルを提案する。 我々は,AQA回帰損失の再重み付けに使用される各予測の不確かさを推定する。 提案手法は,オリンピックイベントMTL-AQAとFineDivingの3つのベンチマークと,手術スキルJIGSAWSデータセットの3つのベンチマークで比較結果を得た。
  論文  参考訳（メタデータ） (2022-07-29T07:21:15Z)
• Approaching Neural Network Uncertainty Realism [53.308409014122816]
  自動運転車などの安全クリティカルなシステムには、定量化または少なくとも上限の不確実性が不可欠です。 マハラノビス距離に基づく統計的テストにより、厳しい品質基準である不確実性リアリズムを評価します。 自動車分野に採用し、プレーンエンコーダデコーダモデルと比較して、不確実性リアリズムを大幅に改善することを示した。
  論文  参考訳（メタデータ） (2021-01-08T11:56:12Z)
• On the model-based stochastic value gradient for continuous reinforcement learning [50.085645237597056]
  モデルベースエージェントは,サンプル効率と最終報酬の両方の観点から,最先端のモデルフリーエージェントより優れていることを示す。 以上の結果から,モデルに基づく政策評価がより注目に値することが示唆された。
  論文  参考訳（メタデータ） (2020-08-28T17:58:29Z)
• Model Uncertainty Quantification for Reliable Deep Vision Structural Health Monitoring [2.5126058470073263]
  本稿では,深部視覚構造型健康モニタリングモデルに対するベイズ推定を提案する。 不確かさはモンテカルロのドロップアウトサンプリングを用いて定量化することができる。 き裂, 局部損傷同定, 橋梁部品検出の3つの独立したケーススタディについて検討した。
  論文  参考訳（メタデータ） (2020-04-10T17:54:10Z)
• Uncertainty-Gated Stochastic Sequential Model for EHR Mortality Prediction [6.170898159041278]
  本稿では,欠落変数の分布を推定し,隠れ状態の更新を行い,院内死亡の可能性を予測できる新しい変動再帰ネットワークを提案する。 我々のモデルは、これらの手順を1つのストリームで実行し、エンドツーエンドで全てのネットワークパラメータを共同で学習できることは注目に値する。
  論文  参考訳（メタデータ） (2020-03-02T04:41:28Z)
• Learning to Predict Error for MRI Reconstruction [67.76632988696943]
  提案手法による予測の不確実性は予測誤差と強く相関しないことを示す。 本稿では,2段階の予測誤差の目標ラベルと大小を推定する新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-02-13T15:55:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。