論文の概要: Accounting for Sycophancy in Language Model Uncertainty Estimation

• arxiv url: http://arxiv.org/abs/2410.14746v1
• Date: Thu, 17 Oct 2024 18:00:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:20:28.116042
• Title: Accounting for Sycophancy in Language Model Uncertainty Estimation
• Title（参考訳）: 言語モデル不確かさ推定における語彙の会計
• Authors: Anthony Sicilia, Mert Inan, Malihe Alikhani,
• Abstract要約: 梅毒率と不確実性評価との関係を初めて検討した。 ユーザの信頼感は,梅毒の影響を調節する上で重要な役割を担っていることを示す。 モデルとユーザの不確実性の両方を外部化することは、梅毒のバイアスの影響を軽減するのに役立ちます。
• 参考スコア（独自算出の注目度）: 28.08509288774144
• License:
• Abstract: Effective human-machine collaboration requires machine learning models to externalize uncertainty, so users can reflect and intervene when necessary. For language models, these representations of uncertainty may be impacted by sycophancy bias: proclivity to agree with users, even if they are wrong. For instance, models may be over-confident in (incorrect) problem solutions suggested by a user. We study the relationship between sycophancy and uncertainty estimation for the first time. We propose a generalization of the definition of sycophancy bias to measure downstream impacts on uncertainty estimation, and also propose a new algorithm (SyRoUP) to account for sycophancy in the uncertainty estimation process. Unlike previous works on sycophancy, we study a broad array of user behaviors, varying both correctness and confidence of user suggestions to see how model answers (and their certainty) change. Our experiments across conversation forecasting and question-answering tasks show that user confidence plays a critical role in modulating the effects of sycophancy, and that SyRoUP can better predict these effects. From these results, we argue that externalizing both model and user uncertainty can help to mitigate the impacts of sycophancy bias.
• Abstract（参考訳）: 効果的な人間と機械のコラボレーションは、不確実性を外部化する機械学習モデルを必要とするため、ユーザーは必要に応じて反映し、介入することができる。 言語モデルでは、これらの不確実性の表現は、たとえそれが間違っているとしても、ユーザに同意する傾向という、梅毒のバイアスによって影響を受ける可能性がある。 例えば、モデルは、ユーザが提案する(正しくない)問題解決において過信されることがある。 梅毒率と不確実性評価との関係を初めて検討した。 本研究では,不確実性推定における下流の影響を測定するために,不確実性バイアスの定義を一般化し,不確実性推定プロセスにおける不確実性を考慮した新しいアルゴリズム(SyRoUP)を提案する。 梅毒に関するこれまでの研究とは異なり、我々は、モデルの回答(とその確実性)がどのように変化するかを確認するために、ユーザ提案の正しさと信頼度の両方を変えて、幅広いユーザ行動を研究する。 会話予測や質問応答タスクにまたがる実験は、ユーザーの自信が梅毒効果を調節する上で重要な役割を担い、SyRoUPはこれらの効果をよりよく予測できることを示している。 これらの結果から、モデルとユーザの不確実性の両方を外部化することは、梅毒のバイアスの影響を軽減するのに役立つと論じる。

関連論文リスト

• Advancing Counterfactual Inference through Nonlinear Quantile Regression [77.28323341329461]
  ニューラルネットワークで実装された効率的かつ効果的な対実的推論のためのフレームワークを提案する。 提案手法は、推定された反事実結果から見つからないデータまでを一般化する能力を高める。 複数のデータセットで実施した実証実験の結果は、我々の理論的な主張に対する説得力のある支持を提供する。
  論文  参考訳（メタデータ） (2023-06-09T08:30:51Z)
• Debiasing Recommendation by Learning Identifiable Latent Confounders [49.16119112336605]
  コンバウンディングバイアスは、ユーザの露出とフィードバックの両方に影響を与える未測定変数の存在によって生じる。 既存の手法では,(1) 未測定変数について不確定な仮定を行うか,(2) 潜伏した共同創設者を直接ユーザの露出から推測する。 本稿では、上記の非識別問題の解決にプロキシ変数の集合を利用する新しい方法、すなわち、識別可能なデコノウ(iDCF)を提案する。
  論文  参考訳（メタデータ） (2023-02-10T05:10:26Z)
• Reliability-Aware Prediction via Uncertainty Learning for Person Image Retrieval [51.83967175585896]
  UALは、データ不確実性とモデル不確実性を同時に考慮し、信頼性に配慮した予測を提供することを目的としている。 データ不確実性はサンプル固有のノイズを捕捉する」一方、モデル不確実性はサンプルの予測に対するモデルの信頼を表現している。
  論文  参考訳（メタデータ） (2022-10-24T17:53:20Z)
• Trust but Verify: Assigning Prediction Credibility by Counterfactual Constrained Learning [123.3472310767721]
  予測信頼性尺度は統計学と機械学習において基本的なものである。 これらの措置は、実際に使用される多種多様なモデルを考慮に入れるべきである。 この研究で開発されたフレームワークは、リスクフィットのトレードオフとして信頼性を表現している。
  論文  参考訳（メタデータ） (2020-11-24T19:52:38Z)
• Double Robust Representation Learning for Counterfactual Prediction [68.78210173955001]
  そこで本稿では, 対実予測のための2次ロバスト表現を学習するための, スケーラブルな新しい手法を提案する。 我々は、個々の治療効果と平均的な治療効果の両方に対して、堅牢で効率的な対実的予測を行う。 このアルゴリズムは,実世界の最先端技術と合成データとの競合性能を示す。
  論文  参考訳（メタデータ） (2020-10-15T16:39:26Z)
• An Uncertainty-based Human-in-the-loop System for Industrial Tool Wear Analysis [68.8204255655161]
  人間のループシステムにおけるモンテカルロのドロップアウトに基づく不確実性対策により,システムの透明性と性能が向上することを示す。 シミュレーション研究により、不確実性に基づく「ループ内人間システム」は、様々なレベルの人間の関与に対する性能を高めることが示されている。
  論文  参考訳（メタデータ） (2020-07-14T15:47:37Z)
• Estimation with Uncertainty via Conditional Generative Adversarial Networks [3.829070379776576]
  条件付き生成逆数ネットワーク(cGAN)におけるジェネレータの使い方が異なる予測確率型ニューラルネットワークモデルを提案する。 通常のcGANの入力と出力を反転させることで、モデルを予測モデルとしてうまく利用することができる。 さらに,予測の不確実性を測定するために,回帰問題や分類問題に対するエントロピーと相対エントロピーを導入する。
  論文  参考訳（メタデータ） (2020-07-01T08:54:17Z)
• Identifying Causal-Effect Inference Failure with Uncertainty-Aware Models [41.53326337725239]
  本稿では,不確実性推定を最先端のニューラルネットワーク手法のクラスに統合する実践的アプローチを提案する。 提案手法は,高次元データに共通する「非オーバーラップ」の状況に優雅に対処できることを示す。 正確なモデリングの不確実性は、過度に自信を持ち、潜在的に有害なレコメンデーションを与えるのを防ぐことができる。
  論文  参考訳（メタデータ） (2020-07-01T00:37:41Z)
• Dirichlet uncertainty wrappers for actionable algorithm accuracy accountability and auditability [0.5156484100374058]
  本研究では,不確実性の尺度を用いて出力予測を充実させるラッパーを提案する。 結果の不確実性に基づいて、より確実な予測を選択する拒絶制度を提唱する。 その結果,ラッパーが計算した不確実性の有効性が示された。
  論文  参考訳（メタデータ） (2019-12-29T11:05:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。