論文の概要: How Aligned are Generative Models to Humans in High-Stakes Decision-Making?

• arxiv url: http://arxiv.org/abs/2410.15471v1
• Date: Sun, 20 Oct 2024 19:00:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:20:13.896662
• Title: How Aligned are Generative Models to Humans in High-Stakes Decision-Making?
• Title（参考訳）: 高精度意思決定における生成モデルと人間との関係
• Authors: Sarah Tan, Keri Mallari, Julius Adebayo, Albert Gordo, Martin T. Wells, Kori Inkpen,
• Abstract要約: 大規模生成モデル(LM)は、高い意思決定のためにますます検討されている。 この研究は、リシビズム予測の特定のケースにおいて、そのようなモデルが人間や予測AIモデルとどのように比較されるかを検討する。
• 参考スコア（独自算出の注目度）: 10.225573060836478
• License:
• Abstract: Large generative models (LMs) are increasingly being considered for high-stakes decision-making. This work considers how such models compare to humans and predictive AI models on a specific case of recidivism prediction. We combine three datasets -- COMPAS predictive AI risk scores, human recidivism judgements, and photos -- into a dataset on which we study the properties of several state-of-the-art, multimodal LMs. Beyond accuracy and bias, we focus on studying human-LM alignment on the task of recidivism prediction. We investigate if these models can be steered towards human decisions, the impact of adding photos, and whether anti-discimination prompting is effective. We find that LMs can be steered to outperform humans and COMPAS using in context-learning. We find anti-discrimination prompting to have unintended effects, causing some models to inhibit themselves and significantly reduce their number of positive predictions.
• Abstract（参考訳）: 大規模生成モデル(LM)は、高い意思決定のためにますます検討されている。 この研究は、リシビズム予測の特定のケースにおいて、そのようなモデルが人間や予測AIモデルとどのように比較されるかを検討する。 われわれは、CompAS予測AIリスクスコア、人間のリシディズム判断、写真という3つのデータセットを、最先端のマルチモーダルLMの特性を研究するデータセットに組み合わせている。 精度とバイアスの他に、人間とLMのアライメントを再現性予測の課題に焦点をあてる。 これらのモデルが人間の決定に向けられるか、写真の追加による影響、そして、識別防止効果が有効かどうかを検討する。 文脈学習では,LMは人間やCompASよりも優れることがわかった。 反差別は意図しない効果を誘発し、一部のモデルが自分自身を阻害し、肯定的な予測の数を著しく減少させる。

関連論文リスト

• Predicting Emergent Capabilities by Finetuning [98.9684114851891]
  微調整された言語モデルでは,出現頻度の低いモデルに展開するスケーリングのポイントをシフトできることがわかった。 提案手法は4つの標準NLPベンチマークを用いて検証する。 いくつかのケースでは、最大4倍の計算でトレーニングされたモデルが出現したかどうかを正確に予測できる。
  論文  参考訳（メタデータ） (2024-11-25T01:48:09Z)
• Uncertainty is Fragile: Manipulating Uncertainty in Large Language Models [79.76293901420146]
  大規模言語モデル(LLM)は、出力の信頼性が不可欠である様々な高い領域で採用されている。 本研究では,不確実性推定の脆弱性を調査し,攻撃の可能性を探る。 攻撃者がLSMにバックドアを埋め込むことができ、入力中の特定のトリガーによって起動されると、最終的な出力に影響を与えることなくモデルの不確実性を操作できることを示す。
  論文  参考訳（メタデータ） (2024-07-15T23:41:11Z)
• Self-Recognition in Language Models [10.649471089216489]
  モデル生成型「セキュリティ問題」を用いたLMの自己認識評価手法を提案する。 現在公開されている最も有能なオープンソースかつクローズドなLMのうち10つにおいて、私たちのテストを使って自己認識を検証しています。 我々の結果は、一組の代替案が与えられた場合、LMはその起源に関係なく「ベスト」な答えを選択しようとすることを示唆している。
  論文  参考訳（メタデータ） (2024-07-09T15:23:28Z)
• Large Language Models Must Be Taught to Know What They Don't Know [97.90008709512921]
  正解と誤解の小さなデータセットを微調整すると、高い一般化と計算オーバーヘッドの少ない不確実性推定が得られることを示す。 また,確実な不確実性推定を可能にする機構についても検討し,多くのモデルを汎用的不確実性推定器として利用することができることを示した。
  論文  参考訳（メタデータ） (2024-06-12T16:41:31Z)
• Making Pre-trained Language Models both Task-solvers and Self-calibrators [52.98858650625623]
  プレトレーニング言語モデル(PLM)は、様々な現実世界のシステムのバックボーンとして機能する。 以前の研究は、余分なキャリブレーションタスクを導入することでこの問題を緩和できることを示している。 課題に対処するためのトレーニングアルゴリズムLM-TOASTを提案する。
  論文  参考訳（メタデータ） (2023-07-21T02:51:41Z)
• Evidence > Intuition: Transferability Estimation for Encoder Selection [16.490047604583882]
  我々は、全ての候補を微調整することなく、目標タスクにおいてどのLMが最善を尽くすかを予測する定量的な証拠を生成する。 我々は,コンピュータビジョン(CV)のLogME(Logarithm Maximum of Evidence)尺度を採用し,94%のセットアップにおいて,最終的なLM性能と正の相関関係があることを見出した。
  論文  参考訳（メタデータ） (2022-10-20T13:25:21Z)
• How can I choose an explainer? An Application-grounded Evaluation of Post-hoc Explanations [2.7708222692419735]
  説明は意思決定タスクに対する実際の影響に基づいて評価されることはめったにない。 本研究は,エンドユーザーに対して異なるレベルの情報を提供することによる影響を分離するアプリケーショングラウンド評価手法であるXAI Testを提案する。 強い統計的分析を用いて、一般的な説明者は、望まれるよりも悪い影響を持つことを示す。
  論文  参考訳（メタデータ） (2021-01-21T18:15:13Z)
• When Does Uncertainty Matter?: Understanding the Impact of Predictive Uncertainty in ML Assisted Decision Making [68.19284302320146]
  我々は,異なるレベルの専門知識を持つ人々が,異なるタイプの予測不確実性にどう反応するかを評価するために,ユーザスタディを実施している。 その結果,後続の予測分布を示すことは,MLモデルの予測との相違点が小さくなることがわかった。 このことは、後続の予測分布は、人間の分布の種類や専門性を考慮し、注意を払って使用するべき有用な決定支援として役立つ可能性があることを示唆している。
  論文  参考訳（メタデータ） (2020-11-12T02:23:53Z)
• An Information-Theoretic Approach to Personalized Explainable Machine Learning [92.53970625312665]
  本稿では,予測とユーザ知識のための簡易確率モデルを提案する。 説明と予測の間の条件付き相互情報による説明の効果を定量化する。
  論文  参考訳（メタデータ） (2020-03-01T13:06:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。