論文の概要: A Dynamic Model of Performative Human-ML Collaboration: Theory and Empirical Evidence

• arxiv url: http://arxiv.org/abs/2405.13753v3
• Date: Mon, 07 Oct 2024 08:20:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-08 13:40:20.496733
• Title: A Dynamic Model of Performative Human-ML Collaboration: Theory and Empirical Evidence
• Title（参考訳）: ヒューマン・機械学習協調の動的モデル:理論と実証的エビデンス
• Authors: Tom Sühr, Samira Samadi, Chiara Farronato,
• Abstract要約: 本稿では,人間-機械学習協調システムにおける機械学習モデルの展開を考えるための新しい枠組みを提案する。 このフレームワークでは、MLレコメンデーションの導入によって、人間の意思決定のデータ生成プロセスが変化します。 多くのレベルのMLパフォーマンスにおいて、人間はML予測を改善することができる。
• 参考スコア（独自算出の注目度）: 2.498836880652668
• License:
• Abstract: Machine learning (ML) models are increasingly used in various applications, from recommendation systems in e-commerce to diagnosis prediction in healthcare. In this paper, we present a novel dynamic framework for thinking about the deployment of ML models in a performative, human-ML collaborative system. In our framework, the introduction of ML recommendations changes the data-generating process of human decisions, which are only a proxy to the ground truth and which are then used to train future versions of the model. We show that this dynamic process in principle can converge to different stable points, i.e. where the ML model and the Human+ML system have the same performance. Some of these stable points are suboptimal with respect to the actual ground truth. As a proof of concept, we conduct an empirical user study with 1,408 participants. In the study, humans solve instances of the knapsack problem with the help of machine learning predictions of varying performance. This is an ideal setting because we can identify the actual ground truth, and evaluate the performance of human decisions supported by ML recommendations. We find that for many levels of ML performance, humans can improve upon the ML predictions. We also find that the improvement could be even higher if humans rationally followed the ML recommendations. Finally, we test whether monetary incentives can increase the quality of human decisions, but we fail to find any positive effect. Using our empirical data to approximate our collaborative system suggests that the learning process would dynamically reach an equilibrium performance that is around 92% of the maximum knapsack value. Our results have practical implications for the deployment of ML models in contexts where human decisions may deviate from the indisputable ground truth.
• Abstract（参考訳）: 機械学習(ML)モデルは、電子商取引におけるレコメンデーションシステムから、医療における診断予測まで、さまざまなアプリケーションでますます使われている。 本稿では,人間-機械学習協調システムにおけるMLモデルの展開を考えるための新しい動的枠組みを提案する。 我々のフレームワークでは、MLレコメンデーションの導入によって、人間による意思決定のデータ生成プロセスが変化します。 この動的プロセスの原理は,MLモデルとHuman+MLシステムが同じ性能を持つような,異なる安定点に収束できることを示す。 これらの安定点のいくつかは、実際の基底真理に関して準最適である。 概念実証として,1,408人の参加者による経験的ユーザスタディを実施している。 この研究では、さまざまなパフォーマンスの機械学習予測の助けを借りて、人間がknapsack問題のインスタンスを解く。 これは、実際の真実を特定し、MLレコメンデーションによって支持される人間の意思決定のパフォーマンスを評価することができるため、理想的な設定です。 多くのレベルのMLパフォーマンスにおいて、人間はML予測を改善することができる。 また、人間がMLレコメンデーションを合理的に従えば、改善はさらに高くなる可能性があることもわかりました。 最後に、金融インセンティブが人間の意思決定の質を高めることができるかどうかをテストするが、肯定的な効果は見つからない。 実験データを用いて協調システムを近似すると,学習過程は最大クナップサック値の約92%の平衡値に動的に到達することが示唆された。 この結果から,人間による決定が議論の余地のない根拠の真理から逸脱する可能性のある状況において,MLモデルの展開が現実的な意味を持つことがわかった。

関連論文リスト

• Hybrid Preferences: Learning to Route Instances for Human vs. AI Feedback [87.37721254914476]
  アノテーションの品質向上のために,人間とLMの入力を組み合わせたルーティングフレームワークを提案する。 我々は、人間とLMアノテーションの任意の組み合わせで報酬モデルの性能を予測するために、性能予測モデルを訓練する。 選択したハイブリッド混合物は,一方のみ使用した場合と比較して,報奨モデルの性能が向上することを示す。
  論文  参考訳（メタデータ） (2024-10-24T20:04:15Z)
• How Aligned are Generative Models to Humans in High-Stakes Decision-Making? [10.225573060836478]
  大規模生成モデル(LM)は、高い意思決定のためにますます検討されている。 この研究は、リシビズム予測の特定のケースにおいて、そのようなモデルが人間や予測AIモデルとどのように比較されるかを検討する。
  論文  参考訳（メタデータ） (2024-10-20T19:00:59Z)
• Predicting and Understanding Human Action Decisions: Insights from Large Language Models and Cognitive Instance-Based Learning [0.0]
  大きな言語モデル(LLM)は、様々なタスクにまたがってその能力を実証している。 本稿では,LLMの推論と生成能力を利用して,2つの逐次意思決定タスクにおける人間の行動を予測する。 我々は,LLMの性能を,人間の経験的意思決定を模倣した認知的インスタンスベース学習モデルと比較した。
  論文  参考訳（メタデータ） (2024-07-12T14:13:06Z)
• Automating Data Annotation under Strategic Human Agents: Risks and Potential Solutions [10.448052192725168]
  本稿では,機械学習モデルがモデル注釈付きサンプルで再訓練される場合の長期的影響について検討する。 モデルが再訓練されるにつれて、エージェントが肯定的な判断を受けやすいことが分かっています。 そこで本研究では,力学を安定化させる改良されたリトレーニングプロセスを提案する。
  論文  参考訳（メタデータ） (2024-05-12T13:36:58Z)
• Beyond Human Data: Scaling Self-Training for Problem-Solving with Language Models [115.501751261878]
  人為的なデータに基づく微調整言語モデル(LM)が普及している。 我々は、スカラーフィードバックにアクセス可能なタスクにおいて、人間のデータを超えることができるかどうか検討する。 ReST$EM$はモデルサイズに好適にスケールし、人間のデータのみによる微調整を大幅に上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-12-11T18:17:43Z)
• CLOMO: Counterfactual Logical Modification with Large Language Models [109.60793869938534]
  本稿では,新しいタスク,CLOMO(Counterfactual Logical Modification)と高品質な人間アノテーションベンチマークを紹介する。 このタスクでは、LLMは所定の論理的関係を維持するために、与えられた議論的テキストを順応的に変更しなければなりません。 LLMの自然言語出力を直接評価する革新的な評価指標である自己評価スコア(SES)を提案する。
  論文  参考訳（メタデータ） (2023-11-29T08:29:54Z)
• SALMON: Self-Alignment with Instructable Reward Models [80.83323636730341]
  本稿では,基本言語モデルと人間の監督を最小限に整合させる新しいアプローチ,すなわちSALMONを提案する。 私たちはDromedary-2という名のAIアシスタントを開発しており、コンテキスト内学習には6つの例と31の人間定義原則しかありません。
  論文  参考訳（メタデータ） (2023-10-09T17:56:53Z)
• Reinforcement Learning with Human Feedback: Learning Dynamic Choices via Pessimism [91.52263068880484]
  人間のフィードバックを用いたオフライン強化学習(RLHF)について検討する。 我々は、人間の選択によって引き起こされる一連の軌道から、人間の根底にある報酬とMDPの最適政策を学習することを目指している。 RLHFは、大きな状態空間だが人間のフィードバックが限られていること、人間の決定の有界な合理性、政治外の分散シフトなど、さまざまな理由から挑戦されている。
  論文  参考訳（メタデータ） (2023-05-29T01:18:39Z)
• Quantifying Human Bias and Knowledge to guide ML models during Training [0.0]
  トレーニングプロセスに人間を含めることで、歪んだデータセットを扱うための実験的なアプローチを導入する。 我々は、データセットの特徴の重要性をランク付けし、ランクアグリゲーションを通じて、モデルの初期重みバイアスを決定するよう人間に求める。 我々は、集団的人間の偏見によって、機械学習モデルがバイアス標本の代わりに真の人口についての洞察を学習できることを示した。
  論文  参考訳（メタデータ） (2022-11-19T20:49:07Z)
• Efficient Model-based Multi-agent Reinforcement Learning via Optimistic Equilibrium Computation [93.52573037053449]
  H-MARL (Hallucinated Multi-Agent Reinforcement Learning) は,環境と数回交流した後の平衡政策を学習する。 自律運転シミュレーションベンチマークにおいて,本手法を実験的に実証した。
  論文  参考訳（メタデータ） (2022-03-14T17:24:03Z)
• Insights into Performance Fitness and Error Metrics for Machine Learning [1.827510863075184]
  機械学習(ML)は、高いレベルの認知を達成し、人間のような分析を行うための訓練機械の分野である。 本稿では、回帰アルゴリズムや分類アルゴリズムにおいて、最もよく使われている性能適合度と誤差の測定値について検討する。
  論文  参考訳（メタデータ） (2020-05-17T22:59:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。