Fugu-MT 論文翻訳(概要): A Dynamic Model of Performative Human-ML Collaboration: Theory and Empirical Evidence

論文の概要: A Dynamic Model of Performative Human-ML Collaboration: Theory and Empirical Evidence

arxiv url: http://arxiv.org/abs/2405.13753v2
Date: Thu, 6 Jun 2024 09:27:11 GMT
ステータス: 処理完了
システム内更新日: 2024-06-07 20:23:24.011914
Title: A Dynamic Model of Performative Human-ML Collaboration: Theory and Empirical Evidence
Title（参考訳）: ヒューマン・機械学習協調の動的モデル:理論と実証的エビデンス
Authors: Tom Sühr, Samira Samadi, Chiara Farronato,
Abstract要約: 本稿では,人間-機械学習協調システムにおける機械学習モデルの展開を考えるための新しい枠組みを提案する。この動的プロセスの原理は,MLモデルとHuman+MLシステムが同じ性能を持つような,異なる安定点に収束できることを示す。この結果から,人間による決定が議論の余地のない根拠の真理から逸脱する可能性のある状況において,MLモデルの展開が現実的な意味を持つことがわかった。
参考スコア（独自算出の注目度）: 2.498836880652668
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Machine learning (ML) models are increasingly used in various applications, from recommendation systems in e-commerce to diagnosis prediction in healthcare. In this paper, we present a novel dynamic framework for thinking about the deployment of ML models in a performative, human-ML collaborative system. In our framework, the introduction of ML recommendations changes the data generating process of human decisions, which are only a proxy to the ground truth and which are then used to train future versions of the model. We show that this dynamic process in principle can converge to different stable points, i.e. where the ML model and the Human+ML system have the same performance. Some of these stable points are suboptimal with respect to the actual ground truth. We conduct an empirical user study with 1,408 participants to showcase this process. In the study, humans solve instances of the knapsack problem with the help of machine learning predictions. This is an ideal setting because we can see how ML models learn to imitate human decisions and how this learning process converges to a stable point. We find that for many levels of ML performance, humans can improve the ML predictions to dynamically reach an equilibrium performance that is around 92% of the maximum knapsack value. We also find that the equilibrium performance could be even higher if humans rationally followed the ML recommendations. Finally, we test whether monetary incentives can increase the quality of human decisions, but we fail to find any positive effect. Our results have practical implications for the deployment of ML models in contexts where human decisions may deviate from the indisputable ground truth.
Abstract（参考訳）: 機械学習(ML)モデルは、電子商取引におけるレコメンデーションシステムから、医療における診断予測まで、さまざまなアプリケーションでますます使われている。本稿では,人間-機械学習協調システムにおけるMLモデルの展開を考えるための新しい動的枠組みを提案する。私たちのフレームワークでは、MLレコメンデーションの導入によって、人間による意思決定のデータ生成プロセスが変わります。この動的プロセスの原理は,MLモデルとHuman+MLシステムが同じ性能を持つような,異なる安定点に収束できることを示す。これらの安定点のいくつかは、実際の基底真理に関して準最適である。我々は,1,408人の参加者による実証的ユーザスタディを実施し,このプロセスを紹介した。この研究では、機械学習予測の助けを借りて、人間がクナプサックの問題を解く。 MLモデルがどのように人間の決定を模倣するか、この学習プロセスが安定した点にどのように収束するかを見ることができるので、これは理想的な設定です。多くのレベルのML性能において、人間は機械学習の予測を改善し、最大クナップサック値の約92%の平衡性能を動的に達成できることがわかった。また、人間が合理的にMLレコメンデーションに従うと、均衡性能はさらに高くなる可能性がある。最後に、金融インセンティブが人間の意思決定の質を高めることができるかどうかをテストするが、肯定的な効果は見つからない。この結果から,人間による決定が議論の余地のない根拠の真理から逸脱する可能性のある状況において,MLモデルの展開が現実的な意味を持つことがわかった。

関連論文リスト

Verbalized Machine Learning: Revisiting Machine Learning with Language Models [63.10391314749408]
言語化機械学習(VML)の枠組みを紹介する。 VMLはパラメータ空間を人間の解釈可能な自然言語に制限する。 VMLの有効性を実証的に評価するために,いくつかの研究を行っている。
論文参考訳（メタデータ） (2024-06-06T17:59:56Z)
Automating Data Annotation under Strategic Human Agents: Risks and Potential Solutions [10.448052192725168]
本稿では,機械学習モデルがモデル注釈付きサンプルで再訓練される場合の長期的影響について検討する。モデルが再訓練されるにつれて、エージェントが肯定的な判断を受けやすいことが分かっています。そこで本研究では,力学を安定化させる改良されたリトレーニングプロセスを提案する。
論文参考訳（メタデータ） (2024-05-12T13:36:58Z)
CogBench: a large language model walks into a psychology lab [12.981407327149679]
本稿では,7つの認知心理学実験から得られた10の行動指標を含むベンチマークであるCogBenchを紹介する。本稿では,CagBenchを35大言語モデル(LLM)に適用し,統計的多レベルモデリング手法を用いて解析する。オープンソースモデルは、プロプライエタリなモデルよりもリスクが高く、コードの微調整は必ずしもLLMの振舞いを促進しない。
論文参考訳（メタデータ） (2024-02-28T10:43:54Z)
Beyond Human Data: Scaling Self-Training for Problem-Solving with Language Models [115.501751261878]
人為的なデータに基づく微調整言語モデル(LM)が普及している。我々は、スカラーフィードバックにアクセス可能なタスクにおいて、人間のデータを超えることができるかどうか検討する。 ReST$EM$はモデルサイズに好適にスケールし、人間のデータのみによる微調整を大幅に上回っていることがわかった。
論文参考訳（メタデータ） (2023-12-11T18:17:43Z)
SALMON: Self-Alignment with Instructable Reward Models [80.83323636730341]
本稿では,基本言語モデルと人間の監督を最小限に整合させる新しいアプローチ,すなわちSALMONを提案する。私たちはDromedary-2という名のAIアシスタントを開発しており、コンテキスト内学習には6つの例と31の人間定義原則しかありません。
論文参考訳（メタデータ） (2023-10-09T17:56:53Z)
Predictable MDP Abstraction for Unsupervised Model-Based RL [93.91375268580806]
予測可能なMDP抽象化(PMA)を提案する。元のMDPで予測モデルを訓練する代わりに、学習されたアクション空間を持つ変換MDPでモデルを訓練する。我々はPMAを理論的に解析し、PMAが以前の教師なしモデルベースRLアプローチよりも大幅に改善することを示す。
論文参考訳（メタデータ） (2023-02-08T07:37:51Z)
Quantifying Human Bias and Knowledge to guide ML models during Training [0.0]
トレーニングプロセスに人間を含めることで、歪んだデータセットを扱うための実験的なアプローチを導入する。我々は、データセットの特徴の重要性をランク付けし、ランクアグリゲーションを通じて、モデルの初期重みバイアスを決定するよう人間に求める。我々は、集団的人間の偏見によって、機械学習モデルがバイアス標本の代わりに真の人口についての洞察を学習できることを示した。
論文参考訳（メタデータ） (2022-11-19T20:49:07Z)
Efficient Model-based Multi-agent Reinforcement Learning via Optimistic Equilibrium Computation [93.52573037053449]
H-MARL (Hallucinated Multi-Agent Reinforcement Learning) は,環境と数回交流した後の平衡政策を学習する。自律運転シミュレーションベンチマークにおいて,本手法を実験的に実証した。
論文参考訳（メタデータ） (2022-03-14T17:24:03Z)
Scaling Language Models: Methods, Analysis & Insights from Training Gopher [83.98181046650664]
本稿では,トランスフォーマーに基づく言語モデルの性能を,幅広いモデルスケールで解析する。スケールからのゲインは、理解、事実確認、有害言語の同定などにおいて最大である。我々は、AIの安全性と下流の害の軽減に対する言語モデルの適用について論じる。
論文参考訳（メタデータ） (2021-12-08T19:41:47Z)
Insights into Performance Fitness and Error Metrics for Machine Learning [1.827510863075184]
機械学習(ML)は、高いレベルの認知を達成し、人間のような分析を行うための訓練機械の分野である。本稿では、回帰アルゴリズムや分類アルゴリズムにおいて、最もよく使われている性能適合度と誤差の測定値について検討する。
論文参考訳（メタデータ） (2020-05-17T22:59:04Z)
Learning a Formula of Interpretability to Learn Interpretable Formulas [1.7616042687330642]
人間の解釈可能性の非対象プロキシのMLモデルが人間のフィードバックから学習可能であることを示す。進化的シンボリック回帰について示す。我々のアプローチは、次世代の解釈可能な(進化的な)MLアルゴリズムの設計のための重要なステップストーンである。
論文参考訳（メタデータ） (2020-04-23T13:59:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。