論文の概要: A Taxonomy of Human and ML Strengths in Decision-Making to Investigate
Human-ML Complementarity
- arxiv url: http://arxiv.org/abs/2204.10806v3
- Date: Sun, 5 Nov 2023 21:39:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-08 01:53:13.114486
- Title: A Taxonomy of Human and ML Strengths in Decision-Making to Investigate
Human-ML Complementarity
- Title(参考訳): 意思決定における人間とmlの強みの分類法 : ヒト-ml相補性の検討
- Authors: Charvi Rastogi, Liu Leqi, Kenneth Holstein, Hoda Heidari
- Abstract要約: 本稿では,人間とMLに基づく意思決定の違いを特徴付ける分類法を提案する。
相補性の許容条件を検討するための数学的アグリゲーションフレームワークを提供する。
- 参考スコア(独自算出の注目度): 30.23729174053152
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Hybrid human-ML systems increasingly make consequential decisions in a wide
range of domains. These systems are often introduced with the expectation that
the combined human-ML system will achieve complementary performance, that is,
the combined decision-making system will be an improvement compared with either
decision-making agent in isolation. However, empirical results have been mixed,
and existing research rarely articulates the sources and mechanisms by which
complementary performance is expected to arise. Our goal in this work is to
provide conceptual tools to advance the way researchers reason and communicate
about human-ML complementarity. Drawing upon prior literature in human
psychology, machine learning, and human-computer interaction, we propose a
taxonomy characterizing distinct ways in which human and ML-based
decision-making can differ. In doing so, we conceptually map potential
mechanisms by which combining human and ML decision-making may yield
complementary performance, developing a language for the research community to
reason about design of hybrid systems in any decision-making domain. To
illustrate how our taxonomy can be used to investigate complementarity, we
provide a mathematical aggregation framework to examine enabling conditions for
complementarity. Through synthetic simulations, we demonstrate how this
framework can be used to explore specific aspects of our taxonomy and shed
light on the optimal mechanisms for combining human-ML judgments
- Abstract(参考訳): ハイブリッドなヒューマンMLシステムは、広範囲のドメインで連続的な決定をする傾向にある。
これらのシステムはしばしば、統合された人間-MLシステムが相補的な性能を達成することを期待して導入され、つまり、統合された意思決定システムは、分離された意思決定エージェントと比較して改善される。
しかし、実験結果が混ざり合っており、既存の研究では相補的な性能が期待される源泉や機構が明確化されることは稀である。
この研究の目標は、研究者が人間-MLの相補性について推論しコミュニケーションする方法を進めるための概念的なツールを提供することです。
本稿では,人間の心理学,機械学習,人間とコンピュータの相互作用に関する先行研究に基づいて,人間とMLによる意思決定の相違を特徴付ける分類法を提案する。
そこで我々は,人間と機械学習の意思決定の組み合わせが相補的な性能をもたらす可能性のメカニズムを概念的にマッピングし,あらゆる意思決定領域におけるハイブリッドシステムの設計を推論する言語を開発する。
相補性を調べるために我々の分類学をどのように利用できるかを説明するために,相補性を実現するための数学的集約フレームワークを提供する。
合成シミュレーションにより, この枠組みを用いて分類学の特定の側面を探索し, 人間の-ml判断を組み合わせるための最適メカニズムを明らかにした。
関連論文リスト
- Dehumanizing Machines: Mitigating Anthropomorphic Behaviors in Text Generation Systems [55.99010491370177]
このようなシステムアウトプットにどのように介入すれば人為的行動が緩和され、その付随する有害な結果が未検討のままである。
我々は,先行研究とクラウドソース研究の両方に根ざした介入の目録を整理し,参加者がシステム出力を編集し,人間らしくないようにした。
論文 参考訳(メタデータ) (2025-02-19T18:06:37Z) - Word Synchronization Challenge: A Benchmark for Word Association Responses for LLMs [4.352318127577628]
本稿では,人-コンピュータインタラクション(HCI)における大規模言語モデル(LLM)を評価するための新しいベンチマークであるWord Synchronization Challengeを紹介する。
このベンチマークでは、動的ゲームライクなフレームワークを使用して、単語アソシエーションを通じて人間の認知プロセスを模倣するLLMの能力をテストする。
論文 参考訳(メタデータ) (2025-02-12T11:30:28Z) - Emergence of human-like polarization among large language model agents [61.622596148368906]
我々は、何千もの大規模言語モデルエージェントを含むネットワーク化されたシステムをシミュレートし、それらの社会的相互作用を発見し、人間のような偏極をもたらす。
人間とLLMエージェントの類似性は、社会的分極を増幅する能力に関する懸念を提起するだけでなく、それを緩和するための有効な戦略を特定するための貴重なテストベッドとして機能する可能性も持っている。
論文 参考訳(メタデータ) (2025-01-09T11:45:05Z) - PersLLM: A Personified Training Approach for Large Language Models [66.16513246245401]
社会実践, 一貫性, 動的発達という, 心理学に根ざした個性の原則を統合したPersLLMを提案する。
モデルパラメータに直接パーソナリティ特性を組み込み、誘導に対するモデルの抵抗性を高め、一貫性を高め、パーソナリティの動的進化を支援する。
論文 参考訳(メタデータ) (2024-07-17T08:13:22Z) - Predicting and Understanding Human Action Decisions: Insights from Large Language Models and Cognitive Instance-Based Learning [0.0]
大きな言語モデル(LLM)は、様々なタスクにまたがってその能力を実証している。
本稿では,LLMの推論と生成能力を利用して,2つの逐次意思決定タスクにおける人間の行動を予測する。
我々は,LLMの性能を,人間の経験的意思決定を模倣した認知的インスタンスベース学習モデルと比較した。
論文 参考訳(メタデータ) (2024-07-12T14:13:06Z) - Exploring the Potential of Human-LLM Synergy in Advancing Qualitative Analysis: A Case Study on Mental-Illness Stigma [6.593116883521213]
大規模言語モデル(LLM)は、既存のスキーム内で定性的なコーディングを行うことができるが、協調的な人間-LLM発見の可能性はまだ探索されていない。
我々は,人間とLLMの協調パラダイムを活用して,概念化を促進し,質的研究を促進する新しい手法であるCHALETを提案する。
論文 参考訳(メタデータ) (2024-05-09T13:27:22Z) - Computational Experiments Meet Large Language Model Based Agents: A
Survey and Perspective [16.08517740276261]
計算実験は複雑なシステムを研究するための貴重な方法として登場した。
エージェントベースモデリング(ABM)における実際の社会システムを正確に表現することは、人間の多様性と複雑な特性のために困難である。
大規模言語モデル(LLM)の統合が提案され、エージェントが人為的な能力を持つことができる。
論文 参考訳(メタデータ) (2024-02-01T01:17:46Z) - Confounding-Robust Policy Improvement with Human-AI Teams [9.823906892919746]
限界感度モデル(MSM)を用いて,人間とAIの協調作業における非観測的コンバウンディングに対処する新しい手法を提案する。
このアプローチでは、ドメインの専門知識とAI駆動の統計モデルを組み合わせることで、他の方法では隠される可能性がある共同ファウンダーの可能性を考慮しています。
論文 参考訳(メタデータ) (2023-10-13T02:39:52Z) - Exploring Collaboration Mechanisms for LLM Agents: A Social Psychology View [60.80731090755224]
本稿では,理論的洞察を用いた実用実験により,現代NLPシステム間の協調機構を解明する。
我々は, LLMエージェントからなる4つの独特な社会をつくり, それぞれのエージェントは, 特定の特性(容易性, 過信性)によって特徴づけられ, 異なる思考パターン(議論, ふりかえり)と協調する。
以上の結果から, LLMエージェントは, 社会心理学理論を反映した, 適合性やコンセンサスリーディングといった人間的な社会的行動を示すことが明らかとなった。
論文 参考訳(メタデータ) (2023-10-03T15:05:52Z) - Machine Psychology [54.287802134327485]
我々は、心理学にインスパイアされた行動実験において、研究のための実りある方向が、大きな言語モデルに係わっていると論じる。
本稿では,本手法が表に示す理論的視点,実験パラダイム,計算解析技術について述べる。
これは、パフォーマンスベンチマークを超えた、生成人工知能(AI)のための「機械心理学」の道を開くものだ。
論文 参考訳(メタデータ) (2023-03-24T13:24:41Z) - Human-Algorithm Collaboration: Achieving Complementarity and Avoiding
Unfairness [92.26039686430204]
慎重に設計されたシステムであっても、補完的な性能はあり得ないことを示す。
まず,簡単な人間アルゴリズムをモデル化するための理論的枠組みを提案する。
次に、このモデルを用いて相補性が不可能な条件を証明する。
論文 参考訳(メタデータ) (2022-02-17T18:44:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。