論文の概要: Risks and Opportunities in Human-Machine Teaming in Operationalizing Machine Learning Target Variables
- arxiv url: http://arxiv.org/abs/2510.25974v1
- Date: Wed, 29 Oct 2025 21:17:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-31 16:05:09.576334
- Title: Risks and Opportunities in Human-Machine Teaming in Operationalizing Machine Learning Target Variables
- Title（参考訳）: 機械学習目標変数の運用における人間-機械チームにおけるリスクと機会
- Authors: Mengtian Guo, David Gotz, Yue Wang,
- Abstract要約: 本研究では,2つのヒューマンマシン・チーム戦略がプロキシ構築に与える影響について検討する。
パフォーマンス優先の戦略はより高速なイテレーションと意思決定を促進する一方で、ユーザを高いパフォーマンスのプロキシに偏らせることも示しています。
- 参考スコア（独自算出の注目度）: 6.640491315246465
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Predictive modeling has the potential to enhance human decision-making. However, many predictive models fail in practice due to problematic problem formulation in cases where the prediction target is an abstract concept or construct and practitioners need to define an appropriate target variable as a proxy to operationalize the construct of interest. The choice of an appropriate proxy target variable is rarely self-evident in practice, requiring both domain knowledge and iterative data modeling. This process is inherently collaborative, involving both domain experts and data scientists. In this work, we explore how human-machine teaming can support this process by accelerating iterations while preserving human judgment. We study the impact of two human-machine teaming strategies on proxy construction: 1) relevance-first: humans leading the process by selecting relevant proxies, and 2) performance-first: machines leading the process by recommending proxies based on predictive performance. Based on a controlled user study of a proxy construction task (N = 20), we show that the performance-first strategy facilitated faster iterations and decision-making, but also biased users towards well-performing proxies that are misaligned with the application goal. Our study highlights the opportunities and risks of human-machine teaming in operationalizing machine learning target variables, yielding insights for future research to explore the opportunities and mitigate the risks.
- Abstract（参考訳）: 予測モデリングは、人間の意思決定を強化する可能性がある。
しかし、予測対象が抽象的な概念や構成物であり、実践者が関心事の構成を運用するプロキシとして適切なターゲット変数を定義する必要がある場合において、問題の定式化により、実際には多くの予測モデルは失敗する。
適切なプロキシターゲット変数を選択することは、実際、ドメイン知識と反復データモデリングの両方を必要とする、自明であることはめったにない。
このプロセスは本質的に協力的であり、ドメインの専門家とデータサイエンティストの両方が関与する。
本研究では,人間の判断を保ちながら反復を加速することにより,人間と機械の連携がいかにしてこのプロセスをサポートするかを検討する。
プロキシ構築における2つの人間と機械のチーム戦略の影響について検討する。
1)関連性優先:関連するプロキシを選択してプロセスをリードする人間、及び
2) 性能優先: 予測性能に基づいてプロキシを推奨することにより,プロセスのリードする機械。
プロキシ構築タスク(N = 20)の制御されたユーザスタディに基づいて、パフォーマンス優先戦略はより高速なイテレーションと意思決定を促進する一方で、アプリケーション目標と不一致なパフォーマンスのプロキシに対して、ユーザを偏見付けていることを示す。
本研究は,機械学習目標変数の運用における人間と機械の連携の機会とリスクを強調し,その可能性を探究し,リスクを軽減するための今後の研究の洞察を得るものである。
関連論文リスト
- Predictable Emergent Abilities of LLMs: Proxy Tasks Are All You Need [9.660067334665792]
本稿では,プロキシタスクを活用して創発的能力を予測する手法を提案する。
ツール利用能力に関するケーススタディでは,予測性能と実性能との間に強い相関関係が認められた。
論文 参考訳（メタデータ） (2024-12-10T01:56:30Z) - Decision-Aware Predictive Model Selection for Workforce Allocation [0.27309692684728615]
本稿では、機械学習を利用して労働者の行動を予測する新しいフレームワークを提案する。
本手法では,作業者の振舞いを表現するための最適予測モデルを,その作業員の割り当て方法によって決定する。
本稿では,予測モデル選択と作業員割り当てを統合した意思決定対応最適化フレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-10T13:59:43Z) - Ground(less) Truth: A Causal Framework for Proxy Labels in
Human-Algorithm Decision-Making [29.071173441651734]
人間のAI意思決定タスクにおけるプロキシラベルの有効性に影響を与える5つの変数バイアス源を同定する。
各バイアス間の関係を乱すための因果的枠組みを開発する。
今後の研究において、ターゲット変数バイアスに対処する機会について論じる。
論文 参考訳（メタデータ） (2023-02-13T16:29:11Z) - What Should I Know? Using Meta-gradient Descent for Predictive Feature
Discovery in a Single Stream of Experience [63.75363908696257]
計算強化学習は、未来の感覚の予測を通じて、エージェントの世界の知覚を構築しようとする。
この一連の作業において、オープンな課題は、エージェントがどの予測が意思決定を最も支援できるかを、無限に多くの予測から決定することである。
本稿では,エージェントが何を予測するかを学習するメタ段階的な降下過程,(2)選択した予測の見積もり,3)将来の報酬を最大化するポリシーを生成する方法を紹介する。
論文 参考訳（メタデータ） (2022-06-13T21:31:06Z) - Training and Evaluation of Deep Policies using Reinforcement Learning
and Generative Models [67.78935378952146]
GenRLはシーケンシャルな意思決定問題を解決するためのフレームワークである。
強化学習と潜在変数生成モデルの組み合わせを利用する。
最終方針訓練の性能に最も影響を与える生成モデルの特徴を実験的に決定する。
論文 参考訳（メタデータ） (2022-04-18T22:02:32Z) - Inverse Online Learning: Understanding Non-Stationary and Reactionary
Policies [79.60322329952453]
エージェントが意思決定を行う方法の解釈可能な表現を開発する方法を示す。
一連の軌跡に基づく意思決定プロセスを理解することにより,このオンライン学習問題に対して,政策推論問題を逆問題とみなした。
本稿では、エージェントがそれらを更新するプロセスと並行して、その影響を遡及的に推定する実用的なアルゴリズムを提案する。
UNOSの臓器提供受諾決定の分析に応用することで、我々のアプローチは意思決定プロセスを管理する要因や時間とともにどのように変化するかに、貴重な洞察をもたらすことができることを実証する。
論文 参考訳（メタデータ） (2022-03-14T17:40:42Z) - Probabilistic Human Motion Prediction via A Bayesian Neural Network [71.16277790708529]
本稿では,人間の動作予測のための確率モデルを提案する。
我々のモデルは、観測された動きシーケンスが与えられたときに、いくつかの将来の動きを生成することができる。
我々は、大規模ベンチマークデータセットHuman3.6mに対して、我々のアプローチを広範囲に検証した。
論文 参考訳（メタデータ） (2021-07-14T09:05:33Z) - Leveraging Expert Consistency to Improve Algorithmic Decision Support [62.61153549123407]
建設のギャップを狭めるために観測結果と組み合わせることができる情報源として,歴史専門家による意思決定の利用について検討する。
本研究では,データ内の各ケースが1人の専門家によって評価された場合に,専門家の一貫性を間接的に推定する影響関数に基づく手法を提案する。
本研究は, 児童福祉領域における臨床現場でのシミュレーションと実世界データを用いて, 提案手法が構成ギャップを狭めることに成功していることを示す。
論文 参考訳（メタデータ） (2021-01-24T05:40:29Z) - Explainable robotic systems: Understanding goal-driven actions in a
reinforcement learning scenario [1.671353192305391]
強化学習のシナリオでは、データ駆動アプローチによる説明の提供に多くの努力が注がれている。
本研究では,ロボットシナリオにおけるタスクを実行する強化学習エージェントの意思決定プロセスに焦点をあてる。
我々は、メモリベース、学習ベース、イントロスペクションベースの3つの異なるアプローチによって計算される成功確率を利用する。
論文 参考訳（メタデータ） (2020-06-24T10:51:14Z) - A Case for Humans-in-the-Loop: Decisions in the Presence of Erroneous
Algorithmic Scores [85.12096045419686]
本研究では,児童虐待のホットラインスクリーニング決定を支援するアルゴリズムツールの採用について検討した。
まず、ツールがデプロイされたときに人間が行動を変えることを示します。
表示されたスコアが誤ったリスク推定である場合、人間はマシンの推奨に従わない可能性が低いことを示す。
論文 参考訳（メタデータ） (2020-02-19T07:27:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。