論文の概要: Learning to Defer in Congested Systems: The AI-Human Interplay
- arxiv url: http://arxiv.org/abs/2402.12237v4
- Date: Tue, 12 Aug 2025 21:03:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-14 20:42:00.423904
- Title: Learning to Defer in Congested Systems: The AI-Human Interplay
- Title（参考訳）: AIとHumanの対話
- Authors: Thodoris Lykouris, Wentao Weng,
- Abstract要約: 高評価のアプリケーションは、応答性と信頼性の高い意思決定のために、AI(Artificial Intelligence)と人間の組み合わせに依存している。
本稿では,このようなAIと人間の相互作用を捉えるモデルを提案する。
本稿では,選択されたサンプルデータからの分類損失を注意深くバランスする,準最適学習アルゴリズムを提案する。
- 参考スコア（独自算出の注目度）: 4.324474867341765
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: High-stakes applications rely on combining Artificial Intelligence (AI) and humans for responsive and reliable decision making. For example, content moderation in social media platforms often employs an AI-human pipeline to promptly remove policy violations without jeopardizing legitimate content. A typical heuristic estimates the risk of incoming content and uses fixed thresholds to decide whether to auto-delete the content (classification) and whether to send it for human review (admission). This approach can be inefficient as it disregards the uncertainty in AI's estimation, the time-varying element of content arrivals and human review capacity, and the selective sampling in the online dataset (humans only review content filtered by the AI). In this paper, we introduce a model to capture such an AI-human interplay. In this model, the AI observes contextual information for incoming jobs, makes classification and admission decisions, and schedules admitted jobs for human review. During these reviews, humans observe a job's true cost and may overturn an erroneous AI classification decision. These reviews also serve as new data to train the AI but are delayed due to congestion in the human review system. The objective is to minimize the costs of eventually misclassified jobs. We propose a near-optimal learning algorithm that carefully balances the classification loss from a selectively sampled dataset, the idiosyncratic loss of non-reviewed jobs, and the delay loss of having congestion in the human review system. To the best of our knowledge, this is the first result for online learning in contextual queueing systems. Moreover, numerical experiments based on online comment datasets show that our algorithm can substantially reduce the number of misclassifications compared to existing content moderation practice.
- Abstract（参考訳）: 高評価のアプリケーションは、応答性と信頼性の高い意思決定のために、AI(Artificial Intelligence)と人間の組み合わせに依存している。
例えば、ソーシャルメディアプラットフォームにおけるコンテンツモデレーションは、正当なコンテンツを危険にさらすことなく、ポリシー違反を迅速に除去するためにAIと人間のパイプラインを使用することが多い。
典型的なヒューリスティックは、入ってくるコンテンツのリスクを推定し、コンテンツ(分類)を自動削除するか、それを人間によるレビュー(許可)のために送信するかを決定するために固定しきい値を使用する。
このアプローチは、AIの推定の不確実性、コンテンツ到着の時間変化要素と人間のレビュー能力、オンラインデータセットの選択的サンプリング(AIによってフィルタリングされたコンテンツのみをレビューする)を無視しているため、非効率である可能性がある。
本稿では,このようなAIと人間の相互作用を捉えるモデルを提案する。
このモデルでは、AIは、入ってくるジョブのコンテキスト情報を観察し、分類と入場決定を行い、人間のレビューのために認められたジョブをスケジュールする。
これらのレビューの間、人間は仕事の真のコストを観察し、誤ったAI分類決定を覆す可能性がある。
これらのレビューは、AIを訓練する新しいデータとしても機能するが、人間のレビューシステムの混雑により遅延する。
目的は、最終的に分類されていない仕事のコストを最小限にすることである。
本稿では,選抜されたデータセットからの分類損失,非レビュージョブの慣用的損失,ヒトレビューシステムにおける混雑の遅延損失を慎重にバランスさせる,準最適学習アルゴリズムを提案する。
我々の知る限りでは、これは文脈待ち行列システムにおけるオンライン学習の最初の結果である。
さらに,オンラインコメントデータセットに基づく数値実験により,既存のコンテンツモデレーション手法と比較して,誤分類回数を大幅に削減できることが示された。
関連論文リスト
- Human aversion? Do AI Agents Judge Identity More Harshly Than Performance [0.06554326244334868]
我々は,大規模言語モデルに基づくAIエージェントがどのように人間の入力を評価し,統合するかを検討する。
AIシステムは人間のアドバイスを体系的に減らし、アルゴリズムの誤りよりも人間の誤りを厳しく罰する。
論文 参考訳（メタデータ） (2025-03-31T02:05:27Z) - AI-Assisted Decision Making with Human Learning [8.598431584462944]
多くの場合、アルゴリズムの優れた性能にもかかわらず、最終的な決定は人間の手に委ねられている。
本稿では,人間がアルゴリズムと繰り返し対話することで学習する,AIによる意思決定設定について検討する。
我々は、アルゴリズムのモデルと人間のモデルとの相違が根本的なトレードオフを生み出すことを観察する。
論文 参考訳（メタデータ） (2025-02-18T17:08:21Z) - Online Bandit Learning with Offline Preference Data [15.799929216215672]
ノイズの多い選好フィードバックを持つオフラインデータセットでウォームスタートできるオンライン学習のための後部サンプリングアルゴリズムを提案する。
生成したエキスパートの“コンピテンス”をモデル化することで、そのようなデータセットを最も効果的に利用できることを示します。
論文 参考訳（メタデータ） (2024-06-13T20:25:52Z) - Does AI help humans make better decisions? A statistical evaluation framework for experimental and observational studies [0.43981305860983716]
我々は、人間とAI、AIの3つの代替意思決定システムのパフォーマンスを比較する方法を示す。
リスクアセスメントの勧告は、現金保釈を課す裁判官の決定の分類精度を向上しないことがわかった。
論文 参考訳（メタデータ） (2024-03-18T01:04:52Z) - Leveraging AI Predicted and Expert Revised Annotations in Interactive
Segmentation: Continual Tuning or Full Training? [7.742968966681627]
人間の専門家はAIによって予測されるアノテーションを改訂し、その結果、AIはこれらの改訂されたアノテーションから学習することで予測を改善する。
破滅的な忘れのリスク--AIは、専門家の改訂されたクラスを使用して再訓練された場合にのみ、以前に学んだクラスを忘れる傾向があります。
本稿では,ネットワーク設計とデータ再利用という2つの視点からこの問題に対処する継続的チューニングを提案する。
論文 参考訳（メタデータ） (2024-02-29T18:22:12Z) - Online Decision Mediation [72.80902932543474]
意思決定支援アシスタントを学習し、(好奇心)専門家の行動と(不完全)人間の行動の仲介役として機能することを検討する。
臨床診断では、完全に自律的な機械行動は倫理的余裕を超えることが多い。
論文 参考訳（メタデータ） (2023-10-28T05:59:43Z) - UltraFeedback: Boosting Language Models with Scaled AI Feedback [99.4633351133207]
大規模で高品質で多様なAIフィードバックデータセットである textscUltraFeedback を提示する。
我々の研究は、強力なオープンソースのチャット言語モデルを構築する上で、スケールしたAIフィードバックデータの有効性を検証する。
論文 参考訳（メタデータ） (2023-10-02T17:40:01Z) - Phonetic and Prosody-aware Self-supervised Learning Approach for
Non-native Fluency Scoring [13.817385516193445]
音声と韻律の特徴を解析することにより、音声の流速/拡散を評価することができる。
ディープ・ニューラル・ネットワークは一般に、流感に関連した特徴を人間のスコアにマッピングするように訓練されている。
本稿では,流音評価のための音声と韻律の認識を考慮した自己教師付き学習(SSL)手法を提案する。
論文 参考訳（メタデータ） (2023-05-19T05:39:41Z) - Human-Centric Multimodal Machine Learning: Recent Advances and Testbed
on AI-based Recruitment [66.91538273487379]
人間中心のアプローチでAIアプリケーションを開発する必要性には、ある程度のコンセンサスがある。
i)ユーティリティと社会的善、(ii)プライバシとデータ所有、(iii)透明性と説明責任、(iv)AIによる意思決定プロセスの公正性。
異種情報ソースに基づく現在のマルチモーダルアルゴリズムは、データ中の機密要素や内部バイアスによってどのように影響を受けるかを検討する。
論文 参考訳（メタデータ） (2023-02-13T16:44:44Z) - D-BIAS: A Causality-Based Human-in-the-Loop System for Tackling
Algorithmic Bias [57.87117733071416]
D-BIASは、人間のループ内AIアプローチを具現化し、社会的バイアスを監査し軽減する視覚対話型ツールである。
ユーザは、因果ネットワークにおける不公平な因果関係を識別することにより、グループに対する偏見の存在を検出することができる。
それぞれのインタラクション、例えばバイアスのある因果縁の弱体化/削除は、新しい(偏りのある)データセットをシミュレートするために、新しい方法を用いている。
論文 参考訳（メタデータ） (2022-08-10T03:41:48Z) - Tribrid: Stance Classification with Neural Inconsistency Detection [9.150728831518459]
本稿では,BERTなどのニューラルアーキテクチャを用いたソーシャルメディア上での自動姿勢分類を行う際の課題について検討する。
提案するニューラルアーキテクチャでは,任意のクレームに対して自動生成された否定的視点も含んでいる。
モデルは同時に複数の予測を行うように共同で学習され、元の視点の分類を改善するか、疑わしい予測をフィルタリングするために使用することができる。
論文 参考訳（メタデータ） (2021-09-14T08:13:03Z) - Machine Learning for Online Algorithm Selection under Censored Feedback [71.6879432974126]
オンラインアルゴリズム選択(OAS)では、アルゴリズム問題クラスのインスタンスがエージェントに次々に提示され、エージェントは、固定された候補アルゴリズムセットから、おそらく最高のアルゴリズムを迅速に選択する必要がある。
SAT(Satisfiability)のような決定問題に対して、品質は一般的にアルゴリズムのランタイムを指す。
本研究では,OASのマルチアームバンディットアルゴリズムを再検討し,この問題に対処する能力について議論する。
ランタイム指向の損失に適応し、時間的地平線に依存しない空間的・時間的複雑さを維持しながら、部分的に検閲されたデータを可能にする。
論文 参考訳（メタデータ） (2021-09-13T18:10:52Z) - Estimating and Improving Fairness with Adversarial Learning [65.99330614802388]
本研究では,深層学習に基づく医療画像解析システムにおけるバイアスの同時緩和と検出を目的としたマルチタスク・トレーニング戦略を提案する。
具体的には,バイアスに対する識別モジュールと,ベース分類モデルにおける不公平性を予測するクリティカルモジュールを追加することを提案する。
大規模で利用可能な皮膚病変データセットのフレームワークを評価します。
論文 参考訳（メタデータ） (2021-03-07T03:10:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。