論文の概要: Human-AI Collaboration via Conditional Delegation: A Case Study of Content Moderation

• arxiv url: http://arxiv.org/abs/2204.11788v1
• Date: Mon, 25 Apr 2022 17:00:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-26 13:49:12.687226
• Title: Human-AI Collaboration via Conditional Delegation: A Case Study of Content Moderation
• Title（参考訳）: 条件付きデリゲーションによるヒューマンAIコラボレーション:コンテンツモデレーションを事例として
• Authors: Vivian Lai, Samuel Carton, Rajat Bhatnagar, Q. Vera Liao, Yunfeng Zhang, Chenhao Tan
• Abstract要約: 我々は,人間-AI協調のための代替パラダイムとして条件付きデリゲートを提案する。 我々は、条件付きデリゲートルールの作成において、人間を支援する新しいインタフェースを開発する。 本研究は,モデル性能向上における条件付きデリゲートの実現可能性を示す。
• 参考スコア（独自算出の注目度）: 47.102566259034326
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite impressive performance in many benchmark datasets, AI models can still make mistakes, especially among out-of-distribution examples. It remains an open question how such imperfect models can be used effectively in collaboration with humans. Prior work has focused on AI assistance that helps people make individual high-stakes decisions, which is not scalable for a large amount of relatively low-stakes decisions, e.g., moderating social media comments. Instead, we propose conditional delegation as an alternative paradigm for human-AI collaboration where humans create rules to indicate trustworthy regions of a model. Using content moderation as a testbed, we develop novel interfaces to assist humans in creating conditional delegation rules and conduct a randomized experiment with two datasets to simulate in-distribution and out-of-distribution scenarios. Our study demonstrates the promise of conditional delegation in improving model performance and provides insights into design for this novel paradigm, including the effect of AI explanations.
• Abstract（参考訳）: 多くのベンチマークデータセットで顕著なパフォーマンスにもかかわらず、AIモデルは依然として間違いを犯す可能性がある。 このような不完全なモデルが、人間とのコラボレーションに効果的に使用できるのか、という疑問は、まだ未解決のままである。 以前の作業では、個人のハイシックな意思決定を支援するaiアシスタンスに重点を置いてきたが、ソーシャルメディアのコメントをモデレートするなど、比較的低シックな意思決定ではスケーラビリティに欠ける。 代わりに、人間とAIのコラボレーションのための代替パラダイムとして条件付きデリゲーションを提案し、モデルの信頼できる領域を示すルールを作成する。 コンテンツモデレーションをテストベッドとして使用し,条件付デリゲーションルールの作成を支援する新たなインターフェースを開発し,2つのデータセットによるランダム化実験を行い,分散シナリオと分散シナリオをシミュレートする。 本研究は、モデル性能の向上における条件付きデリゲートの約束を実証し、AI説明の効果を含む新しいパラダイムの設計に関する洞察を提供する。

関連論文リスト

• Exploring the Lands Between: A Method for Finding Differences between AI-Decisions and Human Ratings through Generated Samples [45.209635328908746]
  生成モデルの潜在空間におけるサンプルを見つける手法を提案する。 これらのサンプルを意思決定モデルと人間のレーダの両方に提示することにより、その決定が人間の直感と一致する領域を特定することができる。 本手法を顔認識モデルに適用し,100人の被験者から11,200人の評価データを収集する。
  論文  参考訳（メタデータ） (2024-09-19T14:14:08Z)
• SegXAL: Explainable Active Learning for Semantic Segmentation in Driving Scene Scenarios [1.2172320168050466]
  XALに基づくセマンティックセグメンテーションモデル "SegXAL" を提案する。 SegXALは、(i)ラベルのないデータを効果的に活用し、(ii)"Human-in-the-loop"パラダイムを促進し、(iii)解釈可能な方法でモデル決定を強化する。 特に,シーン駆動シナリオにおけるセマンティックセグメンテーションに対するSegXALモデルの適用について検討する。
  論文  参考訳（メタデータ） (2024-08-08T14:19:11Z)
• Secrets of RLHF in Large Language Models Part II: Reward Modeling [134.97964938009588]
  本稿では,データセットにおける不正確で曖昧な嗜好の影響を軽減するために,一連の新しい手法を紹介する。 また、選択された応答と拒否された応答を区別する報酬モデルの有用性を高めるために、対照的な学習を導入する。
  論文  参考訳（メタデータ） (2024-01-11T17:56:59Z)
• Evaluating the Utility of Model Explanations for Model Development [54.23538543168767]
  機械学習モデル構築の実践シナリオにおいて、説明が人間の意思決定を改善するかどうかを評価する。 驚いたことに、サリエンシマップが提供されたとき、タスクが大幅に改善されたという証拠は見つからなかった。 以上の結果から,サリエンシに基づく説明における誤解の可能性と有用性について注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2023-12-10T23:13:23Z)
• Modeling Boundedly Rational Agents with Latent Inference Budgets [56.24971011281947]
  エージェントの計算制約を明示的にモデル化する潜在推論予算モデル(L-IBM)を導入する。 L-IBMは、最適なアクターの多様な集団のデータを使ってエージェントモデルを学ぶことができる。 我々は,L-IBMが不確実性の下での意思決定のボルツマンモデルに適合しているか,あるいは上回っていることを示す。
  論文  参考訳（メタデータ） (2023-12-07T03:55:51Z)
• DIME: Fine-grained Interpretations of Multimodal Models via Disentangled Local Explanations [119.1953397679783]
  我々は,マルチモーダルモデルの解釈における最先端化に注力する。 提案手法であるDIMEは,マルチモーダルモデルの高精度かつきめ細かな解析を可能にする。
  論文  参考訳（メタデータ） (2022-03-03T20:52:47Z)
• Investigations of Performance and Bias in Human-AI Teamwork in Hiring [30.046502708053097]
  AIによる意思決定では、効果的なハイブリッドチームワーク(ヒューマンAI)は、AIのパフォーマンスにのみ依存するものではない。 本研究では,モデルの予測性能とバイアスの両方が,推薦型意思決定タスクにおいてどのように人間に伝達されるかを検討する。
  論文  参考訳（メタデータ） (2022-02-21T17:58:07Z)
• Paired Examples as Indirect Supervision in Latent Decision Models [109.76417071249945]
  我々は、ペア化された例を活用して、潜在的な決定を学習するためのより強力な手がかりを提供する方法を紹介します。 DROPデータセット上のニューラルネットワークを用いた合成質問応答の改善に本手法を適用した。
  論文  参考訳（メタデータ） (2021-04-05T03:58:30Z)
• Understanding the Effect of Out-of-distribution Examples and Interactive Explanations on Human-AI Decision Making [19.157591744997355]
  典型的な実験的なセットアップは、人間-AIチームの可能性を制限します。 インタラクティブな説明を支援する新しいインターフェースを開発し、人間がAI支援に積極的に取り組みます。
  論文  参考訳（メタデータ） (2021-01-13T19:01:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。