論文の概要: Personalization in Human-AI Teams: Improving the Compatibility-Accuracy Tradeoff

• arxiv url: http://arxiv.org/abs/2004.02289v2
• Date: Wed, 19 Aug 2020 13:13:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-16 12:16:37.783068
• Title: Personalization in Human-AI Teams: Improving the Compatibility-Accuracy Tradeoff
• Title（参考訳）: 人間-AIチームにおけるパーソナライズ : 適合性-精度トレードオフの改善
• Authors: Jonathan Martinez (1), Kobi Gal (1 and 2), Ece Kamar (3), Levi H. S. Lelis (4) ((1) Ben-Gurion University, (2) University of Edinburgh, (3) Microsoft Research, (4) University of Alberta)
• Abstract要約: 本稿では,更新後のシステムの精度向上と,事前のユーザエクスペリエンスとの互換性のトレードオフについて検討する。 特定のユーザに対して損失関数をパーソナライズすることにより、それらのユーザに対する互換性-正確性トレードオフを改善することが可能であることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: AI systems that model and interact with users can update their models over time to reflect new information and changes in the environment. Although these updates may improve the overall performance of the AI system, they may actually hurt the performance with respect to individual users. Prior work has studied the trade-off between improving the system's accuracy following an update and the compatibility of the updated system with prior user experience. The more the model is forced to be compatible with a prior version, the higher loss in accuracy it will incur. In this paper, we show that by personalizing the loss function to specific users, in some cases it is possible to improve the compatibility-accuracy trade-off with respect to these users (increase the compatibility of the model while sacrificing less accuracy). We present experimental results indicating that this approach provides moderate improvements on average (around 20%) but large improvements for certain users (up to 300%).
• Abstract（参考訳）: ユーザと対話するAIシステムは、時間とともにモデルを更新して、新しい情報や環境の変化を反映することができる。 これらのアップデートはAIシステム全体のパフォーマンスを改善するかもしれないが、個々のユーザに対するパフォーマンスを実際に損なう可能性がある。 以前の作業では,更新後のシステムの精度向上と,以前のユーザエクスペリエンスとの互換性のトレードオフを検討した。 モデルが以前のバージョンと互換性を持たなければならなければならなければならなくなるほど、精度は高まるでしょう。 本稿では、特定のユーザに対して損失関数をパーソナライズすることにより、これらのユーザに対する互換性-正確性トレードオフを改善することができる(精度を低下させながらモデルの互換性を高める)ことを示す。 提案手法は, 平均で20%程度改善するが, 特定のユーザでは最大300%の大幅な改善が可能であることを示す実験結果を示す。

関連論文リスト

• Collaborative-Enhanced Prediction of Spending on Newly Downloaded Mobile Games under Consumption Uncertainty [49.431361908465036]
  ラベルのばらつきと極端性を緩和する頑健なモデルトレーニングと評価フレームワークを提案する。 本フレームワークでは,ユーザIDに頼ることなく,ユーザのゲーム支出を予測するための協調型モデルを提案する。 当社のアプローチは、オフラインデータに対する注目すべき textbf17.11% の強化を実現し、プロダクションモデルよりも顕著に改善されていることを示す。
  論文  参考訳（メタデータ） (2024-04-12T07:47:02Z)
• Robustness-Congruent Adversarial Training for Secure Machine Learning Model Updates [13.911586916369108]
  機械学習モデルにおける誤分類は、敵の例に対して堅牢性に影響を及ぼす可能性があることを示す。 この問題に対処するために,ロバストネス・コングロレント・逆行訓練という手法を提案する。 我々のアルゴリズムと、より一般的には、非回帰的制約で学習することは、一貫した推定器を訓練するための理論的に基底的なフレームワークを提供することを示す。
  論文  参考訳（メタデータ） (2024-02-27T10:37:13Z)
• User Friendly and Adaptable Discriminative AI: Using the Lessons from the Success of LLMs and Image Generation Models [0.6926105253992517]
  我々は、ユーザが差別的なモデルで作業できる新しいシステムアーキテクチャを開発した。 我々のアプローチは、信頼、ユーザーフレンドリさ、そしてこれらの多目的だが伝統的な予測モデルの適応性を改善することに影響を及ぼす。
  論文  参考訳（メタデータ） (2023-12-11T20:37:58Z)
• QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
  モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。 QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。 例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
  論文  参考訳（メタデータ） (2023-11-06T00:21:44Z)
• A Diachronic Perspective on User Trust in AI under Uncertainty [52.44939679369428]
  現代のNLPシステムは、しばしば未分類であり、ユーザの信頼を損なう確実な誤った予測をもたらす。 賭けゲームを用いて,信頼を損なう事象に対するユーザの信頼の進化について検討する。
  論文  参考訳（メタデータ） (2023-10-20T14:41:46Z)
• Updating Clinical Risk Stratification Models Using Rank-Based Compatibility: Approaches for Evaluating and Optimizing Clinician-Model Team Performance [11.31203699519559]
  そこで我々は,ランクベースの互換性尺度である$CR$と,差別的性能を最適化し,良好な互換性を促進することを目的とした新たな損失関数を提案する。 この研究は、臨床医療で使用されるリスク階層化モデルを分析し、更新するための新しいツールを提供する。
  論文  参考訳（メタデータ） (2023-08-10T15:08:13Z)
• Improved Bayes Risk Can Yield Reduced Social Welfare Under Competition [99.7047087527422]
  本研究は,機械学習のスケーリングトレンドの振る舞いを根本的に変化させることを実証する。 データ表現品質の改善により、ユーザ間での全体的な予測精度が低下する、多くの設定が見つかる。 概念レベルでは,各モデルプロジェクタのスケーリング傾向が,社会福祉の下流改善に寄与する必要はないことが示唆された。
  論文  参考訳（メタデータ） (2023-06-26T13:06:34Z)
• Soliciting Human-in-the-Loop User Feedback for Interactive Machine Learning Reduces User Trust and Impressions of Model Accuracy [8.11839312231511]
  混合開始システムにより、ユーザは対話的にフィードバックを提供し、システムパフォーマンスを向上させることができる。 本研究は,フィードバックの提供行為が知的システムのユーザ理解とその正確性に与える影響について検討する。
  論文  参考訳（メタデータ） (2020-08-28T16:46:41Z)
• An Empirical Analysis of Backward Compatibility in Machine Learning Systems [47.04803977692586]
  MLモデルの改善を目的としたアップデートでは,下流システムやユーザに大きな影響を及ぼす可能性のある,新たなエラーが発生する可能性がある。 例えば、画像認識などのクラウドベースの分類サービスで使用されるモデルの更新は、予期しない誤った振る舞いを引き起こす可能性がある。
  論文  参考訳（メタデータ） (2020-08-11T08:10:58Z)
• Optimizing Interactive Systems via Data-Driven Objectives [70.3578528542663]
  本稿では,観察されたユーザインタラクションから直接目的を推測する手法を提案する。 これらの推論は、事前の知識によらず、様々な種類のユーザー行動にまたがって行われる。 本稿では,これらの推定対象を最適化するために利用する新しいアルゴリズムであるInteractive System(ISO)を紹介する。
  論文  参考訳（メタデータ） (2020-06-19T20:49:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。