論文の概要: Underspecification Presents Challenges for Credibility in Modern Machine Learning

• arxiv url: http://arxiv.org/abs/2011.03395v2
• Date: Tue, 24 Nov 2020 19:16:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-29 04:22:09.080250
• Title: Underspecification Presents Challenges for Credibility in Modern Machine Learning
• Title（参考訳）: 現代機械学習における信頼性の課題
• Authors: Alexander D'Amour, Katherine Heller, Dan Moldovan, Ben Adlam, Babak Alipanahi, Alex Beutel, Christina Chen, Jonathan Deaton, Jacob Eisenstein, Matthew D. Hoffman, Farhad Hormozdiari, Neil Houlsby, Shaobo Hou, Ghassen Jerfel, Alan Karthikesalingam, Mario Lucic, Yian Ma, Cory McLean, Diana Mincu, Akinori Mitani, Andrea Montanari, Zachary Nado, Vivek Natarajan, Christopher Nielson, Thomas F. Osborne, Rajiv Raman, Kim Ramasamy, Rory Sayres, Jessica Schrouff, Martin Seneviratne, Shannon Sequeira, Harini Suresh, Victor Veitch, Max Vladymyrov, Xuezhi Wang, Kellie Webster, Steve Yadlowsky, Taedong Yun, Xiaohua Zhai, D. Sculley
• Abstract要約: 深層学習など、現代のMLパイプラインでは、過小評価が一般的である。 ここでは、そのような予測器がデプロイメントドメインで非常に異なる振る舞いをすることができることを示す。 この曖昧さは、現実の不安定性とモデルの振る舞いを損なう可能性がある。
• 参考スコア（独自算出の注目度）: 95.90009829265297
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: ML models often exhibit unexpectedly poor behavior when they are deployed in real-world domains. We identify underspecification as a key reason for these failures. An ML pipeline is underspecified when it can return many predictors with equivalently strong held-out performance in the training domain. Underspecification is common in modern ML pipelines, such as those based on deep learning. Predictors returned by underspecified pipelines are often treated as equivalent based on their training domain performance, but we show here that such predictors can behave very differently in deployment domains. This ambiguity can lead to instability and poor model behavior in practice, and is a distinct failure mode from previously identified issues arising from structural mismatch between training and deployment domains. We show that this problem appears in a wide variety of practical ML pipelines, using examples from computer vision, medical imaging, natural language processing, clinical risk prediction based on electronic health records, and medical genomics. Our results show the need to explicitly account for underspecification in modeling pipelines that are intended for real-world deployment in any domain.
• Abstract（参考訳）: MLモデルは、現実のドメインにデプロイされるとき、予想外の振る舞いを示すことが多い。 これらの失敗の主な原因は、不特定である。 トレーニングドメインで同等に強力な保留性能を持つ多くの予測器を返すことができると、MLパイプラインは不明確になる。 深層学習など、現代のMLパイプラインでは、過小評価が一般的である。 過度に特定されたパイプラインによって返される予測器は、トレーニングドメインのパフォーマンスに基づいて同等に扱われることが多いが、ここでは、このような予測器がデプロイメントドメインで非常に異なる振る舞いをすることを示している。 この曖昧さは、実際には不安定性とモデル動作の貧弱につながる可能性があり、トレーニングドメインとデプロイメントドメインの間の構造的ミスマッチに起因する、これまで特定されていた問題とは異なる障害モードである。 コンピュータビジョン, 医用画像, 自然言語処理, 電子健康記録に基づく臨床リスク予測, 医学ゲノミクスなどの例を用いて, この問題が幅広いMLパイプラインに現れることを示した。 この結果から,任意のドメインに実際のデプロイメントを意図したモデリングパイプラインにおいて,過小評価を明示的に行う必要性が示唆された。

関連論文リスト

• Machine Learning vs Deep Learning: The Generalization Problem [0.0]
  本研究では,従来の機械学習(ML)モデルとディープラーニング(DL)アルゴリズムの比較能力について,外挿の観点から検討した。 本稿では,MLモデルとDLモデルの両方が指数関数で学習され,学習領域外の値でテストされる経験的分析を提案する。 その結果,ディープラーニングモデルには,学習範囲を超えて一般化する固有の能力があることが示唆された。
  論文  参考訳（メタデータ） (2024-03-03T21:42:55Z)
• DIGIC: Domain Generalizable Imitation Learning by Causal Discovery [69.13526582209165]
  因果性は機械学習と組み合わせて、ドメインの一般化のための堅牢な表現を生成する。 我々は、実証データ分布を活用して、ドメインの一般化可能なポリシーの因果的特徴を発見するために、異なる試みを行っている。 DIGICと呼ばれる新しいフレームワークを設計し、実演データ分布から専門家行動の直接的な原因を見出すことにより因果的特徴を識別する。
  論文  参考訳（メタデータ） (2024-02-29T07:09:01Z)
• Robustness, Evaluation and Adaptation of Machine Learning Models in the Wild [4.304803366354879]
  本研究では、ドメインシフトに対するロバスト性の障害の原因と、ドメインロバストモデルをトレーニングするためのアルゴリズムを提案する。 モデル脆性の鍵となる原因はドメイン過度な適合であり、新しいトレーニングアルゴリズムはドメイン一般仮説を抑え、奨励する。
  論文  参考訳（メタデータ） (2023-03-05T21:41:16Z)
• Modeling Uncertain Feature Representation for Domain Generalization [49.129544670700525]
  提案手法は,複数の視覚タスクにおけるネットワーク一般化能力を常に改善することを示す。 我々の手法は単純だが有効であり、トレーニング可能なパラメータや損失制約を伴わずにネットワークに容易に統合できる。
  論文  参考訳（メタデータ） (2023-01-16T14:25:02Z)
• Generalizing in the Real World with Representation Learning [1.3494312389622642]
  機械学習(ML)は、コンピュータにパフォーマンスの最適化としての経験から学習させるという問題を、いくつかの指標に従って定式化する。 これは、事前に規定された振る舞い(例えば、ハードコードされたルール)を要求することと対照的である。 この論文では、深いネットの一般化をよりよく理解し、仮定や問題設定が現実の世界に一般化できないいくつかの方法を特定し、実際にそれらの失敗に対処する方法を提案します。
  論文  参考訳（メタデータ） (2022-10-18T15:11:09Z)
• Assessing Out-of-Domain Language Model Performance from Few Examples [38.245449474937914]
  ドメイン外性能(OOD)を数ショットで予測するタスクに対処する。 数ショットの例でモデル精度をみると、このタスクのパフォーマンスをベンチマークする。 帰属に基づく要因がOODの相対モデルの性能のランク付けに有効であることを示す。
  論文  参考訳（メタデータ） (2022-10-13T04:45:26Z)
• Cross-domain Imitation from Observations [50.669343548588294]
  模擬学習は、専門家の行動を利用して訓練エージェントに適切な報酬関数を設計することの難しさを回避しようとする。 本稿では,専門家とエージェントMDPの相違点が存在する場合に,タスクを模倣する方法の問題について検討する。 このようなドメイン間の対応を学習するための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-05-20T21:08:25Z)
• From Simulation to Real World Maneuver Execution using Deep Reinforcement Learning [69.23334811890919]
  深層強化学習(Deep Reinforcement Learning)は、さまざまな分野における多くの制御タスクを解決できることが証明されている。 これは主に、シミュレーションデータと実世界のデータ間のドメイン適応の欠如と、トレインデータセットとテストデータセットの区別の欠如による。 本稿では,エージェントが同時に訓練される複数の環境に基づくシステムを提案する。
  論文  参考訳（メタデータ） (2020-05-13T14:22:20Z)
• Few-Shot Learning as Domain Adaptation: Algorithm and Analysis [120.75020271706978]
  わずかながらの学習は、目に見えないクラスを認識するために、目に見えないクラスから学んだ事前知識を使用する。 このクラス差による分布シフトは、ドメインシフトの特別なケースとみなすことができる。 メタラーニングフレームワークにおいて、そのようなドメインシフト問題に明示的に対処するために、注意を向けたプロトタイプドメイン適応ネットワーク(DAPNA)を提案する。
  論文  参考訳（メタデータ） (2020-02-06T01:04:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。