論文の概要: An Empirical Analysis of Backward Compatibility in Machine Learning Systems

• arxiv url: http://arxiv.org/abs/2008.04572v1
• Date: Tue, 11 Aug 2020 08:10:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-31 11:03:59.521832
• Title: An Empirical Analysis of Backward Compatibility in Machine Learning Systems
• Title（参考訳）: 機械学習システムにおける後方互換性の実証分析
• Authors: Megha Srivastava, Besmira Nushi, Ece Kamar, Shital Shah, Eric Horvitz
• Abstract要約: MLモデルの改善を目的としたアップデートでは,下流システムやユーザに大きな影響を及ぼす可能性のある,新たなエラーが発生する可能性がある。 例えば、画像認識などのクラウドベースの分類サービスで使用されるモデルの更新は、予期しない誤った振る舞いを引き起こす可能性がある。
• 参考スコア（独自算出の注目度）: 47.04803977692586
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In many applications of machine learning (ML), updates are performed with the goal of enhancing model performance. However, current practices for updating models rely solely on isolated, aggregate performance analyses, overlooking important dependencies, expectations, and needs in real-world deployments. We consider how updates, intended to improve ML models, can introduce new errors that can significantly affect downstream systems and users. For example, updates in models used in cloud-based classification services, such as image recognition, can cause unexpected erroneous behavior in systems that make calls to the services. Prior work has shown the importance of "backward compatibility" for maintaining human trust. We study challenges with backward compatibility across different ML architectures and datasets, focusing on common settings including data shifts with structured noise and ML employed in inferential pipelines. Our results show that (i) compatibility issues arise even without data shift due to optimization stochasticity, (ii) training on large-scale noisy datasets often results in significant decreases in backward compatibility even when model accuracy increases, and (iii) distributions of incompatible points align with noise bias, motivating the need for compatibility aware de-noising and robustness methods.
• Abstract（参考訳）: 機械学習(ML)の多くの応用において、モデル性能の向上を目標として更新が行われる。 しかしながら、現在のモデル更新のプラクティスは、独立して集約されたパフォーマンス分析にのみ依存し、重要な依存関係や期待、現実のデプロイメントの必要性を見越している。 MLモデルの改善を目的としたアップデートでは,下流システムやユーザに大きな影響を及ぼす可能性のある,新たなエラーが発生する可能性がある。 例えば、画像認識のようなクラウドベースの分類サービスで使用されるモデルの更新は、サービスを呼び出すシステムにおいて予期せぬ誤った振る舞いを引き起こす可能性がある。 以前の研究は、人間の信頼を維持するために「後方互換性」の重要性を示している。 我々は、構造化ノイズを伴うデータシフトや、推論パイプラインで使用されるMLなど、さまざまなMLアーキテクチャやデータセット間の後方互換性に関する課題について研究する。 私たちの結果は i) 最適化確率性によるデータシフトなしでも互換性の問題が発生する。 (II)大規模ノイズデータセットのトレーニングは、モデル精度が増大しても後方互換性が著しく低下することが多く、 (iii)非互換点の分布はノイズバイアスと一致し、互換性を意識した脱ノイズ法とロバストネス法の必要性を動機付ける。

関連論文リスト

• Scale-Invariant Learning-to-Rank [0.0]
  Expediaでは、学習からランクまでのモデルが、ユーザがより関連性のある情報をソートし提示する上で重要な役割を担っている。 これらのモデルをデプロイする上で大きな課題は、トレーニングと運用データ間の一貫した機能スケーリングを保証することだ。 本稿では,学習時間と予測時間の両方でモデル内のスケール不変性を数学的に保証するために,ディープニューラルネットワークとワイドニューラルネットワークを組み合わせたスケール不変LTRフレームワークを提案する。 我々は、予測時にテストセットを摂動させることにより、実世界のシナリオをシミュレーションして評価し、一貫性のないトレインテストのスケーリングであっても、フレームワークを使用した場合よりも優れたパフォーマンスを実現することを示す。
  論文  参考訳（メタデータ） (2024-10-02T19:05:12Z)
• SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
  我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。 SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。 画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2024-08-19T17:32:15Z)
• CMamba: Channel Correlation Enhanced State Space Models for Multivariate Time Series Forecasting [18.50360049235537]
  ステートスペースモデルであるMambaは、堅牢なシーケンスと機能ミキシング機能を備えている。 チャネル間の依存関係のキャプチャは、時系列予測のパフォーマンス向上に不可欠である。 時系列予測に適した改良されたマンバ変種を導入する。
  論文  参考訳（メタデータ） (2024-06-08T01:32:44Z)
• Root Causing Prediction Anomalies Using Explainable AI [3.970146574042422]
  本稿では,機械学習モデルにおける根源的性能劣化に対する説明可能なAI(XAI)の新たな応用法を提案する。 単一機能の破損は、カスケード機能、ラベル、コンセプトドリフトを引き起こす可能性がある。 我々は、パーソナライズされた広告に使用されるモデルの信頼性を向上させるために、この手法をうまく応用した。
  論文  参考訳（メタデータ） (2024-03-04T19:38:50Z)
• Towards Continually Learning Application Performance Models [1.2278517240988065]
  機械学習ベースのパフォーマンスモデルは、重要なジョブスケジューリングとアプリケーションの最適化決定を構築するために、ますます使われています。 伝統的に、これらのモデルは、より多くのサンプルが時間とともに収集されるため、データ分布が変化しないと仮定する。 本研究では,分布のドリフトを考慮した継続的な学習性能モデルを構築し,破滅的な忘れを軽減し,一般化性を向上させる。
  論文  参考訳（メタデータ） (2023-10-25T20:48:46Z)
• Robustness and Generalization Performance of Deep Learning Models on Cyber-Physical Systems: A Comparative Study [71.84852429039881]
  調査は、センサーの故障やノイズなど、様々な摂動を扱うモデルの能力に焦点を当てている。 我々は,これらのモデルの一般化と伝達学習能力を,アウト・オブ・ディストリビューション(OOD)サンプルに公開することによって検証する。
  論文  参考訳（メタデータ） (2023-06-13T12:43:59Z)
• How robust are pre-trained models to distribution shift? [82.08946007821184]
  自己教師付き学習(SSL)と自己エンコーダベースモデル(AE)の相互関係が相互関係に与える影響を示す。 本研究では, 線形ヘッドの潜在バイアスから事前学習したモデルの性能を分離するために, アウト・オブ・ディストリビューション(OOD)データに基づいて訓練された線形ヘッドを用いた新しい評価手法を開発した。
  論文  参考訳（メタデータ） (2022-06-17T16:18:28Z)
• Switchable Representation Learning Framework with Self-compatibility [50.48336074436792]
  自己整合性(SFSC)を考慮した交換可能な表現学習フレームワークを提案する。 SFSCは1つのトレーニングプロセスを通じて、異なる能力を持つ一連の互換性のあるサブモデルを生成する。 SFSCは評価データセット上で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-06-16T16:46:32Z)
• AI Total: Analyzing Security ML Models with Imperfect Data in Production [2.629585075202626]
  新しい機械学習モデルの開発は通常、手動でキュレートされたデータセット上で行われる。 本研究では,ユーザによるヘッドライン性能数値の収集を可能にするWebベースの可視化システムを開発した。 また,何か問題が発生した場合に,問題の根本原因を即座に観察することも可能だ。
  論文  参考訳（メタデータ） (2021-10-13T20:56:05Z)
• On Robustness and Transferability of Convolutional Neural Networks [147.71743081671508]
  現代の深層畳み込みネットワーク(CNN)は、分散シフトの下で一般化しないとしてしばしば批判される。 現代画像分類CNNにおける分布外と転送性能の相互作用を初めて検討した。 トレーニングセットとモデルサイズを増大させることで、分散シフトロバスト性が著しく向上することがわかった。
  論文  参考訳（メタデータ） (2020-07-16T18:39:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。