論文の概要: Scanflow: A multi-graph framework for Machine Learning workflow management, supervision, and debugging

• arxiv url: http://arxiv.org/abs/2111.03003v1
• Date: Thu, 4 Nov 2021 17:01:12 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-05 13:16:00.136614
• Title: Scanflow: A multi-graph framework for Machine Learning workflow management, supervision, and debugging
• Title（参考訳）: scanflow: マシンラーニングワークフロー管理、監視、デバッグのためのマルチグラフフレームワーク
• Authors: Gusseppe Bravo-Rocca, Peini Liu, Jordi Guitart, Ajay Dholakia, David Ellison, Jeffrey Falkanger, Miroslav Hodak
• Abstract要約: 本稿では,エンドツーエンドの機械学習ワークフロー管理を支援するコンテナ化指向グラフフレームワークを提案する。 このフレームワークは、コンテナ内でMLを定義してデプロイし、メタデータを追跡し、本番環境での振る舞いを確認し、学習された知識と人為的な知識を使用してモデルを改善する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine Learning (ML) is more than just training models, the whole workflow must be considered. Once deployed, a ML model needs to be watched and constantly supervised and debugged to guarantee its validity and robustness in unexpected situations. Debugging in ML aims to identify (and address) the model weaknesses in not trivial contexts. Several techniques have been proposed to identify different types of model weaknesses, such as bias in classification, model decay, adversarial attacks, etc., yet there is not a generic framework that allows them to work in a collaborative, modular, portable, iterative way and, more importantly, flexible enough to allow both human- and machine-driven techniques. In this paper, we propose a novel containerized directed graph framework to support and accelerate end-to-end ML workflow management, supervision, and debugging. The framework allows defining and deploying ML workflows in containers, tracking their metadata, checking their behavior in production, and improving the models by using both learned and human-provided knowledge. We demonstrate these capabilities by integrating in the framework two hybrid systems to detect data drift distribution which identify the samples that are far from the latent space of the original distribution, ask for human intervention, and whether retrain the model or wrap it with a filter to remove the noise of corrupted data at inference time. We test these systems on MNIST-C, CIFAR-10-C, and FashionMNIST-C datasets, obtaining promising accuracy results with the help of human involvement.
• Abstract（参考訳）: 機械学習(ml)は単なるトレーニングモデルではなく、ワークフロー全体を考慮する必要がある。 デプロイが完了すると、予期しない状況におけるその妥当性と堅牢性を保証するため、MLモデルを監視、監視、デバッグしなければなりません。 mlでのデバッグは、自明なコンテキストではなく、モデルの弱点を識別(および対処)することを目的としている。 分類のバイアス、モデル崩壊、敵対的攻撃など、さまざまなタイプのモデルの弱点を特定するために、いくつかのテクニックが提案されているが、協調的でモジュール化された、ポータブルで反復的な方法で作業できる汎用フレームワークはなく、さらに重要なことに、人間と機械の両方のテクニックを可能にするのに十分な柔軟性がある。 本稿では,エンドツーエンドのワークフロー管理,監視,デバッグを支援するコンテナ化指向グラフフレームワークを提案する。 このフレームワークは、コンテナ内のMLワークフローの定義とデプロイ、メタデータの追跡、本番環境での振る舞いの確認、学習された知識と人為的な知識の使用によるモデルの改善を可能にする。 本研究では,従来の分布の潜伏空間から遠いサンプルを識別し,人間の介入を求め,モデルを再訓練するか,あるいはフィルタでラップして推定時に破損したデータのノイズを除去する,という2つのハイブリッドシステムを統合することで,これらの能力を実証する。 これらのシステムは,MNIST-C,CIFAR-10-C,FashionMNIST-Cのデータセット上でテストし,人間の関与によって有望な精度が得られることを示す。

関連論文リスト

• Attribute-to-Delete: Machine Unlearning via Datamodel Matching [65.13151619119782]
  機械学習 -- 事前訓練された機械学習モデルで、小さな"ターゲットセット"トレーニングデータを効率的に削除する -- は、最近関心を集めている。 最近の研究では、機械学習技術はこのような困難な環境では耐えられないことが示されている。
  論文  参考訳（メタデータ） (2024-10-30T17:20:10Z)
• Unsupervised Model Diagnosis [49.36194740479798]
  本稿では,ユーザガイドを使わずに,意味論的対実的説明を生成するために,Unsupervised Model Diagnosis (UMO)を提案する。 提案手法は意味論における変化を特定し可視化し,その変化を広範囲なテキストソースの属性と照合する。
  論文  参考訳（メタデータ） (2024-10-08T17:59:03Z)
• Federated Learning for Misbehaviour Detection with Variational Autoencoders and Gaussian Mixture Models [0.2999888908665658]
  Federated Learning (FL)は、機械学習(ML)モデルを協調的にトレーニングするための魅力的なアプローチになっている。 本研究は、車載環境における潜在的な不適切な行動を特定するための、新しい教師なしFLアプローチを提案する。 当社は、モデルアグリゲーションの目的のために、パブリッククラウドサービスのコンピューティング能力を活用しています。
  論文  参考訳（メタデータ） (2024-05-16T08:49:50Z)
• Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
  Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。 TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
  論文  参考訳（メタデータ） (2023-11-23T15:46:54Z)
• Adapting Large Language Models for Content Moderation: Pitfalls in Data Engineering and Supervised Fine-tuning [79.53130089003986]
  大規模言語モデル(LLM)は、様々なドメインでタスクを処理するための実現可能なソリューションとなっている。 本稿では、コンテンツモデレーションのためにプライベートにデプロイ可能なLLMモデルを微調整する方法を紹介する。
  論文  参考訳（メタデータ） (2023-10-05T09:09:44Z)
• TRAK: Attributing Model Behavior at Scale [79.56020040993947]
  本稿では,大規模な微分モデルに対して有効かつ計算的に抽出可能なデータ属性法であるTRAK(Tracing with Randomly-trained After Kernel)を提案する。
  論文  参考訳（メタデータ） (2023-03-24T17:56:22Z)
• Robustness, Evaluation and Adaptation of Machine Learning Models in the Wild [4.304803366354879]
  本研究では、ドメインシフトに対するロバスト性の障害の原因と、ドメインロバストモデルをトレーニングするためのアルゴリズムを提案する。 モデル脆性の鍵となる原因はドメイン過度な適合であり、新しいトレーニングアルゴリズムはドメイン一般仮説を抑え、奨励する。
  論文  参考訳（メタデータ） (2023-03-05T21:41:16Z)
• Task-agnostic Continual Learning with Hybrid Probabilistic Models [75.01205414507243]
  分類のための連続学習のためのハイブリッド生成識別手法であるHCLを提案する。 フローは、データの配布を学習し、分類を行い、タスクの変更を特定し、忘れることを避けるために使用される。 本研究では,スプリット-MNIST,スプリット-CIFAR,SVHN-MNISTなどの連続学習ベンチマークにおいて,HCLの強い性能を示す。
  論文  参考訳（メタデータ） (2021-06-24T05:19:26Z)
• Model Assertions for Monitoring and Improving ML Models [26.90089824436192]
  本稿では,MLモデルの監視と改善を行う手段として,プログラムアサーションの古典的利用に適応した新しい抽象化,モデルアサーションを提案する。 モデルアサーションは、モデルがいつエラーが発生したかを示す入力と出力の任意の関数である。 本稿では,ランタイム監視,ラベルの検証,MLモデルの継続的な改善など,MLシステムデプロイメントのすべての段階におけるモデルアサーションの使用方法を提案する。
  論文  参考訳（メタデータ） (2020-03-03T17:49:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。