論文の概要: SysNoise: Exploring and Benchmarking Training-Deployment System Inconsistency

• arxiv url: http://arxiv.org/abs/2307.00280v1
• Date: Sat, 1 Jul 2023 09:22:54 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-05 17:04:56.336001
• Title: SysNoise: Exploring and Benchmarking Training-Deployment System Inconsistency
• Title（参考訳）: SysNoise: トレーニングデプロイメントシステムの一貫性の探索とベンチマーク
• Authors: Yan Wang, Yuhang Li, Ruihao Gong, Aishan Liu, Yanfei Wang, Jian Hu, Yongqiang Yao, Yunchen Zhang, Tianzi Xiao, Fengwei Yu, Xianglong Liu
• Abstract要約: 我々はSysNoiseを紹介した。SysNoiseは、頻繁に発生するが、ディープラーニングのトレーニング-デプロイサイクルでしばしば見過ごされるノイズである。 我々は,SysNoiseが20以上のモデル,画像分類,オブジェクト検出,インスタンスセグメンテーション,自然言語処理タスクに与える影響を測定する。 実験の結果、SysNoiseはさまざまなタスクにわたるモデルロバスト性に一定の影響をもたらし、データ強化や逆行訓練のような一般的な緩和効果は、それに対する限られた影響を示します。
• 参考スコア（独自算出の注目度）: 55.49469003537601
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Extensive studies have shown that deep learning models are vulnerable to adversarial and natural noises, yet little is known about model robustness on noises caused by different system implementations. In this paper, we for the first time introduce SysNoise, a frequently occurred but often overlooked noise in the deep learning training-deployment cycle. In particular, SysNoise happens when the source training system switches to a disparate target system in deployments, where various tiny system mismatch adds up to a non-negligible difference. We first identify and classify SysNoise into three categories based on the inference stage; we then build a holistic benchmark to quantitatively measure the impact of SysNoise on 20+ models, comprehending image classification, object detection, instance segmentation and natural language processing tasks. Our extensive experiments revealed that SysNoise could bring certain impacts on model robustness across different tasks and common mitigations like data augmentation and adversarial training show limited effects on it. Together, our findings open a new research topic and we hope this work will raise research attention to deep learning deployment systems accounting for model performance. We have open-sourced the benchmark and framework at https://modeltc.github.io/systemnoise_web.
• Abstract（参考訳）: 大規模な研究により、ディープラーニングモデルは敵対的および自然なノイズに弱いことが示されているが、異なるシステム実装によるノイズに対するモデルロバスト性についてはほとんど分かっていない。 本稿では,ディープラーニングのトレーニング・デプロイサイクルにおいて頻繁に発生するが見過ごされるノイズであるsysnoiseを初めて紹介する。 特にsysnoiseは、さまざまな小さなシステムミスマッチが無視できない違いをもたらすデプロイメントにおいて、ソーストレーニングシステムが異なるターゲットシステムに切り替えるときに発生する。 まず、推論段階に基づいてSysNoiseを3つのカテゴリに分類し、次に、20以上のモデルに対するSysNoiseの影響を定量的に測定する総合的なベンチマークを構築し、画像分類、オブジェクト検出、インスタンスセグメンテーション、自然言語処理タスクを解釈する。 我々の広範な実験により、SysNoiseはさまざまなタスクにわたるモデルロバスト性に一定の影響をもたらし、データ強化や逆行訓練のような一般的な緩和効果は、その影響を限定していることがわかった。 この研究が,モデル性能を考慮した深層学習展開システムに対する研究の注目度を高めることを願っている。 ベンチマークとフレームワークはhttps://modeltc.github.io/systemnoise_webでオープンソース化しました。

関連論文リスト

• Learning System Dynamics without Forgetting [60.08612207170659]
  未知の力学を持つ系の軌道予測は、物理学や生物学を含む様々な研究分野において重要である。 本稿では,モードスイッチンググラフODE (MS-GODE) の新たなフレームワークを提案する。 生体力学の異なる多様な系を特徴とする生体力学システムの新しいベンチマークを構築した。
  論文  参考訳（メタデータ） (2024-06-30T14:55:18Z)
• A Mathematical Model of the Hidden Feedback Loop Effect in Machine Learning Systems [44.99833362998488]
  意図しない隠れフィードバックループに起因するいくつかの現象を共同で記述するために,繰り返し学習プロセスを導入する。 このような繰り返し学習設定の特徴は、環境の状態が時間とともに学習者自身に因果的に依存することである。 本稿では,繰り返し学習過程の力学系モデルを提案し,正および負のフィードバックループモードに対する確率分布の制限セットを証明した。
  論文  参考訳（メタデータ） (2024-05-04T17:57:24Z)
• Learning with Noisy Foundation Models [95.50968225050012]
  本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。 雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2024-03-11T16:22:41Z)
• Understanding and Mitigating the Label Noise in Pre-training on Downstream Tasks [91.15120211190519]
  本稿では、事前学習データセットにおけるノイズの性質を理解し、下流タスクへの影響を軽減することを目的とする。 雑音の悪影響を軽減するために特徴空間に適応する軽量ブラックボックスチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2023-09-29T06:18:15Z)
• NoisyNN: Exploring the Influence of Information Entropy Change in Learning Systems [25.05692528736342]
  本研究では,特定の条件下での各種深層建築物の性能向上効果を示す。 ノイズが作業の複雑さを軽減するのに役立つかどうかに基づいて、ノイズを正ノイズ(PN)と有害ノイズ(HN)の2つのタイプに分類する。
  論文  参考訳（メタデータ） (2023-09-19T14:04:04Z)
• Avoiding Catastrophe: Active Dendrites Enable Multi-Task Learning in Dynamic Environments [0.5277756703318046]
  AIの鍵となる課題は、動的に変化する環境で動作する組み込みシステムを構築することだ。 標準的なディープラーニングシステムは、しばしば動的なシナリオで苦労する。 本稿では生物学的にインスパイアされたアーキテクチャをソリューションとして検討する。
  論文  参考訳（メタデータ） (2021-12-31T19:52:42Z)
• Bridging the Gap Between Clean Data Training and Real-World Inference for Spoken Language Understanding [76.89426311082927]
  既存のモデルはクリーンデータに基づいてトレーニングされ、クリーンデータトレーニングと現実世界の推論の間にtextitgapが発生する。 本稿では,良質なサンプルと低品質のサンプルの両方が類似ベクトル空間に埋め込まれた領域適応法を提案する。 広く使用されているデータセット、スニップス、および大規模な社内データセット(1000万のトレーニング例)に関する実験では、この方法は実世界の(騒々しい)コーパスのベースラインモデルを上回るだけでなく、堅牢性、すなわち、騒々しい環境下で高品質の結果を生み出すことを実証しています。
  論文  参考訳（メタデータ） (2021-04-13T17:54:33Z)
• Deep Active Learning in Remote Sensing for data efficient Change Detection [26.136331738529243]
  本研究では、変化検出とマップ更新のための深層ニューラルネットワークモデルの文脈におけるアクティブラーニングについて検討する。 アクティブな学習では、最小限のトレーニング例から始まり、ユーザによって注釈付けされた情報的サンプルを徐々に選択する。 能動学習は,高い情報的サンプルの発見に成功し,自動的にトレーニング分布のバランスをとることを示す。
  論文  参考訳（メタデータ） (2020-08-25T17:58:17Z)
• Supervised Learning in the Presence of Concept Drift: A modelling framework [5.22609266390809]
  非定常環境における教師あり学習の研究のためのモデリングフレームワークを提案する。 学習システムの例として、分類のためのプロトタイプベースの学習ベクトル量子化(LVQ)と回帰タスクのための浅層ニューラルネットワークをモデル化する。
  論文  参考訳（メタデータ） (2020-05-21T09:13:58Z)
• A System for Real-Time Interactive Analysis of Deep Learning Training [66.06880335222529]
  現在利用可能なシステムは、トレーニングプロセスが始まる前に指定しなければならないログデータのみを監視することに限定されている。 本稿では,リアルタイム情報を生成するライブプロセス上で対話型クエリを実行可能にするシステムを提案する。
  論文  参考訳（メタデータ） (2020-01-05T11:33:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。