論文の概要: A System for Real-Time Interactive Analysis of Deep Learning Training
- arxiv url: http://arxiv.org/abs/2001.01215v2
- Date: Tue, 7 Jan 2020 08:57:16 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-14 07:42:23.281963
- Title: A System for Real-Time Interactive Analysis of Deep Learning Training
- Title（参考訳）: ディープラーニング学習のリアルタイムインタラクティブ解析システム
- Authors: Shital Shah, Roland Fernandez, Steven Drucker
- Abstract要約: 現在利用可能なシステムは、トレーニングプロセスが始まる前に指定しなければならないログデータのみを監視することに限定されている。
本稿では,リアルタイム情報を生成するライブプロセス上で対話型クエリを実行可能にするシステムを提案する。
- 参考スコア（独自算出の注目度）: 66.06880335222529
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Performing diagnosis or exploratory analysis during the training of deep
learning models is challenging but often necessary for making a sequence of
decisions guided by the incremental observations. Currently available systems
for this purpose are limited to monitoring only the logged data that must be
specified before the training process starts. Each time a new information is
desired, a cycle of stop-change-restart is required in the training process.
These limitations make interactive exploration and diagnosis tasks difficult,
imposing long tedious iterations during the model development. We present a new
system that enables users to perform interactive queries on live processes
generating real-time information that can be rendered in multiple formats on
multiple surfaces in the form of several desired visualizations simultaneously.
To achieve this, we model various exploratory inspection and diagnostic tasks
for deep learning training processes as specifications for streams using a
map-reduce paradigm with which many data scientists are already familiar. Our
design achieves generality and extensibility by defining composable primitives
which is a fundamentally different approach than is used by currently available
systems. The open source implementation of our system is available as
TensorWatch project at https://github.com/microsoft/tensorwatch.
- Abstract（参考訳）: 深層学習モデルの訓練中に診断や探索的分析を行うのは難しいが、漸進的な観察によって導かれる一連の決定を行うには、しばしば必要である。
この目的のために現在利用可能なシステムは、トレーニングプロセスが始まる前に指定しなければならないログデータのみを監視することに限定されている。
新しい情報が要求される度に、トレーニングプロセスでストップ・チェンジ・リスタートのサイクルが必要となる。
これらの制限は、インタラクティブな探索と診断のタスクを困難にし、モデル開発中に長い退屈なイテレーションを課す。
本稿では,複数面の複数のフォーマットで同時にレンダリング可能なリアルタイム情報を生成するライブプロセス上で,ユーザが対話的なクエリを実行できるようにするシステムを提案する。
これを実現するために,多くのデータサイエンティストがすでに慣れ親しんだmap-reduceパラダイムを用いて,ディープラーニングトレーニングプロセスの様々な探索的検査と診断タスクをストリームの仕様としてモデル化する。
現在利用可能なシステムと根本的に異なるアプローチである構成可能なプリミティブを定義することで,汎用性と拡張性を実現する。
このシステムのオープンソース実装はTensorWatchプロジェクトとしてhttps://github.com/microsoft/tensorwatch.comで公開されている。
関連論文リスト
- A Practitioner's Guide to Continual Multimodal Pretraining [83.63894495064855]
マルチモーダル・ファンデーション・モデルは視覚と言語を交わす多くのアプリケーションに役立っている。
モデルを更新し続けるために、継続事前トレーニングの研究は主に、大規模な新しいデータに対する頻度の低い、差別的な更新、あるいは頻繁に行われるサンプルレベルの更新のシナリオを探求する。
本稿では,FoMo-in-Flux(FoMo-in-Flux)について紹介する。
論文 参考訳（メタデータ） (2024-08-26T17:59:01Z) - Combating Missing Modalities in Egocentric Videos at Test Time [92.38662956154256]
現実のアプリケーションは、プライバシの懸念、効率性の必要性、ハードウェアの問題により、不完全なモダリティを伴う問題に直面することが多い。
再トレーニングを必要とせずに,テスト時にこの問題に対処する新しい手法を提案する。
MiDlは、欠落したモダリティをテスト時にのみ扱う、自己管理型のオンラインソリューションとしては初めてのものだ。
論文 参考訳（メタデータ） (2024-04-23T16:01:33Z) - A Review of Machine Learning Methods Applied to Video Analysis Systems [3.518774226658318]
本稿では,ビデオ解析のための機械学習技術の開発について調査する。
本稿では,ビデオ分析における自己教師型学習,半教師型学習,アクティブ学習,ゼロショット学習の開発の概要について述べる。
論文 参考訳（メタデータ） (2023-12-08T20:24:03Z) - Dynamic Task and Weight Prioritization Curriculum Learning for
Multimodal Imagery [0.5439020425819]
本稿では,カリキュラム学習法を訓練したマルチモーダル深層学習モデルを用いたディザスタ後の分析について検討する。
カリキュラム学習は、ますます複雑なデータに基づいてディープラーニングモデルを訓練することにより、人間の教育における進歩的な学習シーケンスをエミュレートする。
論文 参考訳（メタデータ） (2023-10-29T18:46:33Z) - NEVIS'22: A Stream of 100 Tasks Sampled from 30 Years of Computer Vision
Research [96.53307645791179]
我々は,100以上の視覚的分類タスクのストリームからなるベンチマークであるNever-Ending VIsual-classification Stream (NEVIS'22)を紹介する。
分類に制限されているにもかかわらず、OCR、テクスチャ分析、シーン認識など、様々なタスクが生成される。
NEVIS'22は、タスクの規模と多様性のために、現在のシーケンシャルな学習アプローチに対して前例のない課題を提起している。
論文 参考訳（メタデータ） (2022-11-15T18:57:46Z) - Online Continual Learning with Natural Distribution Shifts: An Empirical
Study with Visual Data [101.6195176510611]
オンライン」連続学習は、情報保持とオンライン学習の有効性の両方を評価することができる。
オンライン連続学習では、入力される各小さなデータをまずテストに使用し、次にトレーニングセットに追加し、真にオンラインにします。
本稿では,大規模かつ自然な分布変化を示すオンライン連続視覚学習のための新しいベンチマークを提案する。
論文 参考訳（メタデータ） (2021-08-20T06:17:20Z) - Few-Cost Salient Object Detection with Adversarial-Paced Learning [95.0220555274653]
本稿では,少数のトレーニング画像にのみ手動アノテーションを応用して,効果的なサルエント物体検出モデルを学習することを提案する。
我々は,このタスクを,少額の有能な物体検出とみなし,少数のコストの学習シナリオを促進するために,APL(Adversarialpaced Learning)ベースのフレームワークを提案する。
論文 参考訳（メタデータ） (2021-04-05T14:15:49Z) - A Visual Analytics Framework for Explaining and Diagnosing Transfer
Learning Processes [42.57604833160855]
本稿では,深層ニューラルネットワークの学習における伝達学習プロセスの多段階探索のための視覚分析フレームワークを提案する。
本フレームワークは,ニューラルネットワークの深層学習において,既存のモデルから学習した知識がどのように新たな学習タスクに変換されるかを説明するために,マルチアスペクト設計を確立する。
論文 参考訳（メタデータ） (2020-09-15T05:59:00Z) - A Review of Meta-level Learning in the Context of Multi-component,
Multi-level Evolving Prediction Systems [6.810856082577402]
データから有用なパターンを抽出する自動的あるいは半自動的な方法の調査の必要性が高まっている。
与えられた問題に対する学習方法の最も適切なマッピングを見つけるには、深い専門家の知識と広範な計算資源が必要である。
データセットに最適な学習アルゴリズムをアドバイスできるインテリジェントなレコメンデーションエンジンが必要だ。
論文 参考訳（メタデータ） (2020-07-17T14:14:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。