論文の概要: Cockpit: A Practical Debugging Tool for Training Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2102.06604v1
• Date: Fri, 12 Feb 2021 16:28:49 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-15 13:20:08.217068
• Title: Cockpit: A Practical Debugging Tool for Training Deep Neural Networks
• Title（参考訳）: Cockpit: ディープニューラルネットワークをトレーニングするための実用的なデバッグツール
• Authors: Frank Schneider and Felix Dangel and Philipp Hennig
• Abstract要約: 学習機械の内部動作をより深く観察することのできる機器のコレクションを提示する。 これらの機器は勾配分布と曲率に関する新しい高次情報を利用する。
• 参考スコア（独自算出の注目度）: 27.96164890143314
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: When engineers train deep learning models, they are very much "flying blind". Commonly used approaches for real-time training diagnostics, such as monitoring the train/test loss, are limited. Assessing a network's training process solely through these performance indicators is akin to debugging software without access to internal states through a debugger. To address this, we present Cockpit, a collection of instruments that enable a closer look into the inner workings of a learning machine, and a more informative and meaningful status report for practitioners. It facilitates the identification of learning phases and failure modes, like ill-chosen hyperparameters. These instruments leverage novel higher-order information about the gradient distribution and curvature, which has only recently become efficiently accessible. We believe that such a debugging tool, which we open-source for PyTorch, represents an important step to improve troubleshooting the training process, reveal new insights, and help develop novel methods and heuristics.
• Abstract（参考訳）: エンジニアがディープラーニングモデルをトレーニングする場合、彼らは"空飛ぶ盲人"です。 列車/テスト損失の監視など、リアルタイムトレーニング診断の一般的なアプローチは限られています。 これらのパフォーマンス指標によってのみネットワークのトレーニングプロセスを評価することは、デバッガを通じて内部状態にアクセスせずにソフトウェアをデバッグするようなものです。 そこで本研究では,学習機の内部動作を詳細に調べるための機器群であるcockpitと,実践者に対するより有意義で有意義なステータスレポートを提案する。 未経験のハイパーパラメータのように、学習フェーズと障害モードの識別を容易にする。 これらの機器は、最近初めて効率的にアクセス可能になった勾配分布と曲率に関する新しい高階情報を利用しています。 このようなデバッグツールは、PyTorchをオープンソース化することで、トレーニングプロセスのトラブルシューティングを改善し、新しい洞察を明らかにし、新しい方法やヒューリスティックの開発を支援する重要なステップであると考えています。

関連論文リスト

• Mind the Interference: Retaining Pre-trained Knowledge in Parameter Efficient Continual Learning of Vision-Language Models [79.28821338925947]
  ドメインクラスのインクリメンタル学習は現実的だが、継続的な学習シナリオである。 これらの多様なタスクに対処するために、事前訓練されたビジョンランゲージモデル(VLM)を導入し、その強力な一般化性を実現する。 事前訓練されたVLMにエンコードされた知識は、新しいタスクに適応する際に妨げられ、固有のゼロショット能力を損なう。 既存の手法では、膨大なオーバーヘッドを必要とする余分なデータセットに知識蒸留でVLMをチューニングすることで、この問題に対処している。 我々は、事前学習した知識を保持できるDIKI(Distributed-Aware Interference-free Knowledge Integration)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-07T12:19:37Z)
• Robust Machine Learning by Transforming and Augmenting Imperfect Training Data [6.928276018602774]
  この論文は、現代の機械学習のいくつかのデータ感度を探求する。 まず、トレーニングデータで測定された事前の人間の識別をMLが符号化するのを防ぐ方法について論じる。 次に、トレーニング中に予測忠実度を提供するが、デプロイ時に信頼性が低い突発的特徴を含むデータから学習する問題について論じる。
  論文  参考訳（メタデータ） (2023-12-19T20:49:28Z)
• Improving Long-Horizon Imitation Through Instruction Prediction [93.47416552953075]
  本研究では、しばしば使われない補助的監督源である言語の使用について検討する。 近年のトランスフォーマーモデルの発展にインスパイアされたエージェントは,高レベルの抽象化で動作する時間拡張表現の学習を促す命令予測損失を持つエージェントを訓練する。 さらなる分析では、複雑な推論を必要とするタスクにおいて、命令モデリングが最も重要であり、単純な計画を必要とする環境において、より小さなゲインを提供する。
  論文  参考訳（メタデータ） (2023-06-21T20:47:23Z)
• PIVOT: Prompting for Video Continual Learning [50.80141083993668]
  PIVOTは、画像領域から事前学習したモデルにおける広範な知識を活用する新しい手法である。 実験の結果,PIVOTは20タスクのアクティビティネット設定において,最先端の手法を27%向上することがわかった。
  論文  参考訳（メタデータ） (2022-12-09T13:22:27Z)
• Self-supervised Transformer for Deepfake Detection [112.81127845409002]
  現実世界のシナリオにおけるディープフェイク技術は、顔偽造検知器のより強力な一般化能力を必要とする。 転送学習に触発されて、他の大規模な顔関連タスクで事前訓練されたニューラルネットワークは、ディープフェイク検出に有用な機能を提供する可能性がある。 本稿では,自己教師型変換器を用いた音声視覚コントラスト学習手法を提案する。
  論文  参考訳（メタデータ） (2022-03-02T17:44:40Z)
• Recursive Least-Squares Estimator-Aided Online Learning for Visual Tracking [58.14267480293575]
  オフライン学習を必要とせず、簡単な効果的なオンライン学習手法を提案する。 これは、モデルが以前見たオブジェクトに関する知識を記憶するための、内蔵されたメモリ保持メカニズムを可能にする。 我々は、RT-MDNetにおける多層パーセプトロンと、DiMPにおける畳み込みニューラルネットワークの追跡のためのオンライン学習ファミリーにおける2つのネットワークに基づくアプローチを評価する。
  論文  参考訳（メタデータ） (2021-12-28T06:51:18Z)
• Active learning using weakly supervised signals for quality inspection [0.16683739531034203]
  我々は,急速に採掘され,弱く注釈されたデータから積極的に学習する手法を開発した。 私たちは大きなマシンビジョンの弱点、偽陽性に取り組む。 その点において、この問題に対処する効率的な方法として、ドメイン・アドバーサリートレーニングを示します。
  論文  参考訳（メタデータ） (2021-04-07T07:49:07Z)
• Data-efficient Weakly-supervised Learning for On-line Object Detection under Domain Shift in Robotics [24.878465999976594]
  文献では、Deep Convolutional Neural Networks (DCNNs)に基づく多数のオブジェクト検出方法が提案されている。 これらの手法はロボティクスに重要な制限がある:オフラインデータのみに学習するとバイアスが発生し、新しいタスクへの適応を防ぐことができる。 本研究では,弱い教師付き学習がこれらの問題にどのように対処できるかを検討する。
  論文  参考訳（メタデータ） (2020-12-28T16:36:11Z)
• Skyline: Interactive In-Editor Computational Performance Profiling for Deep Neural Network Training [24.512629761651535]
  Skylineは最先端のディープニューラルネットワーク(DNN)をトレーニングするためのエディタ内ツール インタラクティブなパフォーマンス予測と視覚化を提供し、ドラッグするとコード内のバッチサイズが変更される、直接操作可能な視覚化を提供する。 スカイラインの探索的質的研究は有望な結果をもたらした。
  論文  参考訳（メタデータ） (2020-08-15T22:17:00Z)
• Auto-Rectify Network for Unsupervised Indoor Depth Estimation [119.82412041164372]
  ハンドヘルド環境に現れる複雑な自我運動が,学習深度にとって重要な障害であることが確認された。 本稿では,相対回転を除去してトレーニング画像の修正を効果的に行うデータ前処理手法を提案する。 その結果、従来の教師なしSOTA法よりも、難易度の高いNYUv2データセットよりも優れていた。
  論文  参考訳（メタデータ） (2020-06-04T08:59:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。