論文の概要: DeepVisualInsight: Time-Travelling Visualization for Spatio-Temporal
Causality of Deep Classification Training
- arxiv url: http://arxiv.org/abs/2201.01155v1
- Date: Fri, 31 Dec 2021 07:05:31 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-05 23:25:09.393937
- Title: DeepVisualInsight: Time-Travelling Visualization for Spatio-Temporal
Causality of Deep Classification Training
- Title（参考訳）: DeepVisualInsight: 深層分類訓練における時空間因果関係の可視化
- Authors: Xianglin Yang and Yun Lin and Ruofan Liu and Zhenfeng He and Chao Wang
and Jin Song Dong and Hong Mei
- Abstract要約: 本稿では,深層学習画像の学習中に因果性を示すことを目的とした,時間旅行型ビジュアルソリューションDeepVisualInsightを提案する。
本研究では,学習した入力表現のレイアウトと,連続したエポックにおける境界にどのような影響を及ぼすかを示す。
実験により, ベースライン手法と比較して, 空間的・時間的特性と可視化効率について, 最高の可視化性能が得られることを示した。
- 参考スコア（独自算出の注目度）: 7.4940788786485095
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Understanding how the predictions of deep learning models are formed during
the training process is crucial to improve model performance and fix model
defects, especially when we need to investigate nontrivial training strategies
such as active learning, and track the root cause of unexpected training
results such as performance degeneration.
In this work, we propose a time-travelling visual solution DeepVisualInsight
(DVI), aiming to manifest the spatio-temporal causality while training a deep
learning image classifier. The spatio-temporal causality demonstrates how the
gradient-descent algorithm and various training data sampling techniques can
influence and reshape the layout of learnt input representation and the
classification boundaries in consecutive epochs. Such causality allows us to
observe and analyze the whole learning process in the visible low dimensional
space. Technically, we propose four spatial and temporal properties and design
our visualization solution to satisfy them. These properties preserve the most
important information when inverse-)projecting input samples between the
visible low-dimensional and the invisible high-dimensional space, for causal
analyses. Our extensive experiments show that, comparing to baseline
approaches, we achieve the best visualization performance regarding the
spatial/temporal properties and visualization efficiency. Moreover, our case
study shows that our visual solution can well reflect the characteristics of
various training scenarios, showing good potential of DVI as a debugging tool
for analyzing deep learning training processes.
- Abstract（参考訳）: 学習過程において深層学習モデルがどのように形成されるかを理解することは,特に能動的学習などの非自明なトレーニング戦略を調査し,性能劣化などの予期せぬトレーニング結果の根本原因を追跡する必要がある場合に,モデル性能の向上とモデル欠陥の修正に不可欠である。
本研究では,深層学習画像分類器を訓練しながら時空間因果関係を明らかにすることを目的とした,時間経過の視覚的ソリューションDeepVisualInsight (DVI)を提案する。
時空間因果関係は,学習した入力表現のレイアウトや分類境界の連続的エポシックな変化に,勾配差アルゴリズムと様々なトレーニングデータサンプリング技術がどのように影響を与えるかを示す。
このような因果関係により、目に見える低次元空間における学習過程全体を観察し、分析することができる。
技術的には, 空間的および時間的特性を4つ提案し, それらを満たす可視化ソリューションを設計する。
これらの特性は、因果解析のために、可視低次元空間と可視高次元空間の間の入力サンプルを逆投影する際に最も重要な情報を保持する。
本研究では,ベースライン手法と比較して,空間的・時間的特性と可視化効率について最高の可視化性能が得られることを示す。
さらに,本ケーススタディでは,ディープラーニング学習プロセス解析のためのデバッグツールとしてDVIが有用であることを示すとともに,様々なトレーニングシナリオの特徴を視覚的に反映できることを示した。
関連論文リスト
- Exploring the Evolution of Hidden Activations with Live-Update Visualization [12.377279207342735]
我々は、トレーニング中に隠された表現の進行を明らかにする自動化されたリアルタイム可視化ツールであるSentryCamを紹介した。
以上の結果から, この可視化は, 基礎的指標と比較して, 学習のダイナミクスをより包括的に把握できることが示唆された。
SentryCamは、タスク転送や破滅的な忘れなど、継続的な学習環境への詳細な分析を容易にすることができる。
論文 参考訳（メタデータ） (2024-05-24T01:23:20Z) - Harnessing Diffusion Models for Visual Perception with Meta Prompts [68.78938846041767]
本稿では,視覚知覚タスクの拡散モデルを用いた簡易かつ効果的な手法を提案する。
学習可能な埋め込み(メタプロンプト)を事前学習した拡散モデルに導入し、知覚の適切な特徴を抽出する。
提案手法は,NYU 深度 V2 と KITTI の深度推定タスク,および CityScapes のセマンティックセグメンテーションタスクにおいて,新しい性能記録を実現する。
論文 参考訳（メタデータ） (2023-12-22T14:40:55Z) - Deep Learning Training Procedure Augmentations [0.0]
近年のディープラーニングの進歩は、オブジェクト検出、画像分割、感情分析など、さまざまなタスクのパフォーマンスを大幅に改善している。
これは大きな成果をもたらしたが、その多くは現実世界のアプリケーションでは、ディープラーニングの他の関連する側面は無視され、不明である。
優れた性能を発揮できる一方で、収束速度、最適化ランドスケープ、対向ロバスト性に関する興味深い分析結果も提示する。
論文 参考訳（メタデータ） (2022-11-25T22:31:11Z) - Information-Theoretic Odometry Learning [83.36195426897768]
生体計測推定を目的とした学習動機付け手法のための統合情報理論フレームワークを提案する。
提案フレームワークは情報理論言語の性能評価と理解のためのエレガントなツールを提供する。
論文 参考訳（メタデータ） (2022-03-11T02:37:35Z) - Crop-Transform-Paste: Self-Supervised Learning for Visual Tracking [137.26381337333552]
本研究では,十分なトレーニングデータを合成できるCrop-Transform-Paste演算を開発した。
オブジェクトの状態はすべての合成データで知られているので、既存のディープトラッカーは人間のアノテーションなしで日常的に訓練することができる。
論文 参考訳（メタデータ） (2021-06-21T07:40:34Z) - Extracting Global Dynamics of Loss Landscape in Deep Learning Models [0.0]
本稿では,DOODL3 (Dynamical Organization of Deep Learning Loss Landscapes) のためのツールキットを提案する。
DOODL3は、ニューラルネットワークのトレーニングを動的システムとして定式化し、学習プロセスを分析し、損失ランドスケープにおける軌跡の解釈可能なグローバルビューを示す。
論文 参考訳（メタデータ） (2021-06-14T18:07:05Z) - An Adaptive Framework for Learning Unsupervised Depth Completion [59.17364202590475]
カラー画像から高密度深度マップとそれに伴うスパース深度測定を推定する手法を提案する。
正規化とコビジュアライゼーションは、モデルの適合度とデータによって関連付けられており、単一のフレームワークに統合可能であることを示す。
論文 参考訳（メタデータ） (2021-06-06T02:27:55Z) - Variational Structured Attention Networks for Deep Visual Representation
Learning [49.80498066480928]
空間的注意マップとチャネル的注意の両方を原則的に共同学習するための統合的深層フレームワークを提案する。
具体的には,確率的表現学習フレームワークに注目度の推定と相互作用を統合する。
ニューラルネットワーク内で推論ルールを実装し,確率パラメータとcnnフロントエンドパラメータのエンドツーエンド学習を可能にする。
論文 参考訳（メタデータ） (2021-03-05T07:37:24Z) - Heterogeneous Contrastive Learning: Encoding Spatial Information for
Compact Visual Representations [183.03278932562438]
本稿では,エンコーディング段階に空間情報を加えることで,対照的な目的と強いデータ拡張操作の間の学習の不整合を緩和する効果的な手法を提案する。
提案手法は,視覚表現の効率を向上し,自己指導型視覚表現学習の今後の研究を刺激する鍵となるメッセージを提供する。
論文 参考訳（メタデータ） (2020-11-19T16:26:25Z) - Deep learning surrogate models for spatial and visual connectivity [0.0]
本稿では,空間の空間的および視覚的接続性を同定可能なモデルを作成するために機械学習を用いて,そのような計算集約シミュレーションの結果を大幅に高速化する可能性について検討する。
本稿では、分散計算パイプラインを通した空間的および視覚的接続分析エンジンの導入から、トレーニングデータを合成し、異なるニューラルネットワークの性能を評価するプロセスに至るまで、さまざまな機械学習モデルとそのようなタスクでそれらを訓練するパイプラインの全体について述べる。
論文 参考訳（メタデータ） (2019-12-29T09:17:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。