論文の概要: Topological Uncertainty: Monitoring trained neural networks through persistence of activation graphs

• arxiv url: http://arxiv.org/abs/2105.04404v1
• Date: Fri, 7 May 2021 14:16:03 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-11 15:24:26.504228
• Title: Topological Uncertainty: Monitoring trained neural networks through persistence of activation graphs
• Title（参考訳）: トポロジ的不確実性:アクティベーショングラフの永続化によるトレーニングニューラルネットワークの監視
• Authors: Th\'eo Lacombe (DATASHAPE), Yuichi Ike, Mathieu Carriere, Fr\'ed\'eric Chazal, Marc Glisse, Yuhei Umeda
• Abstract要約: 産業アプリケーションでは、オープンワールド設定から得られるデータは、ネットワークがトレーニングされたベンチマークデータセットと大きく異なる可能性がある。 活性化グラフのトポロジ的特性に基づいて訓練されたニューラルネットワークを監視する手法を開発している。
• 参考スコア（独自算出の注目度）: 0.9786690381850356
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Although neural networks are capable of reaching astonishing performances on a wide variety of contexts, properly training networks on complicated tasks requires expertise and can be expensive from a computational perspective. In industrial applications, data coming from an open-world setting might widely differ from the benchmark datasets on which a network was trained. Being able to monitor the presence of such variations without retraining the network is of crucial importance. In this article, we develop a method to monitor trained neural networks based on the topological properties of their activation graphs. To each new observation, we assign a Topological Uncertainty, a score that aims to assess the reliability of the predictions by investigating the whole network instead of its final layer only, as typically done by practitioners. Our approach entirely works at a post-training level and does not require any assumption on the network architecture, optimization scheme, nor the use of data augmentation or auxiliary datasets; and can be faithfully applied on a large range of network architectures and data types. We showcase experimentally the potential of Topological Uncertainty in the context of trained network selection, Out-Of-Distribution detection, and shift-detection, both on synthetic and real datasets of images and graphs.
• Abstract（参考訳）: ニューラルネットワークは様々な状況で驚くべきパフォーマンスを達成することができるが、複雑なタスクでネットワークを適切に訓練するには専門知識が必要であり、計算の観点からは高価である。 産業アプリケーションでは、オープンワールド設定から得られるデータは、ネットワークがトレーニングされたベンチマークデータセットと大きく異なる可能性がある。 ネットワークを再トレーニングすることなく、そのようなバリエーションの存在を監視できることは、非常に重要です。 本稿では,そのアクティベーショングラフの位相的性質に基づいて,訓練されたニューラルネットワークを監視する手法を提案する。 そこで,本研究では,最終層に限らずネットワーク全体を調査することで,予測の信頼性を評価するためのスコアであるトポロジカル不確実性(Topological Uncertainty)を,実践者が通常行うように割り当てる。 我々のアプローチは、トレーニング後のレベルで完全に機能し、ネットワークアーキテクチャ、最適化スキーム、データ拡張や補助データセットの使用など、いかなる仮定も必要とせず、広範囲のネットワークアーキテクチャやデータタイプに忠実に適用できます。 画像とグラフの合成データと実データの両方において,ネットワーク選択訓練,分散検出,シフト検出の文脈における位相的不確かさの可能性について実験的に示す。

関連論文リスト

• Coding schemes in neural networks learning classification tasks [52.22978725954347]
  完全接続型広義ニューラルネットワーク学習タスクについて検討する。 ネットワークが強力なデータ依存機能を取得することを示す。 驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
  論文  参考訳（メタデータ） (2024-06-24T14:50:05Z)
• The Multiple Subnetwork Hypothesis: Enabling Multidomain Learning by Isolating Task-Specific Subnetworks in Feedforward Neural Networks [0.0]
  我々は,未使用の重み付きネットワークがその後のタスクを学習するための方法論とネットワーク表現構造を同定する。 提案手法を用いてトレーニングされたネットワークは,タスクのパフォーマンスを犠牲にすることなく,あるいは破滅的な忘れを伴わずに,複数のタスクを学習できることを示す。
  論文  参考訳（メタデータ） (2022-07-18T15:07:13Z)
• Quasi-orthogonality and intrinsic dimensions as measures of learning and generalisation [55.80128181112308]
  ニューラルネットワークの特徴空間の次元性と準直交性は、ネットワークの性能差別と共同して機能する可能性があることを示す。 本研究は, ネットワークの最終的な性能と, ランダムに初期化された特徴空間の特性との関係を示唆する。
  論文  参考訳（メタデータ） (2022-03-30T21:47:32Z)
• Network Embedding via Deep Prediction Model [25.727377978617465]
  本稿では,深層予測モデルを用いて構造化ネットワーク上での転送挙動を捕捉するネットワーク埋め込みフレームワークを提案する。 ネットワーク構造埋め込み層は、Long Short-Term Memory NetworkやRecurrent Neural Networkなど、従来の深部予測モデルに付加される。 ソーシャルネットワーク, 引用ネットワーク, バイオメディカルネットワーク, 協調ネットワーク, 言語ネットワークなど, さまざまなデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2021-04-27T16:56:00Z)
• Joint Learning of Neural Transfer and Architecture Adaptation for Image Recognition [77.95361323613147]
  現在の最先端の視覚認識システムは、大規模データセット上でニューラルネットワークを事前トレーニングし、より小さなデータセットでネットワーク重みを微調整することに依存している。 本稿では,各ドメインタスクに適応したネットワークアーキテクチャの動的適応と,効率と効率の両面で重みの微調整の利点を実証する。 本手法は,ソースドメインタスクでスーパーネットトレーニングを自己教師付き学習に置き換え,下流タスクで線形評価を行うことにより,教師なしパラダイムに容易に一般化することができる。
  論文  参考訳（メタデータ） (2021-03-31T08:15:17Z)
• Anomaly Detection on Attributed Networks via Contrastive Self-Supervised Learning [50.24174211654775]
  本論文では,アトリビュートネットワーク上の異常検出のためのコントラスト型自己監視学習フレームワークを提案する。 このフレームワークは、新しいタイプのコントラストインスタンスペアをサンプリングすることで、ネットワークデータからのローカル情報を完全に活用します。 高次元特性と局所構造から情報埋め込みを学習するグラフニューラルネットワークに基づくコントラスト学習モデルを提案する。
  論文  参考訳（メタデータ） (2021-02-27T03:17:20Z)
• Neural networks adapting to datasets: learning network size and topology [77.34726150561087]
  ニューラルネットワークは、勾配に基づくトレーニングの過程で、そのサイズとトポロジの両方を学習できるフレキシブルなセットアップを導入します。 結果として得られるネットワークは、特定の学習タスクとデータセットに合わせたグラフの構造を持つ。
  論文  参考訳（メタデータ） (2020-06-22T12:46:44Z)
• GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training [62.73470368851127]
  グラフ表現学習は現実世界の問題に対処する強力な手法として登場した。 自己教師付きグラフニューラルネットワーク事前トレーニングフレームワークであるGraph Contrastive Codingを設計する。 3つのグラフ学習タスクと10のグラフデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-06-17T16:18:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。