論文の概要: Do Neural Networks Trained with Topological Features Learn Different
Internal Representations?
- arxiv url: http://arxiv.org/abs/2211.07697v1
- Date: Mon, 14 Nov 2022 19:19:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2022-11-16 14:07:37.599781
- Title: Do Neural Networks Trained with Topological Features Learn Different
Internal Representations?
- Title（参考訳）: トポロジカルな特徴を持つニューラルネットワークは、異なる内部表現を学ぶか?
- Authors: Sarah McGuire, Shane Jackson, Tegan Emerson, Henry Kvinge
- Abstract要約: 本研究では、トポロジカルな特徴で訓練されたモデルが、元の生データで学習したモデルと根本的に異なるデータの内部表現を学習するかどうかを検討する。
構造的には、トポロジカルな特徴に基づいて訓練・評価されたモデルの隠れ表現は、対応する生データに基づいて訓練・評価されたモデルと大きく異なることがわかった。
これは、生データに基づいてトレーニングされたニューラルネットワークが、予測を行う過程で限られたトポロジ的特徴を抽出することを意味すると推測する。
- 参考スコア（独自算出の注目度）: 1.418465438044804
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: There is a growing body of work that leverages features extracted via
topological data analysis to train machine learning models. While this field,
sometimes known as topological machine learning (TML), has seen some notable
successes, an understanding of how the process of learning from topological
features differs from the process of learning from raw data is still limited.
In this work, we begin to address one component of this larger issue by asking
whether a model trained with topological features learns internal
representations of data that are fundamentally different than those learned by
a model trained with the original raw data. To quantify ``different'', we
exploit two popular metrics that can be used to measure the similarity of the
hidden representations of data within neural networks, neural stitching and
centered kernel alignment. From these we draw a range of conclusions about how
training with topological features does and does not change the representations
that a model learns. Perhaps unsurprisingly, we find that structurally, the
hidden representations of models trained and evaluated on topological features
differ substantially compared to those trained and evaluated on the
corresponding raw data. On the other hand, our experiments show that in some
cases, these representations can be reconciled (at least to the degree required
to solve the corresponding task) using a simple affine transformation. We
conjecture that this means that neural networks trained on raw data may extract
some limited topological features in the process of making predictions.
- Abstract（参考訳）: トポロジカルデータ分析によって抽出された機能を活用して、機械学習モデルをトレーニングする作業が増えている。
この分野は、しばしばトポロジカル機械学習(TML)として知られているが、トポロジカル特徴から学習する過程が生データから学習する過程とどのように異なるかを理解することは、まだ限られている。
本研究では,トポロジカルな特徴で訓練されたモデルが,原生データで学習したモデルと根本的に異なるデータの内部表現を学習するかどうかを問うことで,この大きな問題の1つに対処し始める。
different''を定量化するために、ニューラルネットワーク内のデータの隠れた表現の類似性、ニューラルネットワークの縫い付け、中心的カーネルアライメントの測定に使用できる2つの一般的なメトリクスを利用する。
これらのことから、トポロジカルな特徴を持つトレーニングがどのように行われ、モデルが学習する表現を変えないかについて、さまざまな結論を導き出します。
おそらく当然のことながら、構造的には、トポロジカルな特徴で訓練・評価されたモデルの隠れ表現は、対応する生データで訓練・評価されたモデルと大きく異なる。
一方,本実験では,これらの表現を単純なアフィン変換を用いて (少なくとも対応するタスクを解くために必要な程度に) 整合できることが示されている。
これは、生データに基づいてトレーニングされたニューラルネットワークが、予測を行う過程で限られたトポロジ的特徴を抽出することを意味する。
関連論文リスト
- Experimental Observations of the Topology of Convolutional Neural
Network Activations [2.4235626091331737]
トポロジカル・データ解析は、複雑な構造のコンパクトでノイズ・ロバストな表現を提供する。
ディープニューラルネットワーク(DNN)は、モデルアーキテクチャによって定義された一連の変換に関連する数百万のパラメータを学習する。
本稿では,画像分類に使用される畳み込みニューラルネットワークの解釈可能性に関する知見を得る目的で,TDAの最先端技術を適用した。
論文 参考訳（メタデータ） (2022-12-01T02:05:44Z) - CHALLENGER: Training with Attribution Maps [63.736435657236505]
ニューラルネットワークのトレーニングに属性マップを利用すると、モデルの正規化が向上し、性能が向上することを示す。
特に、我々の汎用的なドメインに依存しないアプローチは、ビジョン、自然言語処理、時系列タスクにおける最先端の結果をもたらすことを示す。
論文 参考訳（メタデータ） (2022-05-30T13:34:46Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - Dynamic Inference with Neural Interpreters [72.90231306252007]
本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。
モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。
ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
論文 参考訳（メタデータ） (2021-10-12T23:22:45Z) - Multi-Branch Deep Radial Basis Function Networks for Facial Emotion
Recognition [80.35852245488043]
放射状基底関数(RBF)ユニットによって形成された複数の分岐で拡張されたCNNベースのアーキテクチャを提案する。
RBFユニットは、中間表現を用いて類似のインスタンスで共有される局所パターンをキャプチャする。
提案手法は,提案手法の競争力を高めるためのローカル情報の導入であることを示す。
論文 参考訳（メタデータ） (2021-09-07T21:05:56Z) - Category-Learning with Context-Augmented Autoencoder [63.05016513788047]
実世界のデータの解釈可能な非冗長表現を見つけることは、機械学習の鍵となる問題の一つである。
本稿では,オートエンコーダのトレーニングにデータ拡張を利用する新しい手法を提案する。
このような方法で変分オートエンコーダを訓練し、補助ネットワークによって変換結果を予測できるようにする。
論文 参考訳（メタデータ） (2020-10-10T14:04:44Z) - Malicious Network Traffic Detection via Deep Learning: An Information
Theoretic View [0.0]
本研究では,ホメオモルフィズムがマルウェアのトラフィックデータセットの学習表現に与える影響について検討する。
この結果から,学習された表現の詳細と,すべてのパラメータの多様体上で定義された特定の座標系は,関数近似とは全く異なることが示唆された。
論文 参考訳（メタデータ） (2020-09-16T15:37:44Z) - A Topological Framework for Deep Learning [0.7310043452300736]
機械学習における分類問題は、非常に穏やかな条件下では常に解決可能であることを示す。
特に,ソフトマックス分類ネットワークは,有限列の位相移動によって入力位相空間に作用し,その分類処理を実現する。
論文 参考訳（メタデータ） (2020-08-31T15:56:42Z) - Learning What Makes a Difference from Counterfactual Examples and
Gradient Supervision [57.14468881854616]
ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。
我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。
このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
論文 参考訳（メタデータ） (2020-04-20T02:47:49Z) - Similarity of Neural Networks with Gradients [8.804507286438781]
本稿では,特徴ベクトルと勾配ベクトルの両方を利用してニューラルネットワークの表現を設計することを提案する。
提案手法はニューラルネットワークの類似性を計算するための最先端の手法を提供する。
論文 参考訳（メタデータ） (2020-03-25T17:04:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。