論文の概要: On original and latent space connectivity in deep neural networks
- arxiv url: http://arxiv.org/abs/2311.06816v1
- Date: Sun, 12 Nov 2023 11:41:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-14 16:40:11.493217
- Title: On original and latent space connectivity in deep neural networks
- Title(参考訳): 深部ニューラルネットワークにおける空間接続性について
- Authors: Boyang Gu, Anastasia Borovykh
- Abstract要約: 同一クラスからの入力が、元の表現空間や潜在表現空間において連続経路で接続できるかどうかを検討する。
同一クラス入力を接続する経路は,すべての場合において,線形あるいは非線形に存在することを示す。
- 参考スコア(独自算出の注目度): 1.450405446885067
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study whether inputs from the same class can be connected by a continuous
path, in original or latent representation space, such that all points on the
path are mapped by the neural network model to the same class. Understanding
how the neural network views its own input space and how the latent spaces are
structured has value for explainability and robustness. We show that paths,
linear or nonlinear, connecting same-class inputs exist in all cases studied.
- Abstract(参考訳): 同一クラスからの入力が、元の表現空間や潜在表現空間において連続経路で接続可能かどうかを、ニューラルネットワークモデルによって同一クラスにマッピングされるように検討する。
ニューラルネットワークが自身の入力空間をどのように見ているか、潜在空間がどのように構造化されているかを理解することは、説明可能性と堅牢性に価値がある。
同一クラス入力を接続する経路は,すべての場合において,線形あるいは非線形に存在することを示す。
関連論文リスト
- Half-Space Feature Learning in Neural Networks [2.3249139042158853]
現在、ニューラルネットワークの特徴学習には2つの極端な視点がある。
どちらの解釈も、新しい観点からは正しいとは考えにくい。
私たちはこの代替解釈を使って、Deep Linearly Gated Network (DLGN)と呼ばれるモデルを動かす。
論文 参考訳(メタデータ) (2024-04-05T12:03:19Z) - Closed-Form Interpretation of Neural Network Classifiers with Symbolic
Regression Gradients [0.7832189413179361]
ニューラルネットワークに基づく回帰とは対照的に、分類において、ニューラルネットワークからシンボル方程式への1対1マッピングを見つけることは一般的に不可能である。
トレーニングされたニューラルネットワークを、同じ量に基づいて決定を下す同値関数のクラスに組み込みます。
この等価クラスと記号回帰の探索空間で定義される人間可読方程式の交点を見つけることによってニューラルネットワークを解釈する。
論文 参考訳(メタデータ) (2024-01-10T07:47:42Z) - A Sparse Quantized Hopfield Network for Online-Continual Memory [0.0]
神経系は、ノイズの多いデータポイントのストリームが非独立で同一に分散された(非i.d.)方法で提示されるオンライン学習を行う。
一方、ディープネットワークは、通常非ローカルな学習アルゴリズムを使用し、オフライン、非ノイズ、すなわち設定で訓練される。
我々は、スパース量子ホップフィールドネットワーク(SQHN)と呼ばれる新しいニューラルネットワークにこの種のモデルを実装する。
論文 参考訳(メタデータ) (2023-07-27T17:46:17Z) - Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。
単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。
これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
論文 参考訳(メタデータ) (2023-07-20T13:34:11Z) - Quasi-orthogonality and intrinsic dimensions as measures of learning and
generalisation [55.80128181112308]
ニューラルネットワークの特徴空間の次元性と準直交性は、ネットワークの性能差別と共同して機能する可能性があることを示す。
本研究は, ネットワークの最終的な性能と, ランダムに初期化された特徴空間の特性との関係を示唆する。
論文 参考訳(メタデータ) (2022-03-30T21:47:32Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳(メタデータ) (2022-02-01T17:11:13Z) - A singular Riemannian geometry approach to Deep Neural Networks II.
Reconstruction of 1-D equivalence classes [78.120734120667]
入力空間における出力多様体内の点の事前像を構築する。
我々は、n-次元実空間から(n-1)-次元実空間へのニューラルネットワークマップの場合の簡易性に焦点をあてる。
論文 参考訳(メタデータ) (2021-12-17T11:47:45Z) - Analyzing Representations inside Convolutional Neural Networks [8.803054559188048]
本稿では,ネットワークが学習する概念を,一連の入力例をクラスタリングする方法に基づいて分類するフレームワークを提案する。
このフレームワークは教師なしで、入力機能のためのラベルなしで機能する。
提案手法を広範に評価し,人間の理解しやすさとコヒーレントな概念を創出することを示す。
論文 参考訳(メタデータ) (2020-12-23T07:10:17Z) - Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。
接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。
この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文 参考訳(メタデータ) (2020-08-19T04:53:31Z) - Neural Anisotropy Directions [63.627760598441796]
我々は、アーキテクチャの方向性誘導バイアスをカプセル化するベクトルとして、神経異方性方向(NAD)を定義する。
CIFAR-10データセットでは、NADはCNNが異なるクラス間で識別するために使用する特徴を特徴付ける。
論文 参考訳(メタデータ) (2020-06-17T08:36:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。