論文の概要: Neural Networks as Paths through the Space of Representations
- arxiv url: http://arxiv.org/abs/2206.10999v1
- Date: Wed, 22 Jun 2022 11:59:10 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-23 22:29:12.206409
- Title: Neural Networks as Paths through the Space of Representations
- Title（参考訳）: 表現空間を通る経路としてのニューラルネットワーク
- Authors: Richard D. Lange, Jordan Matelsky, Xinyue Wang, Devin Kwok, David S.
Rolnick, Konrad P. Kording
- Abstract要約: 有用な表現のレイヤ・バイ・レイヤ構造を理解するための簡単なアイデアを考案する。
我々は、距離表現類似性に関する最近の研究を活用して、この直感的な「距離」の概念を定式化する。
このフレームワークにより、ディープニューラルネットワークによって実装された階層的な計算は、高次元の表現空間におけるパスと見なすことができる。
- 参考スコア（独自算出の注目度）: 5.165741406553346
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep neural networks implement a sequence of layer-by-layer operations that
are each relatively easy to understand, but the resulting overall computation
is generally difficult to understand. We develop a simple idea for interpreting
the layer-by-layer construction of useful representations: the role of each
layer is to reformat information to reduce the "distance" to the target
outputs. We formalize this intuitive idea of "distance" by leveraging recent
work on metric representational similarity, and show how it leads to a rich
space of geometric concepts. With this framework, the layer-wise computation
implemented by a deep neural network can be viewed as a path in a
high-dimensional representation space. We develop tools to characterize the
geometry of these in terms of distances, angles, and geodesics. We then ask
three sets of questions of residual networks trained on CIFAR-10: (1) how
straight are paths, and how does each layer contribute towards the target? (2)
how do these properties emerge over training? and (3) how similar are the paths
taken by wider versus deeper networks? We conclude by sketching additional ways
that this kind of representational geometry can be used to understand and
interpret network training, or to prescriptively improve network architectures
to suit a task.
- Abstract（参考訳）: ディープニューラルネットワークは、それぞれが比較的理解しやすい層別操作のシーケンスを実装するが、結果として得られる全体的な計算は一般に理解しにくい。
各層の役割は、目的の出力に対する「距離」を減らすために情報を再構成することである。
この「距離」という直感的な概念を、計量表現の類似性に関する最近の研究を利用して定式化し、幾何学的概念のリッチな空間をいかに導くかを示す。
このフレームワークにより、ディープニューラルネットワークによって実装された階層計算は、高次元の表現空間におけるパスと見なすことができる。
我々はこれらの幾何学を距離、角度、測地線で特徴づけるツールを開発した。
次に、cifar-10でトレーニングされた残差ネットワークの3組の質問を行う。(1)パスのストレート性、および各レイヤがターゲットに対してどのように貢献するか。
2) これらの特性はトレーニングでどのように現れるのか?
(3)より広いネットワークと深いネットワークの経路はどの程度似ていますか?
結論として,このような表現幾何学がネットワークトレーニングを理解し,解釈したり,タスクに適合するネットワークアーキテクチャを規範的に改善するために利用できる,という追加の方法をスケッチする。
関連論文リスト
- Half-Space Feature Learning in Neural Networks [2.3249139042158853]
現在、ニューラルネットワークの特徴学習には2つの極端な視点がある。
どちらの解釈も、新しい観点からは正しいとは考えにくい。
私たちはこの代替解釈を使って、Deep Linearly Gated Network (DLGN)と呼ばれるモデルを動かす。
論文 参考訳（メタデータ） (2024-04-05T12:03:19Z) - Task structure and nonlinearity jointly determine learned
representational geometry [0.0]
本稿では,Tanhネットワークが対象出力の構造を反映した表現を学習する傾向を示し,ReLUネットワークは生入力の構造についてより多くの情報を保持することを示した。
我々の研究結果は、入力出力幾何学、非線形性、ニューラルネットワークにおける学習表現との相互作用に光を当てた。
論文 参考訳（メタデータ） (2024-01-24T16:14:38Z) - Provable Guarantees for Nonlinear Feature Learning in Three-Layer Neural
Networks [49.808194368781095]
3層ニューラルネットワークは,2層ネットワークよりも特徴学習能力が豊富であることを示す。
この研究は、特徴学習体制における2層ネットワーク上の3層ニューラルネットワークの証明可能なメリットを理解するための前進である。
論文 参考訳（メタデータ） (2023-05-11T17:19:30Z) - GraphCSPN: Geometry-Aware Depth Completion via Dynamic GCNs [49.55919802779889]
本稿では,グラフ畳み込みに基づく空間伝搬ネットワーク(GraphCSPN)を提案する。
本研究では、幾何学的表現学習において、畳み込みニューラルネットワークとグラフニューラルネットワークを相補的に活用する。
提案手法は,数段の伝搬ステップのみを使用する場合と比較して,最先端の性能を実現する。
論文 参考訳（メタデータ） (2022-10-19T17:56:03Z) - Origami in N dimensions: How feed-forward networks manufacture linear
separability [1.7404865362620803]
フィードフォワードアーキテクチャは,非占有高次元におけるデータ多様体のプログレッシブフォールディング(プログレッシブフォールディング)という,分離性を達成するための主要なツールを手元に持っていることを示す。
せん断に基づく代替手法は、非常に深いアーキテクチャを必要とするが、現実のネットワークでは小さな役割しか果たさないと我々は主張する。
メカニスティックな洞察に基づいて、分離性の生成は必然的に、混合選択性およびバイモーダルチューニング曲線を示すニューロンを伴っていると予測する。
論文 参考訳（メタデータ） (2022-03-21T21:33:55Z) - Neural Network Layer Algebra: A Framework to Measure Capacity and
Compression in Deep Learning [0.0]
本稿では,(深度)ニューラルネットワークの内在特性を測定するための新しい枠組みを提案する。
畳み込みネットワークに重点を置いている間、我々のフレームワークはどんなネットワークアーキテクチャにも外挿できる。
論文 参考訳（メタデータ） (2021-07-02T13:43:53Z) - Solving hybrid machine learning tasks by traversing weight space
geodesics [6.09170287691728]
機械学習の問題は、ニューラルネットワークの重み空間を含む中心的な対象として固有の幾何学的構造を持つ。
本稿では,機械学習の目的を統一し,複数のクラスニューラルネットワークアーキテクチャに適用可能な幾何学的フレームワークを提案する。
論文 参考訳（メタデータ） (2021-06-05T04:37:03Z) - A neural anisotropic view of underspecification in deep learning [60.119023683371736]
ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。
深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
論文 参考訳（メタデータ） (2021-04-29T14:31:09Z) - Joint Learning of Neural Transfer and Architecture Adaptation for Image
Recognition [77.95361323613147]
現在の最先端の視覚認識システムは、大規模データセット上でニューラルネットワークを事前トレーニングし、より小さなデータセットでネットワーク重みを微調整することに依存している。
本稿では,各ドメインタスクに適応したネットワークアーキテクチャの動的適応と,効率と効率の両面で重みの微調整の利点を実証する。
本手法は,ソースドメインタスクでスーパーネットトレーニングを自己教師付き学習に置き換え,下流タスクで線形評価を行うことにより,教師なしパラダイムに容易に一般化することができる。
論文 参考訳（メタデータ） (2021-03-31T08:15:17Z) - Neural-Pull: Learning Signed Distance Functions from Point Clouds by
Learning to Pull Space onto Surfaces [68.12457459590921]
3次元点雲から連続曲面を再構成することは、3次元幾何処理の基本的な操作である。
textitNeural-Pullは、シンプルで高品質なSDFを実現する新しいアプローチです。
論文 参考訳（メタデータ） (2020-11-26T23:18:10Z) - Dynamic Graph: Learning Instance-aware Connectivity for Neural Networks [78.65792427542672]
動的グラフネットワーク(DG-Net)は完全な有向非巡回グラフであり、ノードは畳み込みブロックを表し、エッジは接続経路を表す。
ネットワークの同じパスを使用する代わりに、DG-Netは各ノードの機能を動的に集約する。
論文 参考訳（メタデータ） (2020-10-02T16:50:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。