論文の概要: Input Space Mode Connectivity in Deep Neural Networks
- arxiv url: http://arxiv.org/abs/2409.05800v1
- Date: Mon, 9 Sep 2024 17:03:43 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-10 13:46:22.180435
- Title: Input Space Mode Connectivity in Deep Neural Networks
- Title（参考訳）: 深部ニューラルネットワークにおける入力空間モード接続性
- Authors: Jakub Vrabel, Ori Shem-Ur, Yaron Oz, David Krueger,
- Abstract要約: 我々は、ロスランドスケープモード接続の概念をディープニューラルネットワークの入力空間に拡張する。
深層ネットワークの入力空間におけるその存在の理論的および実証的な証拠を示す。
我々は、モード接続を利用して、敵の例に関する新たな洞察を得るとともに、敵検出の可能性を示す。
- 参考スコア（独自算出の注目度）: 5.8470747480006695
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We extend the concept of loss landscape mode connectivity to the input space of deep neural networks. Mode connectivity was originally studied within parameter space, where it describes the existence of low-loss paths between different solutions (loss minimizers) obtained through gradient descent. We present theoretical and empirical evidence of its presence in the input space of deep networks, thereby highlighting the broader nature of the phenomenon. We observe that different input images with similar predictions are generally connected, and for trained models, the path tends to be simple, with only a small deviation from being a linear path. Our methodology utilizes real, interpolated, and synthetic inputs created using the input optimization technique for feature visualization. We conjecture that input space mode connectivity in high-dimensional spaces is a geometric effect that takes place even in untrained models and can be explained through percolation theory. We exploit mode connectivity to obtain new insights about adversarial examples and demonstrate its potential for adversarial detection. Additionally, we discuss applications for the interpretability of deep networks.
- Abstract（参考訳）: 我々は、ロスランドスケープモード接続の概念をディープニューラルネットワークの入力空間に拡張する。
モード接続はもともとパラメータ空間内で研究され、勾配降下によって得られる様々な解(損失最小化器)の間に低損失経路が存在することを記述した。
深層ネットワークの入力空間にその存在を示す理論的および実証的な証拠を提示し,その現象の広範な性質を明らかにする。
類似した予測を持つ異なる入力画像が一般に接続されていることを観察し、訓練されたモデルでは、経路は単純で、線形経路からの偏差はわずかである。
提案手法は,特徴可視化のための入力最適化手法を用いて生成した実・補間・合成入力を利用する。
高次元空間における入力空間モード接続は、訓練されていないモデルでも起こる幾何学的効果であり、パーコレーション理論によって説明できると推測する。
我々は、モード接続を利用して、敵の例に関する新たな洞察を得るとともに、敵検出の可能性を示す。
さらに,ディープネットワークの解釈可能性に関する応用について論じる。
関連論文リスト
- Landscaping Linear Mode Connectivity [76.39694196535996]
線形モード接続(LMC)は理論と実用の両方の観点から関心を集めている。
ロスランドスケープがLCCに対して地形的にどのように振る舞う必要があるかのモデルを提供することで、その理解に向けて一歩前進する。
論文 参考訳（メタデータ） (2024-06-24T03:53:30Z) - Exploring Neural Network Landscapes: Star-Shaped and Geodesic Connectivity [4.516746821973374]
2つの典型的な大域的ミニマに対して、バリアなしでそれらを繋ぐ経路が存在することを示す。
有限個の典型的なミニマに対して、すべてのミニマ多様体を同時に接続するミニマ多様体の中心が存在する。
その結果,教師-学生構成下での線形ネットワークと2層ReLUネットワークに有効であることが確認できた。
論文 参考訳（メタデータ） (2024-04-09T15:35:02Z) - Geodesic Mode Connectivity [4.096453902709292]
モード接続は、訓練されたモデルが低損失の経路で接続される現象である。
測地線を近似するアルゴリズムを提案し,モード接続性を実現することを示す。
論文 参考訳（メタデータ） (2023-08-24T09:18:43Z) - Quiver neural networks [5.076419064097734]
ニューラルネットワーク接続アーキテクチャの解析に対する一様理論的アプローチを開発する。
数学におけるquiver表現理論にインスパイアされたこのアプローチは、精巧なデータフローを捉えるためのコンパクトな方法を与える。
論文 参考訳（メタデータ） (2022-07-26T09:42:45Z) - Deep Architecture Connectivity Matters for Its Convergence: A
Fine-Grained Analysis [94.64007376939735]
我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。
接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
論文 参考訳（メタデータ） (2022-05-11T17:43:54Z) - FuNNscope: Visual microscope for interactively exploring the loss
landscape of fully connected neural networks [77.34726150561087]
ニューラルネットワークの高次元景観特性を探索する方法を示す。
我々は、小さなニューラルネットワークの観測結果をより複雑なシステムに一般化する。
インタラクティブダッシュボードは、いくつかのアプリケーションネットワークを開放する。
論文 参考訳（メタデータ） (2022-04-09T16:41:53Z) - Deep Networks on Toroids: Removing Symmetries Reveals the Structure of
Flat Regions in the Landscape Geometry [3.712728573432119]
我々は、すべての対称性を除去し、トロイダルトポロジーをもたらす標準化されたパラメータ化を開発する。
最小化器の平坦性とそれらの接続する測地線経路の有意義な概念を導出する。
また、勾配勾配の変種によって発見された最小化器は、ゼロエラー経路と1つの曲がり角で接続可能であることも見いだした。
論文 参考訳（メタデータ） (2022-02-07T09:57:54Z) - Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。
接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。
この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文 参考訳（メタデータ） (2020-08-19T04:53:31Z) - Bridging Mode Connectivity in Loss Landscapes and Adversarial Robustness [97.67477497115163]
我々は、モード接続を用いて、ディープニューラルネットワークの対角的堅牢性を研究する。
実験では、異なるネットワークアーキテクチャやデータセットに適用される様々な種類の敵攻撃について取り上げる。
以上の結果から,モード接続は,敵の強靭性を評価・改善するための総合的なツールであり,実用的な手段であることが示唆された。
論文 参考訳（メタデータ） (2020-04-30T19:12:50Z) - Neural Operator: Graph Kernel Network for Partial Differential Equations [57.90284928158383]
この作業はニューラルネットワークを一般化し、無限次元空間(演算子)間の写像を学習できるようにすることである。
非線形活性化関数と積分作用素のクラスを構成することにより、無限次元写像の近似を定式化する。
実験により,提案したグラフカーネルネットワークには所望の特性があり,最先端技術と比較した場合の競合性能を示すことが確認された。
論文 参考訳（メタデータ） (2020-03-07T01:56:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。