論文の概要: Metric as Transform: Exploring beyond Affine Transform for Interpretable Neural Network

• arxiv url: http://arxiv.org/abs/2410.16159v1
• Date: Mon, 21 Oct 2024 16:22:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:22:35.736676
• Title: Metric as Transform: Exploring beyond Affine Transform for Interpretable Neural Network
• Title（参考訳）: Metric as Transform: 解釈可能なニューラルネットワークのためのアフィン変換を超えた探索
• Authors: Suman Sapkota,
• Abstract要約: ユークリッド距離の局所的影響に比べ,大域的影響の少ない点積ニューロンが発見されている。 我々は,解釈可能なローカル辞書に基づくニューラルネットワークを開発し,それを用いて敵の例を理解し,否定する。
• 参考スコア（独自算出の注目度）: 2.7195102129095003
• License:
• Abstract: Artificial Neural Networks of varying architectures are generally paired with affine transformation at the core. However, we find dot product neurons with global influence less interpretable as compared to local influence of euclidean distance (as used in Radial Basis Function Network). In this work, we explore the generalization of dot product neurons to $l^p$-norm, metrics, and beyond. We find that metrics as transform performs similarly to affine transform when used in MultiLayer Perceptron or Convolutional Neural Network. Moreover, we explore various properties of Metrics, compare it with Affine, and present multiple cases where metrics seem to provide better interpretability. We develop an interpretable local dictionary based Neural Networks and use it to understand and reject adversarial examples.
• Abstract（参考訳）: 様々なアーキテクチャの人工ニューラルネットワークは、一般的にコアにおけるアフィン変換とペアリングされる。 しかし,大域的な影響を持つ点生成ニューロンはユークリッド距離の局所的影響と比較して解釈が難しい(放射基底関数ネットワークで用いられる)。 本研究では,点生成ニューロンを$l^p$-norm, Metrics,その他への一般化について検討する。 コンボリューショナルニューラルネットワークやMultiLayer Perceptronでは,アフィン変換と同じような効果が得られた。 さらに、メトリクスの様々な特性を探求し、それをAffineと比較し、メトリクスがより良い解釈可能性を提供するように見えるケースを複数提示する。 我々は,解釈可能なローカル辞書に基づくニューラルネットワークを開発し,それを用いて敵の例を理解し,否定する。

関連論文リスト

• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Going Beyond Neural Network Feature Similarity: The Network Feature Complexity and Its Interpretation Using Category Theory [64.06519549649495]
  機能的に等価な機能と呼ぶものの定義を提供します。 これらの特徴は特定の変換の下で等価な出力を生成する。 反復的特徴マージ(Iterative Feature Merging)というアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-10T16:27:12Z)
• Permutation Equivariant Neural Functionals [92.0667671999604]
  この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。 隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。 実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
  論文  参考訳（メタデータ） (2023-02-27T18:52:38Z)
• Equivariance with Learned Canonicalization Functions [77.32483958400282]
  正規化を行うために小さなニューラルネットワークを学習することは、事前定義を使用することよりも優れていることを示す。 実験の結果,正準化関数の学習は多くのタスクで同変関数を学習する既存の手法と競合することがわかった。
  論文  参考訳（メタデータ） (2022-11-11T21:58:15Z)
• Similarity and Matching of Neural Network Representations [0.0]
  我々は、深層ニューラルネットワークにおける表現の類似性を分析するために、Frankenstein博士と呼ばれるツールセットを使用します。 我々は、2つのトレーニングニューラルネットワークの与えられた層上でのアクティベーションを、縫合層で結合することで一致させることを目指している。
  論文  参考訳（メタデータ） (2021-10-27T17:59:46Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• Convolutional Neural Networks Are Not Invariant to Translation, but They Can Learn to Be [0.76146285961466]
  新しい物体を見るとき、人間はすぐに異なる網膜の場所をまたいで認識することができる。 畳み込みニューラルネットワーク(CNN)は、アーキテクチャ的に翻訳に不変であると一般的に信じられている。 適切な潜伏特性を持つ環境下でネットワークを事前学習することで,ネットワークが深い知覚規則を学習できることを示す。
  論文  参考訳（メタデータ） (2021-10-12T09:51:07Z)
• Dive into Layers: Neural Network Capacity Bounding using Algebraic Geometry [55.57953219617467]
  ニューラルネットワークの学習性はそのサイズと直接関連していることを示す。 入力データとニューラルネットワークのトポロジ的幾何学的複雑さを測定するためにベッチ数を用いる。 実世界のデータセットMNISTで実験を行い、分析結果と結論を検証した。
  論文  参考訳（メタデータ） (2021-09-03T11:45:51Z)
• Learning Translation Invariance in CNNs [1.52292571922932]
  CNNが翻訳に'アーキテクチャ的に不変'ではないとしても、実際に'学習'は翻訳に不変であることを示す。 本研究では,この事前学習が内部ネットワーク表現に与える影響について検討した。 これらの実験は、適切な「遅延」特性を持つ環境でネットワークを事前学習することで、ネットワークが深い知覚規則を学習できることを示す。
  論文  参考訳（メタデータ） (2020-11-06T09:39:27Z)
• Transformations between deep neural networks [0.0]
  我々は、2つの異なる人工ニューラルネットワークの等価性を検証し、可能であれば確立することを提案する。 まず、2つのネットワークの出力のみ間の変換関数について議論する。 次に、各ネットワークから複数の内部ニューロンの出力(活性化)を考慮に入れた変換を検討する。
  論文  参考訳（メタデータ） (2020-07-10T23:32:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。