Fugu-MT 論文翻訳(概要): Neural Networks Use Distance Metrics

論文の概要: Neural Networks Use Distance Metrics

arxiv url: http://arxiv.org/abs/2411.17932v1
Date: Tue, 26 Nov 2024 23:04:56 GMT
ステータス: 翻訳完了
システム内更新日: 2024-11-28 15:28:50.381904
Title: Neural Networks Use Distance Metrics
Title（参考訳）: 距離メトリックを用いたニューラルネットワーク
Authors: Alan Oursland,
Abstract要約: 本稿では、ReLUとAbsolute Valueを活性化したニューラルネットワークが距離に基づく表現を学習する経験的証拠を示す。我々は、訓練されたモデルにおける内部アクティベーションの距離と強度の両特性を独立に操作し、両方のアーキテクチャが小さな距離に基づく摂動に非常に敏感であることを発見した。
参考スコア（独自算出の注目度）: 0.0
License:
Abstract: We present empirical evidence that neural networks with ReLU and Absolute Value activations learn distance-based representations. We independently manipulate both distance and intensity properties of internal activations in trained models, finding that both architectures are highly sensitive to small distance-based perturbations while maintaining robust performance under large intensity-based perturbations. These findings challenge the prevailing intensity-based interpretation of neural network activations and offer new insights into their learning and decision-making processes.
Abstract（参考訳）: 本稿では、ReLUとAbsolute Valueを活性化したニューラルネットワークが距離に基づく表現を学習する経験的証拠を示す。訓練されたモデルにおける内部アクティベーションの距離と強度の両特性を独立に操作し、両アーキテクチャが大きな強度ベースの摂動下で頑健な性能を維持しながら、小さな距離ベースの摂動に非常に敏感であることを示した。これらの発見は、ニューラルネットワークのアクティベーションの強度に基づく解釈に挑戦し、学習と意思決定プロセスに対する新たな洞察を提供する。

関連論文リスト

Neural Networks Learn Distance Metrics [0.0]
この研究は、ニューラルネットワーク設計における距離ベースの学習を考えることの重要性を強調している。距離や強度の表現の学習に制約のある6つのMNISTアーキテクチャ変種を用いて実験を行う。
論文参考訳（メタデータ） (2025-02-04T08:35:57Z)
Discovering Chunks in Neural Embeddings for Interpretability [53.80157905839065]
本稿では, チャンキングの原理を応用して, 人工神経集団活動の解釈を提案する。まず、この概念を正則性を持つ人工シーケンスを訓練したリカレントニューラルネットワーク(RNN)で実証する。我々は、これらの状態に対する摂動が関連する概念を活性化または阻害すると共に、入力における概念に対応する同様の繰り返し埋め込み状態を特定する。
論文参考訳（メタデータ） (2025-02-03T20:30:46Z)
Interpreting Neural Networks through Mahalanobis Distance [0.0]
本稿では,ニューラルネットワークの線形層とマハラノビス距離を結合する理論的枠組みを提案する。この研究は理論的であり、経験的データを含んでいないが、提案された距離に基づく解釈は、モデルロバスト性を高め、一般化を改善し、ニューラルネットワークの決定をより直観的な説明を提供する可能性がある。
論文参考訳（メタデータ） (2024-10-25T07:21:44Z)
Beyond Pruning Criteria: The Dominant Role of Fine-Tuning and Adaptive Ratios in Neural Network Robustness [7.742297876120561]
ディープニューラルネットワーク(DNN)は、画像認識や自然言語処理といったタスクに優れています。従来のプルーニング手法は、微妙な摂動に耐えるネットワークの能力を損なう。本稿では,プライドネットワークの性能決定要因として,従来の重み付け重み付けの重視に挑戦する。
論文参考訳（メタデータ） (2024-10-19T18:35:52Z)
Towards Evaluating the Robustness of Visual State Space Models [63.14954591606638]
視覚状態空間モデル(VSSM)は視覚知覚タスクにおいて顕著な性能を示した。しかし、自然と敵対的な摂動の下での頑丈さは依然として重要な懸念事項である。様々な摂動シナリオ下でのVSSMの頑健さを総合的に評価する。
論文参考訳（メタデータ） (2024-06-13T17:59:44Z)
Seeking Next Layer Neurons' Attention for Error-Backpropagation-Like Training in a Multi-Agent Network Framework [6.446189857311325]
本研究は, ニューロンの局所的な目的として, エラーのバックプロパゲーションと類似性を示すことを提案する。本研究では,局所的な目的を最大化するために,自律神経系と自律神経系を組み合わせたニューラルネットワークについて検討する。 3つのデータセットの実験を通して、これらのマルチエージェントニューラルネットワークの学習能力を実証する。
論文参考訳（メタデータ） (2023-10-15T21:07:09Z)
Critical Learning Periods for Multisensory Integration in Deep Networks [112.40005682521638]
ニューラルネットワークが様々な情報源からの情報を統合する能力は、トレーニングの初期段階において、適切な相関した信号に晒されることに批判的になることを示す。臨界周期は、訓練されたシステムとその学習された表現の最終性能を決定づける、複雑で不安定な初期過渡的ダイナミクスから生じることを示す。
論文参考訳（メタデータ） (2022-10-06T23:50:38Z)
Spiking Neural Networks for Frame-based and Event-based Single Object Localization [26.51843464087218]
スパイクニューラルネットワークは、人工ニューラルネットワークに代わるエネルギー効率の高い代替手段として、多くの可能性を示してきた。代用勾配降下法を用いて学習した単一物体の局所化に対するスパイクニューラルネットワークアプローチを提案する。提案手法を類似の人工知能ニューラルネットワークと比較した結果, 精度, 各種汚損対策, エネルギー消費量の低減が得られた。
論文参考訳（メタデータ） (2022-06-13T22:22:32Z)
Minimizing Control for Credit Assignment with Strong Feedback [65.59995261310529]
ディープニューラルネットワークにおける勾配に基づくクレジット割り当ての現在の手法は、無限小のフィードバック信号を必要とする。我々は、神経活動に対する強いフィードバックと勾配に基づく学習を組み合わせることで、ニューラルネットワークの最適化に関する新たな視点を自然に導き出すことを示す。 DFCにおける強いフィードバックを用いることで、空間と時間において完全に局所的な学習規則を用いることで、前向きとフィードバックの接続を同時に学習できることを示す。
論文参考訳（メタデータ） (2022-04-14T22:06:21Z)
Causal Navigation by Continuous-time Neural Networks [108.84958284162857]
本研究では,連続時間ニューラルネットワークを用いた因果表現学習のための理論的,実験的枠組みを提案する。本手法は,ドローンの視覚制御学習の文脈において,一連の複雑なタスクにおいて評価する。
論文参考訳（メタデータ） (2021-06-15T17:45:32Z)
Learning Contact Dynamics using Physically Structured Neural Networks [81.73947303886753]
ディープニューラルネットワークと微分方程式の接続を用いて、オブジェクト間の接触ダイナミクスを表現するディープネットワークアーキテクチャのファミリを設計する。これらのネットワークは,ノイズ観測から不連続な接触事象をデータ効率良く学習できることを示す。以上の結果から,タッチフィードバックの理想化形態は,この学習課題を扱いやすくするための重要な要素であることが示唆された。
論文参考訳（メタデータ） (2021-02-22T17:33:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。