論文の概要: Analysis of functional neural codes of deep learning models: Functional Telescope Hypothesis

• arxiv url: http://arxiv.org/abs/2205.10952v3
• Date: Sun, 26 Nov 2023 03:02:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-30 17:53:16.674843
• Title: Analysis of functional neural codes of deep learning models: Functional Telescope Hypothesis
• Title（参考訳）: 深層学習モデルの関数型ニューラルネットワークの解析:関数型望遠鏡仮説
• Authors: Jung Hoon Lee and Sujith Vijayan
• Abstract要約: 自己組織化マップ(SOM)を用いて、ディープラーニングモデルの意思決定に関連する内部コードを分析する。 解析の結果, 入力層近傍の浅層は圧縮された空間に圧縮され, 出力層近傍の深層は特徴空間を拡大することが示唆された。 また、圧縮された特徴がDNNの脆弱性を敵の摂動に負わせる可能性があることを示す証拠も発見された。
• 参考スコア（独自算出の注目度）: 2.045460181566931
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep neural networks (DNNs), the agents of deep learning (DL), require a massive number of parallel/sequential operations. This makes it difficult to comprehend DNNs' operations and impedes proper diagnosis. Without better knowledge of their internal process, deploying DNNs in high-stakes domains can lead to catastrophic failures. Therefore, to build more reliable DNNs/DL to be deployed in high-stakes real-world problems, it is imperative that we gain insights into DNNs' internal operations underlying their decision-making. Here, we use the self-organizing map (SOM) to analyze DL models' internal codes associated with DNNs' decision-making. Our analyses suggest that shallow layers close to the input layer compress features into condensed space and that deep layers close to the output layer expand feature space. We also found evidence indicating that compressed features may underlie DNNs' vulnerabilities to adversarial perturbations.
• Abstract（参考訳）: ディープラーニング(DL)エージェントであるディープニューラルネットワーク(DNN)は、大量の並列/シーケンス操作を必要とする。 これにより、DNNの動作を理解することが難しく、適切な診断を妨げる。 内部プロセスに関するより詳しい知識がなければ、DNNを高い領域にデプロイすることは破滅的な失敗につながる可能性がある。 したがって、より信頼性の高いDNN/DLを現実世界の高精細な問題に展開するためには、DNNの内部動作に関する洞察を得ることが不可欠である。 本稿では、DNNの意思決定に関連するDLモデルの内部コードの解析に自己組織化マップ(SOM)を用いる。 分析の結果,入力層近傍の浅層は特徴を凝縮空間に圧縮し,出力層近傍の深層は特徴空間を広げることが示唆された。 また, 圧縮された特徴がDNNの障害を負う可能性を示唆する証拠も発見された。

関連論文リスト

• Searching for internal symbols underlying deep learning [0.36832029288386137]
  ディープラーニング(DL)は、ディープニューラルネットワーク(DNN)が、指示や指針なしに、与えられた例から複雑なタスクやルールを自動的に学習することを可能にする。 1つの研究は、DNNが概念を学習し、高いレベルの特徴が人間に認識できることを示唆している。 基礎セグメンテーションモデルと教師なし学習を組み合わせて、内部コードを抽出し、抽象コードの可能性を特定し、DLの決定をより信頼性と安全性を高める。
  論文  参考訳（メタデータ） (2024-05-31T03:39:26Z)
• Fully Spiking Actor Network with Intra-layer Connections for Reinforcement Learning [51.386945803485084]
  エージェントが制御する多次元決定論的ポリシーを学習する必要があるタスクに焦点をあてる。 既存のスパイクベースのRL法は、SNNの出力として発火率を取り、完全に接続された層を通して連続的なアクション空間(つまり決定論的なポリシー)を表すように変換する。 浮動小数点行列操作を伴わない完全にスパイクするアクターネットワークを開発するため,昆虫に見られる非スパイク介在ニューロンからインスピレーションを得た。
  論文  参考訳（メタデータ） (2024-01-09T07:31:34Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Black-box Safety Analysis and Retraining of DNNs based on Feature Extraction and Clustering [0.9590956574213348]
  DNNエラーの根本原因を自動的に識別するブラックボックスアプローチであるSAFEを提案する。 これは、ImageNetで事前訓練された転送学習モデルを使用して、エラー誘発画像から特徴を抽出する。 次に、密度に基づくクラスタリングアルゴリズムを適用し、誤りのもっともらしい原因をモデル化した画像の任意の形状のクラスタを検出する。
  論文  参考訳（メタデータ） (2022-01-13T17:02:57Z)
• Exploring Architectural Ingredients of Adversarially Robust Deep Neural Networks [98.21130211336964]
  ディープニューラルネットワーク(DNN)は敵の攻撃に弱いことが知られている。 本稿では,ネットワーク幅と深さがDNNの強靭性に及ぼす影響について検討する。
  論文  参考訳（メタデータ） (2021-10-07T23:13:33Z)
• Topological Measurement of Deep Neural Networks Using Persistent Homology [0.7919213739992464]
  ディープニューラルネットワーク(DNN)の内部表現は解読不能である。 持続的ホモロジー(PH)は、訓練されたDNNの複雑さを調べるために用いられた。
  論文  参考訳（メタデータ） (2021-06-06T03:06:15Z)
• Online Limited Memory Neural-Linear Bandits with Likelihood Matching [53.18698496031658]
  本研究では,探索学習と表現学習の両方が重要な役割を果たす課題を解決するために,ニューラルネットワークの帯域について検討する。 破滅的な忘れ込みに対して耐性があり、完全にオンラインである可能性の高いマッチングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-07T14:19:07Z)
• Examining the causal structures of deep neural networks using information theory [0.0]
  ディープニューラルネットワーク(DNN)は、ノードとデータセット間の相互情報を解析するなど、入力に対する応答のレベルでしばしば検討される。 DNNは因果関係のレベルで調べて、ネットワーク自体のレイヤ内で"何をするのか"を探ることもできる。 本稿では,学習中のDNNの因果構造の変化を定量化し,追跡するための情報理論に基づくメトリクススイートを紹介する。
  論文  参考訳（メタデータ） (2020-10-26T19:53:16Z)
• Boosting Deep Neural Networks with Geometrical Prior Knowledge: A Survey [77.99182201815763]
  ディープニューラルネットワーク(DNN)は多くの異なる問題設定において最先端の結果を達成する。 DNNはしばしばブラックボックスシステムとして扱われ、評価と検証が複雑になる。 コンピュータビジョンタスクにおける畳み込みニューラルネットワーク(CNN)の成功に触発された、有望な分野のひとつは、対称幾何学的変換に関する知識を取り入れることである。
  論文  参考訳（メタデータ） (2020-06-30T14:56:05Z)
• CodNN -- Robust Neural Networks From Coded Classification [27.38642191854458]
  ディープニューラルネットワーク(Deep Neural Networks、DNN)は、現在進行中の情報革命における革命的な力である。 DNNは、敵対的であろうとランダムであろうと、ノイズに非常に敏感である。 これは、DNNのハードウェア実装と、自律運転のような重要なアプリケーションへの展開において、根本的な課題となる。 提案手法により,DNNのデータ層あるいは内部層は誤り訂正符号で符号化され,ノイズ下での計算が成功することが保証される。
  論文  参考訳（メタデータ） (2020-04-22T17:07:15Z)
• Architecture Disentanglement for Deep Neural Networks [174.16176919145377]
  ディープニューラルネットワーク(DNN)の内部動作を説明するために,ニューラルアーキテクチャ・ディコンタングルメント(NAD)を導入する。 NADは、訓練済みのDNNを独立したタスクに従ってサブアーキテクチャに切り離すことを学び、推論プロセスを記述する情報フローを形成する。 その結果、誤分類された画像は、タスクサブアーキテクチャーに正しいサブアーキテクチャーに割り当てられる確率が高いことが示された。
  論文  参考訳（メタデータ） (2020-03-30T08:34:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。