論文の概要: Clusterability in Neural Networks

• arxiv url: http://arxiv.org/abs/2103.03386v1
• Date: Thu, 4 Mar 2021 23:53:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-09 02:10:47.127154
• Title: Clusterability in Neural Networks
• Title（参考訳）: ニューラルネットワークにおけるクラスタ性
• Authors: Daniel Filan, Stephen Casper, Shlomi Hod, Cody Wild, Andrew Critch, Stuart Russell
• Abstract要約: トレーニングされたニューラルネットワークは、通常、ランダムなネットワークよりもクラスタリング可能であり、しばしば、同じ重みの分布を持つランダムなネットワークに対してクラスタリング可能である。 また、ニューラルネットワークトレーニングにおけるクラスタビリティを促進する新しい手法を示し、マルチ層パーセプトロンでは、精度をほとんど低下させることなく、よりクラスタブルなネットワークにつながることを発見した。
• 参考スコア（独自算出の注目度）: 9.190168301432811
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The learned weights of a neural network have often been considered devoid of scrutable internal structure. In this paper, however, we look for structure in the form of clusterability: how well a network can be divided into groups of neurons with strong internal connectivity but weak external connectivity. We find that a trained neural network is typically more clusterable than randomly initialized networks, and often clusterable relative to random networks with the same distribution of weights. We also exhibit novel methods to promote clusterability in neural network training, and find that in multi-layer perceptrons they lead to more clusterable networks with little reduction in accuracy. Understanding and controlling the clusterability of neural networks will hopefully render their inner workings more interpretable to engineers by facilitating partitioning into meaningful clusters.
• Abstract（参考訳）: ニューラルネットワークの学習重量は、しばしば精査可能な内部構造を持たないと考えられている。 本稿では,ネットワークを内部接続性が高く,外部接続性が弱いニューロン群に分割可能かという,クラスタ性という形での構造を考察する。 トレーニングされたニューラルネットワークは、通常ランダムに初期化されたネットワークよりもクラスタリング可能であり、しばしば同じ重みの分布を持つランダムネットワークに対してクラスタリング可能である。 また,ニューラルネットワークの学習においてクラスタ性を促進する新しい手法を示し,多層パーセプトロンでは,精度を低下させることなく,よりクラスタ性の高いネットワークを実現する。 ニューラルネットワークのクラスタビリティを理解して制御することで、意味のあるクラスタへのパーティショニングを容易にすることで、内部処理をよりエンジニアに解釈可能にすることが期待できる。

関連論文リスト

• Coding schemes in neural networks learning classification tasks [52.22978725954347]
  完全接続型広義ニューラルネットワーク学習タスクについて検討する。 ネットワークが強力なデータ依存機能を取得することを示す。 驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
  論文  参考訳（メタデータ） (2024-06-24T14:50:05Z)
• Taming Binarized Neural Networks and Mixed-Integer Programs [2.7624021966289596]
  バイナライズされたニューラルネットワークはテーム表現を許容することを示す。 これにより、Bolte et al. のフレームワークを暗黙の微分に使用できる。 このアプローチは、より広範な混合整数プログラムのクラスにも使用することができる。
  論文  参考訳（メタデータ） (2023-10-05T21:04:16Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Connected Hidden Neurons (CHNNet): An Artificial Neural Network for Rapid Convergence [0.6218519716921521]
  我々は,同じ隠蔽層に隠されたニューロンが相互に相互に結合し,急速に収束する,より堅牢な人工知能ニューラルネットワークモデルを提案する。 深層ネットワークにおける提案モデルの実験研究により,従来のフィードフォワードニューラルネットワークと比較して,モデルが顕著に収束率を上昇させることを示した。
  論文  参考訳（メタデータ） (2023-05-17T14:00:38Z)
• Rank Diminishing in Deep Neural Networks [71.03777954670323]
  ニューラルネットワークのランクは、層をまたがる情報を測定する。 これは機械学習の幅広い領域にまたがる重要な構造条件の例である。 しかし、ニューラルネットワークでは、低ランク構造を生み出す固有のメカニズムはあいまいで不明瞭である。
  論文  参考訳（メタデータ） (2022-06-13T12:03:32Z)
• Building Compact and Robust Deep Neural Networks with Toeplitz Matrices [93.05076144491146]
  この論文は、コンパクトで、訓練が容易で、信頼性があり、敵の例に対して堅牢なニューラルネットワークを訓練する問題に焦点を当てている。 Toeplitzファミリーの構造化行列の特性を利用して、コンパクトでセキュアなニューラルネットワークを構築する。
  論文  参考訳（メタデータ） (2021-09-02T13:58:12Z)
• Provably Training Neural Network Classifiers under Fairness Constraints [70.64045590577318]
  過パラメータのニューラルネットワークが制約を満たしていることを示す。 公平なニューラルネットワーク分類器を構築する上で重要な要素は、ニューラルネットワークの非応答解析を確立することである。
  論文  参考訳（メタデータ） (2020-12-30T18:46:50Z)
• Finding trainable sparse networks through Neural Tangent Transfer [16.092248433189816]
  深層学習において、特定のタスクでうまく機能する訓練可能なスパースネットワークは通常、ラベル依存プルーニング基準を用いて構築される。 本稿では,学習可能なスパースネットワークをラベルフリーで検出する手法であるNeural Tangent Transferを紹介する。
  論文  参考訳（メタデータ） (2020-06-15T08:58:01Z)
• On Hiding Neural Networks Inside Neural Networks [30.20287788363144]
  この過剰な能力は、トレーニングされたニューラルネットワークに秘密の機械学習モデルを組み込む機会を提供する。 我々の新しいフレームワークは、キャリアネットワーク内で任意の所望の機能を持つ秘密のニューラルネットワークの存在を隠蔽する。
  論文  参考訳（メタデータ） (2020-02-24T05:18:29Z)
• ResiliNet: Failure-Resilient Inference in Distributed Neural Networks [56.255913459850674]
  ResiliNetは、分散ニューラルネットワークにおいて物理ノード障害に耐性を持たせるためのスキームである。 Failoutは、ドロップアウトを使用したトレーニング中の物理ノード障害条件をシミュレートし、分散ニューラルネットワークのレジリエンスを改善するように設計されている。
  論文  参考訳（メタデータ） (2020-02-18T05:58:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。