Fugu-MT 論文翻訳(概要): Training Neural Networks for Modularity aids Interpretability

論文の概要: Training Neural Networks for Modularity aids Interpretability

arxiv url: http://arxiv.org/abs/2409.15747v1
Date: Tue, 24 Sep 2024 05:03:49 GMT
ステータス: 処理完了
システム内更新日: 2024-09-26 08:51:17.061568
Title: Training Neural Networks for Modularity aids Interpretability
Title（参考訳）: モジュラリティのためのニューラルネットワークのトレーニング
Authors: Satvik Golechha, Dylan Cope, Nandi Schoots,
Abstract要約: ネットワークの解釈可能性を改善するためのアプローチは、クラスタ可能性、すなわち独立して研究できる解離クラスタにモデルを分割することである。事前学習されたモデルは非常にクラスタ化できないため、非相互作用クラスタの形成を促進するエンメシュメントロス関数を用いてモデルをよりモジュラーに訓練する。
参考スコア（独自算出の注目度）: 0.6749750044497732
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: An approach to improve network interpretability is via clusterability, i.e., splitting a model into disjoint clusters that can be studied independently. We find pretrained models to be highly unclusterable and thus train models to be more modular using an ``enmeshment loss'' function that encourages the formation of non-interacting clusters. Using automated interpretability measures, we show that our method finds clusters that learn different, disjoint, and smaller circuits for CIFAR-10 labels. Our approach provides a promising direction for making neural networks easier to interpret.
Abstract（参考訳）: ネットワークの解釈可能性を改善するためのアプローチは、クラスタ可能性、すなわち独立して研究できる解離クラスタにモデルを分割することである。事前学習されたモデルは、非常にクラスタ化できないため、非相互作用クラスタの形成を促進する 'enmeshment loss'' 関数を使って、モデルをよりモジュール化するように訓練する。そこで本手法では,CIFAR-10ラベルの異なる,解離する,より小さな回路を学習するクラスタを探索する。私たちのアプローチは、ニューラルネットワークを解釈しやすくするための有望な方向を提供します。

関連論文リスト

Transferable Post-training via Inverse Value Learning [83.75002867411263]
別個のニューラルネットワーク(すなわち値ネットワーク)を用いた後学習におけるロジットレベルのモデリング変更を提案する。このネットワークをデモを使って小さなベースモデルでトレーニングした後、推論中に他のトレーニング済みモデルとシームレスに統合することができる。得られた値ネットワークは、パラメータサイズの異なる事前学習されたモデル間で広い転送性を有することを示す。
論文参考訳（メタデータ） (2024-10-28T13:48:43Z)
Harnessing Neural Unit Dynamics for Effective and Scalable Class-Incremental Learning [38.09011520275557]
クラスインクリメンタルラーニング(Class-incremental Learning, CIL)は、古いクラスを忘れずに、非定常データストリームから新しいクラスを学ぶためのモデルをトレーニングすることを目的としている。本稿では、ニューラルネットワークの動作をCILに適応させるニューラルネットワークユニットダイナミクスを調整し、新しい種類のコネクショナリストモデルを提案する。
論文参考訳（メタデータ） (2024-06-04T15:47:03Z)
Is it all a cluster game? -- Exploring Out-of-Distribution Detection based on Clustering in the Embedding Space [7.856998585396422]
新しい入力がトレーニング分布と大きく異なるタイミングを決定するためには、ディープニューラルネットワークの安全性クリティカルな応用が不可欠である。埋め込み空間におけるクラスタの構造と分離について検討し、教師付きコントラスト学習が十分に分離されたクラスタに繋がることを示す。異なるトレーニング方法、クラスタリング戦略、距離メトリクス、しきい値設定アプローチの分析において、明確な勝者は存在しない。
論文参考訳（メタデータ） (2022-03-16T11:22:23Z)
Self-Ensembling GAN for Cross-Domain Semantic Segmentation [107.27377745720243]
本稿では,セマンティックセグメンテーションのためのクロスドメインデータを利用した自己理解型生成逆数ネットワーク(SE-GAN)を提案する。 SE-GANでは、教師ネットワークと学生ネットワークは、意味分節マップを生成するための自己組織化モデルを構成する。その単純さにもかかわらず、SE-GANは敵の訓練性能を大幅に向上させ、モデルの安定性を高めることができる。
論文参考訳（メタデータ） (2021-12-15T09:50:25Z)
Deep Attention-guided Graph Clustering with Dual Self-supervision [49.040136530379094]
デュアル・セルフ・スーパービジョン(DAGC)を用いたディープアテンション誘導グラフクラスタリング法を提案する。我々は,三重項Kulback-Leibler分散損失を持つソフトな自己スーパービジョン戦略と,擬似的な監督損失を持つハードな自己スーパービジョン戦略からなる二重自己スーパービジョンソリューションを開発する。提案手法は6つのベンチマークデータセットにおける最先端の手法より一貫して優れている。
論文参考訳（メタデータ） (2021-11-10T06:53:03Z)
Meta-learning representations for clustering with infinite Gaussian mixture models [39.56814839510978]
クラスタリング性能を向上させるためにニューラルネットワークを訓練するメタラーニング手法を提案する。提案手法は,非ラベルデータとは異なるラベルデータを用いた知識メタ学習を用いて,未ラベルデータをクラスタ化することができる。
論文参考訳（メタデータ） (2021-03-01T02:05:31Z)
Local Critic Training for Model-Parallel Learning of Deep Neural Networks [94.69202357137452]
そこで我々は,局所的批判訓練と呼ばれる新しいモデル並列学習手法を提案する。提案手法は,畳み込みニューラルネットワーク(CNN)とリカレントニューラルネットワーク(RNN)の両方において,階層群の更新プロセスの分離に成功したことを示す。また,提案手法によりトレーニングされたネットワークを構造最適化に利用できることを示す。
論文参考訳（メタデータ） (2021-02-03T09:30:45Z)
MUSCLE: Strengthening Semi-Supervised Learning Via Concurrent Unsupervised Learning Using Mutual Information Maximization [29.368950377171995]
我々は、教師なし学習と半教師なし学習を併用するために、相互情報に基づく教師なし・半教師付き並行学習(MUSCLE)を導入する。 MUSCLEはニューラルネットワークのスタンドアロントレーニングスキームとして使用することができ、他の学習手法にも組み込むことができる。提案手法は,CIFAR-10,CIFAR-100,Mini-Imagenetなど,いくつかの標準ベンチマークにおいて,その性能に優れることを示す。
論文参考訳（メタデータ） (2020-11-30T23:01:04Z)
Distributed Training of Deep Learning Models: A Taxonomic Perspective [11.924058430461216]
分散ディープラーニングシステム(DDLS)は、クラスタの分散リソースを利用することで、ディープニューラルネットワークモデルをトレーニングする。私たちは、独立したマシンのクラスタでディープニューラルネットワークをトレーニングする際の、作業の基本原則に光を当てることを目指しています。
論文参考訳（メタデータ） (2020-07-08T08:56:58Z)
Rethinking Clustering for Robustness [56.14672993686335]
ClusTRは、ロバストモデルを学ぶためのクラスタリングベースの、対向のないトレーニングフレームワークである。 textitClusTRは、強いPGD攻撃の下で、敵に訓練されたネットワークを最大4%上回ります。
論文参考訳（メタデータ） (2020-06-13T16:55:51Z)
Model Fusion via Optimal Transport [64.13185244219353]
ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
論文参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。