論文の概要: Gradient Routing: Masking Gradients to Localize Computation in Neural Networks

• arxiv url: http://arxiv.org/abs/2410.04332v1
• Date: Sun, 6 Oct 2024 02:43:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-02 08:30:03.517736
• Title: Gradient Routing: Masking Gradients to Localize Computation in Neural Networks
• Title（参考訳）: グラディエントルーティング:ニューラルネットワークにおける計算のローカライズのためのマスキンググラディエント
• Authors: Alex Cloud, Jacob Goldman-Wetzler, Evžen Wybitul, Joseph Miller, Alexander Matt Turner,
• Abstract要約: ニューラルネットワークの特定の部分領域に機能を分離する訓練手法である勾配ルーティングを導入する。 解析可能な方法で分割された表現を学習するために、勾配ルーティングが利用できることを示す。 私たちは、高品質なデータが不足している、挑戦的な現実世界のアプリケーションに対して、このアプローチが約束されていると結論付けます。
• 参考スコア（独自算出の注目度）: 43.0686937643683
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural networks are trained primarily based on their inputs and outputs, without regard for their internal mechanisms. These neglected mechanisms determine properties that are critical for safety, like (i) transparency; (ii) the absence of sensitive information or harmful capabilities; and (iii) reliable generalization of goals beyond the training distribution. To address this shortcoming, we introduce gradient routing, a training method that isolates capabilities to specific subregions of a neural network. Gradient routing applies data-dependent, weighted masks to gradients during backpropagation. These masks are supplied by the user in order to configure which parameters are updated by which data points. We show that gradient routing can be used to (1) learn representations which are partitioned in an interpretable way; (2) enable robust unlearning via ablation of a pre-specified network subregion; and (3) achieve scalable oversight of a reinforcement learner by localizing modules responsible for different behaviors. Throughout, we find that gradient routing localizes capabilities even when applied to a limited, ad-hoc subset of the data. We conclude that the approach holds promise for challenging, real-world applications where quality data are scarce.
• Abstract（参考訳）: ニューラルネットワークは、内部メカニズムに関係なく、主に入力と出力に基づいて訓練される。 これらの無視されたメカニズムは、安全に重要な特性を決定づける。 透明性; 透明性; 透明性 二 機密情報又は有害な能力の欠如 三 訓練分布を超えた目標の信頼性の高い一般化。 この欠点に対処するために、ニューラルネットワークの特定の部分領域に機能を分離する訓練手法である勾配ルーティングを導入する。 勾配ルーティングは、バックプロパゲーション中の勾配にデータ依存の重み付きマスクを適用する。 これらのマスクは、どのパラメータがどのデータポイントによって更新されるかを設定するために、ユーザによって提供される。 本研究では,(1)解釈可能な方法で分割された表現の学習,(2)事前指定したネットワークサブリージョンのアブレーションによる堅牢なアンラーニングの実現,(3)異なる動作に責任を持つモジュールをローカライズすることで,強化学習者のスケーラブルな監視を実現すること,を示す。 全体として、勾配ルーティングは、制限されたアドホックなデータサブセットに適用しても、機能をローカライズする。 私たちは、高品質なデータが不足している、挑戦的な現実世界のアプリケーションに対して、このアプローチが約束されていると結論付けます。

関連論文リスト

• Neural Network Pruning by Gradient Descent [7.427858344638741]
  我々は,Gumbel-Softmaxテクニックを取り入れた,新しい,かつ簡単なニューラルネットワークプルーニングフレームワークを提案する。 ネットワークパラメータの0.15%しか持たないMNISTデータセット上で、高い精度を維持しながら、例外的な圧縮能力を実証する。 我々は,ディープラーニングプルーニングと解釈可能な機械学習システム構築のための,有望な新たな道を開くと信じている。
  論文  参考訳（メタデータ） (2023-11-21T11:12:03Z)
• A General Framework for Interpretable Neural Learning based on Local Information-Theoretic Goal Functions [1.5236380958983644]
  我々は、教師なし、教師なし、メモリ学習のタスクを実行するために、'不定型'ニューラルネットワークを導入する。 PIDフレームワークの解釈可能な性質を活用することで、インフォモーフィックネットワークは、局所学習の複雑な構造を理解するための貴重なツールとなる。
  論文  参考訳（メタデータ） (2023-06-03T16:34:25Z)
• Inducing Gaussian Process Networks [80.40892394020797]
  本稿では,特徴空間と誘導点を同時に学習するシンプルなフレームワークであるGaussian Process Network (IGN)を提案する。 特に誘導点は特徴空間で直接学習され、複雑な構造化領域のシームレスな表現を可能にする。 実世界のデータセットに対する実験結果から,IGNは最先端の手法よりも大幅に進歩していることを示す。
  論文  参考訳（メタデータ） (2022-04-21T05:27:09Z)
• Improving Deep Learning Interpretability by Saliency Guided Training [36.782919916001624]
  精度法はモデル予測において重要な入力特徴を強調するために広く用いられている。 既存の方法の多くは、修正された勾配関数のバックプロパゲーションを使用して、サリエンシマップを生成する。 本稿では,予測に使用する雑音勾配を低減するために,ニューラルネットワークに対するサリエンシ指導訓練手法を提案する。
  論文  参考訳（メタデータ） (2021-11-29T06:05:23Z)
• Coarse to Fine: Domain Adaptive Crowd Counting via Adversarial Scoring Network [58.05473757538834]
  本稿では,ドメイン間のギャップを粗い粒度から細かな粒度に埋める新しい逆スコアリングネットワーク (ASNet) を提案する。 3組のマイグレーション実験により,提案手法が最先端のカウント性能を実現することを示す。
  論文  参考訳（メタデータ） (2021-07-27T14:47:24Z)
• Unsupervised Metric Relocalization Using Transform Consistency Loss [66.19479868638925]
  メートル法再ローカライズを行うためのトレーニングネットワークは、従来、正確な画像対応が必要である。 地図内のクエリ画像のローカライズは、登録に使用される参照画像に関係なく、同じ絶対的なポーズを与えるべきである。 提案手法は, 限られた地下構造情報が得られる場合に, 他の教師あり手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-11-01T19:24:27Z)
• Layer-wise Characterization of Latent Information Leakage in Federated Learning [9.397152006395174]
  フェデレートされた学習を通じてディープニューラルネットワークをトレーニングすることで、クライアントは元のデータではなく、データに基づいてトレーニングされたモデルのみを共有することができる。 従来の研究は、クライアントのプライベート情報が、メインの学習タスクとは無関係に、モデルの勾配から発見できることを実証している。 共有された更新モデルや勾配を通じて、プライベート情報の漏洩を定量化するための公式なアプローチはまだ存在しない。
  論文  参考訳（メタデータ） (2020-10-17T10:49:14Z)
• Counterfactual Explanation Based on Gradual Construction for Deep Networks [17.79934085808291]
  深層ネットワークがトレーニングデータセットから学んだパターンは、様々なクラスの特徴の変化を観察して把握することができる。 現在のアプローチでは、ディープネットワークの内部特性に関係なく、ターゲットクラスの分類確率を高めるために、特徴修正を行う。 本稿では,トレーニングデータセットから得られた統計情報を利用した実例説明手法を提案する。
  論文  参考訳（メタデータ） (2020-08-05T01:18:31Z)
• Neural networks adapting to datasets: learning network size and topology [77.34726150561087]
  ニューラルネットワークは、勾配に基づくトレーニングの過程で、そのサイズとトポロジの両方を学習できるフレキシブルなセットアップを導入します。 結果として得られるネットワークは、特定の学習タスクとデータセットに合わせたグラフの構造を持つ。
  論文  参考訳（メタデータ） (2020-06-22T12:46:44Z)
• Understanding Self-Training for Gradual Domain Adaptation [107.37869221297687]
  段階的なドメイン適応は、対象領域へ徐々にシフトするラベルのないデータのみを与えられたソースドメインで訓練された初期分類器を適応させることが目的である。 目標領域への直接適応が非有界誤差をもたらすような設定下において、段階的なシフトを伴う自己学習の誤差に対する最初の非無空上界を証明した。 この理論解析はアルゴリズムの洞察を導き、無限のデータを持つ場合でも正規化とラベルのシャープ化が不可欠であることを強調し、より小さなワッサーシュタイン無限距離のシフトに対して自己学習が特にうまく働くことを示唆している。
  論文  参考訳（メタデータ） (2020-02-26T08:59:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。