論文の概要: Invariant Representations with Stochastically Quantized Neural Networks

• arxiv url: http://arxiv.org/abs/2208.02656v1
• Date: Thu, 4 Aug 2022 13:36:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-05 12:06:55.726306
• Title: Invariant Representations with Stochastically Quantized Neural Networks
• Title（参考訳）: 確率量子化ニューラルネットワークによる不変表現
• Authors: Mattia Cerrato, Marius K\"oppel, Roberto Esposito, Stefan Kramer
• Abstract要約: 本稿では,ニューラル層とセンシティブ属性間の相互情報の直接計算手法を提案する。 本手法は,公正表現学習における技術状況と良好に比較できることを示す。
• 参考スコア（独自算出の注目度）: 5.7923858184309385
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Representation learning algorithms offer the opportunity to learn invariant representations of the input data with regard to nuisance factors. Many authors have leveraged such strategies to learn fair representations, i.e., vectors where information about sensitive attributes is removed. These methods are attractive as they may be interpreted as minimizing the mutual information between a neural layer's activations and a sensitive attribute. However, the theoretical grounding of such methods relies either on the computation of infinitely accurate adversaries or on minimizing a variational upper bound of a mutual information estimate. In this paper, we propose a methodology for direct computation of the mutual information between a neural layer and a sensitive attribute. We employ stochastically-activated binary neural networks, which lets us treat neurons as random variables. We are then able to compute (not bound) the mutual information between a layer and a sensitive attribute and use this information as a regularization factor during gradient descent. We show that this method compares favorably with the state of the art in fair representation learning and that the learned representations display a higher level of invariance compared to full-precision neural networks.
• Abstract（参考訳）: 表現学習アルゴリズムは、ニュアンス要因に関する入力データの不変表現を学習する機会を提供する。 多くの著者はそのような戦略を利用して公正な表現、すなわち機密属性に関する情報が取り除かれるベクトルを学ぶ。 これらの方法は、神経層の活性化と機密属性の間の相互情報の最小化と解釈されるため、魅力的である。 しかし、そのような方法の理論的根拠付けは、無限に正確な敵の計算か、相互情報推定の変分上界の最小化に依拠する。 本稿では,ニューラル層と感性属性間の相互情報の直接計算手法を提案する。 確率的に活性化されるバイナリニューラルネットワークを用いて、ニューロンをランダム変数として扱うことができる。 すると、層と機密属性の間の相互情報を(束縛されない)計算し、勾配降下時の正則化因子として利用することができる。 本手法は,公平表現学習において,芸術の状態を好適に比較し,学習した表現が全精度ニューラルネットワークよりも高い不変性を示すことを示す。

関連論文リスト

• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Manipulating Feature Visualizations with Gradient Slingshots [54.31109240020007]
  本稿では,モデルの決定過程に大きな影響を及ぼすことなく,特徴可視化(FV)を操作する新しい手法を提案する。 ニューラルネットワークモデルにおける本手法の有効性を評価し,任意の選択したニューロンの機能を隠蔽する能力を示す。
  論文  参考訳（メタデータ） (2024-01-11T18:57:17Z)
• Generalizable Neural Fields as Partially Observed Neural Processes [16.202109517569145]
  本稿では,ニューラル表現の大規模トレーニングを部分的に観察されたニューラルプロセスフレームワークの一部として考える新しいパラダイムを提案する。 このアプローチは、最先端の勾配に基づくメタラーニングアプローチとハイパーネットワークアプローチの両方より優れていることを実証する。
  論文  参考訳（メタデータ） (2023-09-13T01:22:16Z)
• Unsupervised Learning of Invariance Transformations [105.54048699217668]
  近似グラフ自己同型を見つけるためのアルゴリズムフレームワークを開発する。 重み付きグラフにおける近似自己同型を見つけるために、このフレームワークをどのように利用できるかについて議論する。
  論文  参考訳（メタデータ） (2023-07-24T17:03:28Z)
• Representational dissimilarity metric spaces for stochastic neural networks [4.229248343585332]
  神経表現の類似性を定量化することは、深層学習と神経科学研究における長年の問題である。 形状メトリクスを一般化して表現の違いを定量化する。 神経生物学的指向型視覚格子と自然主義的なシーンはそれぞれ、訓練されていない深層ネットワーク表現と訓練された深部ネットワーク表現に類似している。
  論文  参考訳（メタデータ） (2022-11-21T17:32:40Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Disentangled representations: towards interpretation of sex determination from hip bone [1.0775419935941009]
  サリエンシマップは ニューラルネットワークを解釈する 一般的な方法になっています 我々は、より良い解釈可能性のための新しいパラダイムを提案する。 法医学における股関節からの自動性決定の文脈におけるこのアプローチの意義について述べる。
  論文  参考訳（メタデータ） (2021-12-17T10:07:05Z)
• Drop, Swap, and Generate: A Self-Supervised Approach for Generating Neural Activity [33.06823702945747]
  我々はSwap-VAEと呼ばれる神経活動の不整合表現を学習するための新しい教師なしアプローチを導入する。 このアプローチは、生成モデリングフレームワークとインスタンス固有のアライメント損失を組み合わせたものです。 我々は、行動に関連付けられた関連する潜在次元に沿って、ニューラルネットワークをアンタングルする表現を構築することが可能であることを示す。
  論文  参考訳（メタデータ） (2021-11-03T16:39:43Z)
• Discriminative Attribution from Counterfactuals [64.94009515033984]
  本稿では,特徴属性と反実的説明を組み合わせたニューラルネットワークの解釈可能性について述べる。 本手法は,特徴属性法の性能を客観的に評価するために有効であることを示す。
  論文  参考訳（メタデータ） (2021-09-28T00:53:34Z)
• Category-Learning with Context-Augmented Autoencoder [63.05016513788047]
  実世界のデータの解釈可能な非冗長表現を見つけることは、機械学習の鍵となる問題の一つである。 本稿では,オートエンコーダのトレーニングにデータ拡張を利用する新しい手法を提案する。 このような方法で変分オートエンコーダを訓練し、補助ネットワークによって変換結果を予測できるようにする。
  論文  参考訳（メタデータ） (2020-10-10T14:04:44Z)
• Malicious Network Traffic Detection via Deep Learning: An Information Theoretic View [0.0]
  本研究では,ホメオモルフィズムがマルウェアのトラフィックデータセットの学習表現に与える影響について検討する。 この結果から,学習された表現の詳細と,すべてのパラメータの多様体上で定義された特定の座標系は,関数近似とは全く異なることが示唆された。
  論文  参考訳（メタデータ） (2020-09-16T15:37:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。