論文の概要: Improving Robustness via Tilted Exponential Layer: A Communication-Theoretic Perspective

• arxiv url: http://arxiv.org/abs/2311.01047v1
• Date: Thu, 2 Nov 2023 07:47:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-03 14:29:52.640926
• Title: Improving Robustness via Tilted Exponential Layer: A Communication-Theoretic Perspective
• Title（参考訳）: Tilted Exponential Layerによるロバストネスの向上:コミュニケーション理論の視点から
• Authors: Bhagyashree Puranik, Ahmad Beirami, Yao Qin, Upamanyu Madhow
• Abstract要約: ディープネットワークの堅牢性を向上するための最先端技術は、主に適切なデータ拡張による経験的リスク最小化に依存している。 本稿では,ニューラルネット層の出力における信号と雑音の比を高めることを目的とした,通信理論に基づく補完的アプローチを提案する。
• 参考スコア（独自算出の注目度）: 22.062492862286025
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: State-of-the-art techniques for enhancing robustness of deep networks mostly rely on empirical risk minimization with suitable data augmentation. In this paper, we propose a complementary approach motivated by communication theory, aimed at enhancing the signal-to-noise ratio at the output of a neural network layer via neural competition during learning and inference. In addition to minimization of a standard end-to-end cost, neurons compete to sparsely represent layer inputs by maximization of a tilted exponential (TEXP) objective function for the layer. TEXP learning can be interpreted as maximum likelihood estimation of matched filters under a Gaussian model for data noise. Inference in a TEXP layer is accomplished by replacing batch norm by a tilted softmax, which can be interpreted as computation of posterior probabilities for the competing signaling hypotheses represented by each neuron. After providing insights via simplified models, we show, by experimentation on standard image datasets, that TEXP learning and inference enhances robustness against noise and other common corruptions, without requiring data augmentation. Further cumulative gains in robustness against this array of distortions can be obtained by appropriately combining TEXP with data augmentation techniques.
• Abstract（参考訳）: ディープネットワークの堅牢性を高める最先端技術は、主に適切なデータ拡張による経験的リスク最小化に依存している。 本稿では,学習と推論におけるニューラルネットワーク層の出力における信号と雑音の比を高めることを目的とした,コミュニケーション理論に基づく補完的アプローチを提案する。 標準のエンドツーエンドコストの最小化に加えて、ニューロンは層に対する傾斜指数関数(TEXP)の目的関数を最大化することにより、層入力を疎結合に表現する。 TEXP学習は、データノイズに対するガウスモデルの下でのマッチングフィルタの最大推定として解釈できる。 TEXP層の推論は、各ニューロンで表される競合するシグナル仮説の後方確率の計算として解釈できる傾きソフトマックスによってバッチノルムを置き換えることにより達成される。 単純化されたモデルを用いて洞察を提供した後、標準画像データセットの実験により、TEXP学習と推論により、データ拡張を必要とせず、ノイズやその他の一般的な腐敗に対する堅牢性を高めることが示される。 この歪みに対するロバスト性のさらなる累積ゲインは、texpとデータ拡張技術を適切に組み合わせて得ることができる。

関連論文リスト

• FFEINR: Flow Feature-Enhanced Implicit Neural Representation for Spatio-temporal Super-Resolution [4.577685231084759]
  本稿では,フローフィールドデータの超高分解能化のための特徴強調型ニューラルインシシット表現(FFEINR)を提案する。 モデル構造とサンプリング分解能の観点から、暗黙のニューラル表現を最大限に活用することができる。 FFEINRのトレーニングプロセスは、入力層に機能拡張を導入することで容易になる。
  論文  参考訳（メタデータ） (2023-08-24T02:28:18Z)
• Benign Overfitting for Two-layer ReLU Convolutional Neural Networks [60.19739010031304]
  ラベルフリップ雑音を持つ2層ReLU畳み込みニューラルネットワークを学習するためのアルゴリズム依存型リスクバウンダリを確立する。 緩やかな条件下では、勾配降下によってトレーニングされたニューラルネットワークは、ほぼゼロに近いトレーニング損失とベイズ最適試験リスクを達成できることを示す。
  論文  参考訳（メタデータ） (2023-03-07T18:59:38Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• On the Robustness and Generalization of Deep Learning Driven Full Waveform Inversion [2.5382095320488665]
  フルウェーブフォーム・インバージョン(FWI)は画像から画像への変換タスクとして一般的にエピトマイズされる。 合成データでトレーニングされているにもかかわらず、ディープラーニング駆動のFWIは、十分な実世界のデータで評価すると、良好に動作することが期待されている。 これらのディープニューラルネットワークはどの程度堅牢で、どのように一般化されているのか?
  論文  参考訳（メタデータ） (2021-11-28T19:27:59Z)
• Neural Tangent Kernel Empowered Federated Learning [35.423391869982694]
  フェデレートラーニング(FL)は、複数の参加者が生データを共有せずに機械学習問題を共同で解決する、プライバシー保護パラダイムである。 本稿では,ニューラルタンジェントカーネル(NTK)フレームワークを応用した新しいFLパラダイムを提案する。 提案手法は,通信ラウンドの回数を桁違いに減らしながら,同じ精度を実現できることを示す。
  論文  参考訳（メタデータ） (2021-10-07T17:58:58Z)
• Probabilistic partition of unity networks: clustering based deep approximation [0.0]
  ユニタリネットワーク(POU-Nets)の分割は、回帰とPDEの解に対する代数収束率を実現することができる。 ガウス雑音モデルを用いてPOU-Netを拡張し、最大可算損失の勾配に基づく一般化を導出できる確率的一般化を得る。 本研究では,高次元・低次元での性能を定量化するためのベンチマークを行い,高次元空間内のデータの潜在次元にのみ依存することを示す。
  論文  参考訳（メタデータ） (2021-07-07T08:02:00Z)
• Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
  現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。 ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。 本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T19:08:53Z)
• Understanding Self-supervised Learning with Dual Deep Networks [74.92916579635336]
  本稿では,2組の深層ReLUネットワークを用いたコントラスト型自己教師学習(SSL)手法を理解するための新しい枠組みを提案する。 種々の損失関数を持つSimCLRの各SGD更新において、各層の重みは共分散演算子によって更新されることを示す。 共分散演算子の役割と、そのようなプロセスでどのような特徴が学習されるかをさらに研究するために、我々は、階層的潜在木モデル(HLTM)を用いて、データ生成および増大過程をモデル化する。
  論文  参考訳（メタデータ） (2020-10-01T17:51:49Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)
• Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
  最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。 このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
  論文  参考訳（メタデータ） (2020-03-13T13:11:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。