論文の概要: Variational Positive-incentive Noise: How Noise Benefits Models

• arxiv url: http://arxiv.org/abs/2306.07651v1
• Date: Tue, 13 Jun 2023 09:43:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-14 14:21:26.206303
• Title: Variational Positive-incentive Noise: How Noise Benefits Models
• Title（参考訳）: 変分正感音:騒音の効用モデル
• Authors: Hongyuan Zhang, Sida Huang, Xuelong Li
• Abstract要約: 正感雑音(Pi-Noise)の枠組みに基づくランダムノイズによる古典モデルの利点について検討する。 Pi-Noiseの理想的目的は難易度が高いため,その代わりに変分境界,すなわち変分Pi-Noise(VPN)を最適化することを提案する。
• 参考スコア（独自算出の注目度）: 84.67629229767047
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A large number of works aim to alleviate the impact of noise due to an underlying conventional assumption of the negative role of noise. However, some existing works show that the assumption does not always hold. In this paper, we investigate how to benefit the classical models by random noise under the framework of Positive-incentive Noise (Pi-Noise). Since the ideal objective of Pi-Noise is intractable, we propose to optimize its variational bound instead, namely variational Pi-Noise (VPN). With the variational inference, a VPN generator implemented by neural networks is designed for enhancing base models and simplifying the inference of base models, without changing the architecture of base models. Benefiting from the independent design of base models and VPN generators, the VPN generator can work with most existing models. From the experiments, it is shown that the proposed VPN generator can improve the base models. It is appealing that the trained variational VPN generator prefers to blur the irrelevant ingredients in complicated images, which meets our expectations.
• Abstract（参考訳）: 多くの研究は、ノイズの負の役割という従来の仮定によるノイズの影響を軽減することを目的としている。 しかし、いくつかの既存の研究は仮定が常に成り立つわけではないことを示している。 本稿では, 正感雑音(Pi-Noise)の枠組みの下で, ランダムノイズによる古典モデルの利点について検討する。 Pi-Noise の理想的な目的は難易度が高いため,その代わりに変数境界,すなわち VPN を最適化することを提案する。 ニューラルネットワークによって実装されたVPNジェネレータは、ベースモデルのアーキテクチャを変更することなく、ベースモデルの強化とベースモデルの推論の簡略化を目的として設計されている。 ベースモデルとvpnジェネレータの独立した設計の恩恵を受け、vpnジェネレータは既存のほとんどのモデルで動作する。 実験の結果,提案したVPNジェネレータはベースモデルを改善することができることがわかった。 トレーニングされた変動型vpnジェネレータは、我々の期待に合致する複雑な画像の無関係な要素を曖昧にすることを好んでいます。

関連論文リスト

• Robust Neural Processes for Noisy Data [1.7268667700090563]
  ノイズによってデータが汚染された場合の文脈内学習モデルの振る舞いについて検討する。 クリーンなデータで最高のパフォーマンスを示すモデルは、ノイズの多いデータで最高のパフォーマンスを示すモデルとは異なることが分かりました。 本稿では,NPモデルの学習方法を提案する。
  論文  参考訳（メタデータ） (2024-11-03T20:00:55Z)
• Data Augmentation of Contrastive Learning is Estimating Positive-incentive Noise [54.24688963649581]
  コントラスト学習と$pi$-noiseの関係を科学的に検討する。 タスクに有益なノイズを学習することを目的としたポジティブ・インセンティブノイズ(Pi-Noise または $pi$-Noise )のアイデアに触発されて,我々は $pi$-noise ジェネレータを開発した。
  論文  参考訳（メタデータ） (2024-08-19T12:07:42Z)
• Adaptive Differential Privacy in Federated Learning: A Priority-Based Approach [0.0]
  フェデレートラーニング(FL)は、ローカルデータセットに直接アクセスせずにグローバルモデルを開発する。 DPはパラメータに一定のノイズを加えることで、プライバシーを保証するフレームワークを提供する。 本稿では,特徴量の相対的重要度に基づいて入射雑音の値を決定するFLの適応雑音付加法を提案する。
  論文  参考訳（メタデータ） (2024-01-04T03:01:15Z)
• Generative Plug and Play: Posterior Sampling for Inverse Problems [4.417934991211913]
  Plug-Play(および)は、前方モデルと先行モデルからなるフレームワークを使用してイメージを再構築する一般的な方法となっている。 BM3Dデノイザを用いた実験シミュレーションを行った。
  論文  参考訳（メタデータ） (2023-06-12T16:49:08Z)
• Scaling Structured Inference with Randomization [64.18063627155128]
  本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。 我々の手法は古典的DPベースの推論に広く適用できる。 また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-12-07T11:26:41Z)
• Asymmetric Heavy Tails and Implicit Bias in Gaussian Noise Injections [73.95786440318369]
  我々は、勾配降下(SGD)のダイナミクスに対する注射ノイズの影響であるGNIsのいわゆる暗黙効果に焦点を当てています。 この効果は勾配更新に非対称な重尾ノイズを誘発することを示す。 そして、GNIが暗黙のバイアスを引き起こすことを正式に証明し、これは尾の重みと非対称性のレベルによって異なる。
  論文  参考訳（メタデータ） (2021-02-13T21:28:09Z)
• Noise-Equipped Convolutional Neural Networks [15.297063646935078]
  Convolutional Neural Network (CNN)は、画像合成および翻訳タスクに広く採用されています。 CNNモデルにフラットな入力が与えられると、畳み込みカーネルの空間的共有性により、変換はスケール操作に分解される。
  論文  参考訳（メタデータ） (2020-12-09T09:01:45Z)
• A Contrastive Learning Approach for Training Variational Autoencoder Priors [137.62674958536712]
  変分オートエンコーダ(VAE)は、多くの領域で応用される強力な可能性に基づく生成モデルの一つである。 VAEsが生成性に乏しいことの1つの説明は、事前の分布が集合の近似的な後部と一致しないという、事前の穴の問題である。 本研究では, 基底分布の積と再重み付け係数によって定義されるエネルギーベースの事前定義を行い, 基底を集合体後部へ近づけるようにした。
  論文  参考訳（メタデータ） (2020-10-06T17:59:02Z)
• BatVision with GCC-PHAT Features for Better Sound to Vision Predictions [5.9514420658483935]
  我々は,音から可塑性深度マップとグレースケールレイアウトを予測するために,生成的対向ネットワークを訓練する。 我々は、サウンド・ツー・ビジョン・モデルと自己収集されたデータセットからなるBatVisionを使った以前の研究に基づいて構築する。
  論文  参考訳（メタデータ） (2020-06-14T19:49:58Z)
• RAIN: A Simple Approach for Robust and Accurate Image Classification Networks [156.09526491791772]
  既存の敵防衛手法の大部分は、予測精度を犠牲にして堅牢性を実現することが示されている。 本稿では,ロバストおよび高精度画像分類N(RAIN)と呼ぶ新しい前処理フレームワークを提案する。 RAINは入力に対してランダム化を適用して、モデルフォワード予測パスと後方勾配パスの関係を壊し、モデルロバスト性を改善する。 STL10 と ImageNet のデータセットを用いて、様々な種類の敵攻撃に対する RAIN の有効性を検証する。
  論文  参考訳（メタデータ） (2020-04-24T02:03:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。