論文の概要: ABCAS: Adaptive Bound Control of spectral norm as Automatic Stabilizer

• arxiv url: http://arxiv.org/abs/2211.06595v1
• Date: Sat, 12 Nov 2022 07:15:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-15 16:00:24.321960
• Title: ABCAS: Adaptive Bound Control of spectral norm as Automatic Stabilizer
• Title（参考訳）: ABCAS: 自動安定化器としてのスペクトルノルムの適応境界制御
• Authors: Shota Hirose, Shiori Maki, Naoki Wada, Heming Sun, Jiro Katto
• Abstract要約: ABCASと呼ばれる適応正規化法を提供する新しい安定化器を提案する。 本手法は,実データと偽データの分布距離をチェックすることにより,判別器のリプシッツ定数を適応的に決定する。 提案手法は,生成側ネットワークのトレーニングの安定性を向上し,生成画像のFr'echet Inception Distanceスコアを向上する。
• 参考スコア（独自算出の注目度）: 17.537850541544216
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spectral Normalization is one of the best methods for stabilizing the training of Generative Adversarial Network. Spectral Normalization limits the gradient of discriminator between the distribution between real data and fake data. However, even with this normalization, GAN's training sometimes fails. In this paper, we reveal that more severe restriction is sometimes needed depending on the training dataset, then we propose a novel stabilizer which offers an adaptive normalization method, called ABCAS. Our method decides discriminator's Lipschitz constant adaptively, by checking the distance of distributions of real and fake data. Our method improves the stability of the training of Generative Adversarial Network and achieved better Fr\'echet Inception Distance score of generated images. We also investigated suitable spectral norm for three datasets. We show the result as an ablation study.
• Abstract（参考訳）: スペクトル正規化は、生成的逆ネットワークのトレーニングを安定化するための最良の方法の1つである。 スペクトル正規化は、実データと偽データの分布の間の判別器の勾配を制限する。 しかし、この正規化であっても、GANのトレーニングは失敗することがある。 本稿では,トレーニングデータセットによってはより厳しい制約が必要な場合があり,ABCASと呼ばれる適応正規化手法を提供する新しい安定化器を提案する。 本手法は,実データと偽データの分布距離をチェックすることにより,判別器のリプシッツ定数を適応的に決定する。 提案手法は,生成側ネットワークのトレーニングの安定性を改善し,生成画像のFr'echet Inception Distanceスコアを向上する。 また、3つのデータセットに適したスペクトルノルムについても検討した。 その結果をアブレーション研究として示す。

関連論文リスト

• Test-time adaptation for geospatial point cloud semantic segmentation with distinct domain shifts [6.80671668491958]
  テスト時間適応(TTA)は、ソースデータへのアクセスや追加のトレーニングなしに、推論段階でラベル付けされていないデータに事前訓練されたモデルの直接適応を可能にする。 本稿では,3つの領域シフトパラダイムを提案する。光グラムから空気中LiDAR,空気中LiDAR,合成-移動レーザー走査である。 実験の結果,分類精度は最大20%mIoUに向上し,他の手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-07-08T15:40:28Z)
• The High Line: Exact Risk and Learning Rate Curves of Stochastic Adaptive Learning Rate Algorithms [8.681909776958184]
  本研究では,高次元最適化問題の大規模なクラスにおいて,学習速度と学習速度のダイナミクスを解析するためのフレームワークを開発する。 我々は、ODEのシステムに対する決定論的解という観点から、リスクと学習率曲線の正確な表現を与える。 最小二乗問題に対する最適正則線探索とAdaGrad-Normの2つの適応学習率について詳細に検討する。
  論文  参考訳（メタデータ） (2024-05-30T00:27:52Z)
• Reliable amortized variational inference with physics-based latent distribution correction [0.4588028371034407]
  ニューラルネットワークは、既存のモデルとデータのペアの後方分布を近似するように訓練される。 このアプローチの精度は、高忠実度トレーニングデータの可用性に依存する。 補正ステップは, ソース実験数の変化, ノイズ分散, 先行分布の変化に対して, 償却された変分推論の頑健さを向上することを示す。
  論文  参考訳（メタデータ） (2022-07-24T02:38:54Z)
• Augment to Detect Anomalies with Continuous Labelling [10.646747658653785]
  異常検出は、トレーニング観察と何らかの点で異なるサンプルを認識することである。 最近の最先端のディープラーニングに基づく異常検出手法は、計算コスト、複雑さ、不安定な訓練手順、非自明な実装に悩まされている。 我々は、軽量な畳み込みニューラルネットワークを訓練し、異常検出における最先端の性能に到達するための単純な学習手順を活用する。
  論文  参考訳（メタデータ） (2022-07-03T20:11:51Z)
• CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
  テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。 本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
  論文  参考訳（メタデータ） (2022-06-01T03:02:07Z)
• Distribution Mismatch Correction for Improved Robustness in Deep Neural Networks [86.42889611784855]
  正規化法は ノイズや入力の腐敗に関して 脆弱性を増大させる 本稿では,各層の活性化分布に適応する非教師なし非パラメトリック分布補正法を提案する。 実験により,提案手法は画像劣化の激しい影響を効果的に低減することを示した。
  論文  参考訳（メタデータ） (2021-10-05T11:36:25Z)
• Near-optimal inference in adaptive linear regression [60.08422051718195]
  最小二乗法のような単純な方法でさえ、データが適応的に収集されるときの非正規な振る舞いを示すことができる。 我々は,これらの分布異常を少なくとも2乗推定で補正するオンラインデバイアス推定器のファミリーを提案する。 我々は,マルチアームバンディット,自己回帰時系列推定,探索による能動的学習などの応用を通して,我々の理論の有用性を実証する。
  論文  参考訳（メタデータ） (2021-07-05T21:05:11Z)
• Scalable Marginal Likelihood Estimation for Model Selection in Deep Learning [78.83598532168256]
  階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。 本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
  論文  参考訳（メタデータ） (2021-04-11T09:50:24Z)
• Training Generative Adversarial Networks by Solving Ordinary Differential Equations [54.23691425062034]
  GANトレーニングによって引き起こされる連続時間ダイナミクスについて検討する。 この観点から、GANのトレーニングにおける不安定性は積分誤差から生じると仮定する。 本研究では,有名なODEソルバ(Runge-Kutta など)がトレーニングを安定化できるかどうかを実験的に検証する。
  論文  参考訳（メタデータ） (2020-10-28T15:23:49Z)
• Learning to Match Distributions for Domain Adaptation [116.14838935146004]
  本稿では,ドメイン間分布マッチングを自動的に学習する学習 to Match (L2M)を提案する。 L2Mは、メタネットワークを用いてデータ駆動方式で分布整合損失を学習することにより、誘導バイアスを低減する。 公開データセットの実験は、SOTA法よりもL2Mの方が優れていることを裏付けている。
  論文  参考訳（メタデータ） (2020-07-17T03:26:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。