論文の概要: Eccentric Regularization: Minimizing Hyperspherical Energy without explicit projection

• arxiv url: http://arxiv.org/abs/2104.11610v1
• Date: Fri, 23 Apr 2021 13:55:17 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-26 13:13:48.593909
• Title: Eccentric Regularization: Minimizing Hyperspherical Energy without explicit projection
• Title（参考訳）: 偏心正則化:明示的射影を伴わない超球面エネルギーの最小化
• Authors: Xuefeng Li and Alan Blair
• Abstract要約: アイテム間の一対の反発力をシミュレートする新しい正規化損失関数を紹介します。 この損失関数を分離して最小化すると超球面分布が得られることを示す。 本稿では,この偏心正規化手法をオートエンコーダに適用し,画像生成,表現学習,下流分類タスクにおいてその効果を示す。
• 参考スコア（独自算出の注目度）: 0.913755431537592
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Several regularization methods have recently been introduced which force the latent activations of an autoencoder or deep neural network to conform to either a Gaussian or hyperspherical distribution, or to minimize the implicit rank of the distribution in latent space. In the present work, we introduce a novel regularizing loss function which simulates a pairwise repulsive force between items and an attractive force of each item toward the origin. We show that minimizing this loss function in isolation achieves a hyperspherical distribution. Moreover, when used as a regularizing term, the scaling factor can be adjusted to allow greater flexibility and tolerance of eccentricity, thus allowing the latent variables to be stratified according to their relative importance, while still promoting diversity. We apply this method of Eccentric Regularization to an autoencoder, and demonstrate its effectiveness in image generation, representation learning and downstream classification tasks.
• Abstract（参考訳）: いくつかの正規化手法が最近導入され、オートエンコーダやディープニューラルネットワークの潜伏活性化はガウス分布か超球面分布に適合するか、潜伏空間における分布の暗黙のランクを最小化する。 そこで本研究では,各項目の係り受け力と,各項目の原点に対する係り受け力との相互反発力をシミュレートする,新たな正則化損失関数を提案する。 この損失関数を分離して最小化すると超球面分布が得られることを示す。 さらに、正規化用語として使用する場合、スケーリング係数を調整して偏心性の柔軟性と許容性を高め、相対的重要性に応じて潜在変数を階層化することができる。 本稿では,この偏心正規化手法をオートエンコーダに適用し,画像生成,表現学習,下流分類タスクにおいてその効果を示す。

関連論文リスト

• Measuring Heterogeneity in Machine Learning with Distributed Energy Distance [3.8318398579197335]
  本稿では,分布の相違を定量化するための感度尺度として,エネルギー距離を導入する。 我々は,計算オーバーヘッドを低減しつつ,重要な理論的定量的特性を保存するテイラー近似を開発した。 本研究では,不均質ノード間の予測の整合化のために,ペナルティ重みを割り当てるためのエネルギー距離の新たな適用法を提案する。
  論文  参考訳（メタデータ） (2025-01-27T16:15:57Z)
• Disentangled Interleaving Variational Encoding [1.132458063021286]
  本稿では,変分オートエンコーダの潜時空間において,元の入力を限界値と条件値の確率分布に分解する原理的手法を提案する。 提案モデルであるDeep Disentangled Interleaving Variationalを提案する。 コーダ(DeepDIVE)は、元の入力から切り離された特徴を学習し、埋め込み空間にクラスタを形成する。 2つの公開データセットの実験は、DeepDIVEが元の入力をアンタングルし、元のVAEよりも予測精度が良いことを示している。
  論文  参考訳（メタデータ） (2025-01-15T10:50:54Z)
• An Information-Theoretic Regularizer for Lossy Neural Image Compression [20.939331919455935]
  ロスシー画像圧縮ネットワークは、特定の歪み制約に固執しながら、画像の潜伏エントロピーを最小限にすることを目的としている。 本稿では、負条件源エントロピーをトレーニング対象に組み込むことにより、ニューラル画像圧縮タスクの新たな構造正規化手法を提案する。
  論文  参考訳（メタデータ） (2024-11-23T05:19:27Z)
• Latent Point Collapse on a Low Dimensional Embedding in Deep Neural Network Classifiers [0.0]
  同一クラスに属する潜在表現の崩壊を単一点に誘導する手法を提案する。 提案されたアプローチは実装が簡単で、非ネイティブな機能埋め込みを大幅に改善する。
  論文  参考訳（メタデータ） (2023-10-12T11:16:57Z)
• Dynamic Kernel-Based Adaptive Spatial Aggregation for Learned Image Compression [63.56922682378755]
  本稿では,空間アグリゲーション機能の拡張に焦点をあて,動的カーネルベースの変換符号化を提案する。 提案したアダプティブアグリゲーションはカーネルオフセットを生成し、コンテント条件付き範囲の有効な情報をキャプチャして変換を支援する。 実験により,本手法は,最先端の学習手法と比較して,3つのベンチマークにおいて高い速度歪み性能が得られることを示した。
  論文  参考訳（メタデータ） (2023-08-17T01:34:51Z)
• Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
  Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。 本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
  論文  参考訳（メタデータ） (2023-06-27T08:15:28Z)
• Distribution Mismatch Correction for Improved Robustness in Deep Neural Networks [86.42889611784855]
  正規化法は ノイズや入力の腐敗に関して 脆弱性を増大させる 本稿では,各層の活性化分布に適応する非教師なし非パラメトリック分布補正法を提案する。 実験により,提案手法は画像劣化の激しい影響を効果的に低減することを示した。
  論文  参考訳（メタデータ） (2021-10-05T11:36:25Z)
• Hyperspherically Regularized Networks for BYOL Improves Feature Uniformity and Separability [4.822598110892847]
  bootstrap Your Own Latent (BYOL)は、コントラストパラダイムを回避する自己監督学習のアプローチを導入した。 この研究は、BYOLで採用する場合、コントラスト損失によって強制される特徴の多様性が有益であることを実証的に示している。
  論文  参考訳（メタデータ） (2021-04-29T18:57:27Z)
• Improve Generalization and Robustness of Neural Networks via Weight Scale Shifting Invariant Regularizations [52.493315075385325]
  重み劣化を含む正則化器の族は、均質な活性化関数を持つネットワークに対する本質的な重みのノルムをペナルティ化するのに有効でないことを示す。 そこで我々は,ニューラルネットワークの本質的な規範を効果的に制約する改良型正規化器を提案する。
  論文  参考訳（メタデータ） (2020-08-07T02:55:28Z)
• Log-Likelihood Ratio Minimizing Flows: Towards Robust and Quantifiable Neural Distribution Alignment [52.02794488304448]
  そこで本研究では,対数様比統計量と正規化フローに基づく新しい分布アライメント手法を提案する。 入力領域の局所構造を保存する領域アライメントにおいて,結果の最小化を実験的に検証する。
  論文  参考訳（メタデータ） (2020-03-26T22:10:04Z)
• Targeted free energy estimation via learned mappings [66.20146549150475]
  自由エネルギー摂動 (FEP) は60年以上前にズワンツィヒによって自由エネルギー差を推定する方法として提案された。 FEPは、分布間の十分な重複の必要性という厳しい制限に悩まされている。 目標自由エネルギー摂動(Targeted Free Energy Perturbation)と呼ばれるこの問題を緩和するための1つの戦略は、オーバーラップを増やすために構成空間の高次元マッピングを使用する。
  論文  参考訳（メタデータ） (2020-02-12T11:10:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。