論文の概要: Interpolating Compressed Parameter Subspaces

• arxiv url: http://arxiv.org/abs/2205.09891v1
• Date: Thu, 19 May 2022 22:57:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-23 15:08:58.397557
• Title: Interpolating Compressed Parameter Subspaces
• Title（参考訳）: 補間圧縮パラメータ部分空間
• Authors: Siddhartha Datta, Nigel Shadbolt
• Abstract要約: ニューラル部分空間に関する最近の研究に触発されて、シフトおよび/または補間可能な入力分布に対するパラメータ部分空間サンプリングを再検討した。 我々は,列車時間分布の集合にマッピングされた訓練パラメータの集合に対して,圧縮された幾何学的構造を強制する。 最適パラメータがCPS内に存在するシフト分布のタイプの成功と失敗モードを示す。
• 参考スコア（独自算出の注目度）: 8.782809316491948
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Inspired by recent work on neural subspaces and mode connectivity, we revisit parameter subspace sampling for shifted and/or interpolatable input distributions (instead of a single, unshifted distribution). We enforce a compressed geometric structure upon a set of trained parameters mapped to a set of train-time distributions, denoting the resulting subspaces as Compressed Parameter Subspaces (CPS). We show the success and failure modes of the types of shifted distributions whose optimal parameters reside in the CPS. We find that ensembling point-estimates within a CPS can yield a high average accuracy across a range of test-time distributions, including backdoor, adversarial, permutation, stylization and rotation perturbations. We also find that the CPS can contain low-loss point-estimates for various task shifts (albeit interpolated, perturbed, unseen or non-identical coarse labels). We further demonstrate this property in a continual learning setting with CIFAR100.
• Abstract（参考訳）: ニューラルサブスペースとモード接続に関する最近の研究に触発され、(単一の非シフト分布ではなく)シフトおよび/または補間可能な入力分布に対するパラメータサブスペースサンプリングを再検討する。 圧縮幾何構造を列車時間分布の集合にマッピングされた一連の訓練パラメータ上に適用し、得られた部分空間を圧縮パラメータ部分空間(cps)として表現する。 最適パラメータがCPS内に存在するシフト分布のタイプの成功と失敗モードを示す。 我々は, CPS 内の点推定値のアンサンブルが, バックドア, 逆方向, 順方向, スタイル化, 回転摂動など, 様々なテスト時間分布に対して高い平均精度が得られることを発見した。 また、CPSには様々なタスクシフトのための低損失点推定(補間、摂動、見えない、識別不能な粗いラベル)を含むことができる。 さらに,CIFAR100を用いた連続学習環境において,この特性を示す。

関連論文リスト

• Subspace Representation Learning for Sparse Linear Arrays to Localize More Sources than Sensors: A Deep Learning Methodology [19.100476521802243]
  我々はスパース線形アレイ(SLA)のサンプル共分散からコアレイ部分空間を推定する新しい手法を開発した。 このような表現を学習するために、所望部分空間と推定部分空間との分離を測る損失関数を提案する。 異なる次元の学習部分空間の計算は、新しいバッチサンプリング戦略によって高速化される。
  論文  参考訳（メタデータ） (2024-08-29T15:14:52Z)
• Semi-Supervised Coupled Thin-Plate Spline Model for Rotation Correction and Beyond [84.56978780892783]
  制御点が限られている複数のTPSを、より柔軟で強力な変換に繰り返し結合するCoupledTPSを提案する。 注記コストを考慮に入れた半教師付き学習手法を開発し、ラベルのないデータを活用することにより、ワープ品質を向上させる。 実験は、回転補正のための既存の最先端解よりもCoupledTPSの優位性と普遍性を示す。
  論文  参考訳（メタデータ） (2024-01-24T13:03:28Z)
• Direct Parameterization of Lipschitz-Bounded Deep Networks [3.883460584034766]
  本稿では,深部ニューラルネットワーク(完全接続および畳み込みの両方)の新たなパラメータ化を提案する。 リプシッツ保証は半確定プログラム(SDP)による認証に基づく最も厳密な既知の境界と等価である 直接のパラメータ化、すなわち$mathbb RN$ から SDP ベースの境界を満たす重みの集合への滑らかな写像を提供する。
  論文  参考訳（メタデータ） (2023-01-27T04:06:31Z)
• Combating Mode Collapse in GANs via Manifold Entropy Estimation [70.06639443446545]
  Generative Adversarial Networks (GAN) は、様々なタスクやアプリケーションにおいて魅力的な結果を示している。 GANのモード崩壊問題に対処するための新しいトレーニングパイプラインを提案する。
  論文  参考訳（メタデータ） (2022-08-25T12:33:31Z)
• Spectral Tensor Train Parameterization of Deep Learning Layers [136.4761580842396]
  重み行列の低ランクパラメータ化をDeep Learningコンテキストに埋め込まれたスペクトル特性を用いて検討する。 分類設定におけるニューラルネットワーク圧縮の効果と,生成的対角トレーニング設定における圧縮および安定性トレーニングの改善について述べる。
  論文  参考訳（メタデータ） (2021-03-07T00:15:44Z)
• Distribution-free binary classification: prediction sets, confidence intervals and calibration [106.50279469344937]
  分布自由条件における二項分類のための不確実性定量化(キャリブレーション、信頼区間、予測セット)の3つの概念について検討する。 固定幅と一様質量の両双対の双対確率に対する信頼区間を導出する。 我々の「三脚」定理の結果として、双有理確率に対するこれらの信頼区間は分布自由キャリブレーションに繋がる。
  論文  参考訳（メタデータ） (2020-06-18T14:17:29Z)
• The Bures Metric for Generative Adversarial Networks [10.69910379275607]
  GAN(Generative Adversarial Networks)は、高品質なサンプルを生成する高性能な生成手法である。 実バッチの多様性と偽バッチの多様性を一致させることを提案する。 多様性マッチングはモード崩壊を著しく低減し, サンプル品質に肯定的な影響を及ぼす。
  論文  参考訳（メタデータ） (2020-06-16T12:04:41Z)
• Spatially Adaptive Inference with Stochastic Feature Sampling and Interpolation [72.40827239394565]
  スパースサンプリングされた場所のみの機能を計算することを提案する。 次に、効率的な手順で特徴写像を密に再構築する。 提案したネットワークは、様々なコンピュータビジョンタスクの精度を維持しながら、かなりの計算を省くために実験的に示されている。
  論文  参考訳（メタデータ） (2020-03-19T15:36:31Z)
• Embedding Propagation: Smoother Manifold for Few-Shot Classification [131.81692677836202]
  本稿では, 組込み伝搬を非教師なし非パラメトリック正規化器として, 数ショット分類における多様体平滑化に用いることを提案する。 埋め込み伝播がより滑らかな埋め込み多様体を生み出すことを実証的に示す。 複数の半教師付き学習シナリオにおいて,埋め込み伝搬によりモデルの精度が最大16%向上することを示す。
  論文  参考訳（メタデータ） (2020-03-09T13:51:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。