論文の概要: Fast Batch Nuclear-norm Maximization and Minimization for Robust Domain Adaptation

• arxiv url: http://arxiv.org/abs/2107.06154v1
• Date: Tue, 13 Jul 2021 15:08:32 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-14 14:40:01.594973
• Title: Fast Batch Nuclear-norm Maximization and Minimization for Robust Domain Adaptation
• Title（参考訳）: ロバスト領域適応のための高速バッチ核ノルム最大化と最小化
• Authors: Shuhao Cui, Shuhui Wang, Junbao Zhuo, Liang Li, Qingming Huang and Qi Tian
• Abstract要約: ランダムに選択されたデータバッチの分類出力行列の構造について検討し,予測可能性と多様性について検討した。 本稿では,目標出力行列上で核ノルムを行い,目標予測能力を向上するBatch Nuclear-norm Maximization and Minimizationを提案する。 実験により,本手法は3つの典型的なドメイン適応シナリオにおいて適応精度とロバスト性を高めることができることが示された。
• 参考スコア（独自算出の注目度）: 154.2195491708548
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Due to the domain discrepancy in visual domain adaptation, the performance of source model degrades when bumping into the high data density near decision boundary in target domain. A common solution is to minimize the Shannon Entropy to push the decision boundary away from the high density area. However, entropy minimization also leads to severe reduction of prediction diversity, and unfortunately brings harm to the domain adaptation. In this paper, we investigate the prediction discriminability and diversity by studying the structure of the classification output matrix of a randomly selected data batch. We find by theoretical analysis that the prediction discriminability and diversity could be separately measured by the Frobenius-norm and rank of the batch output matrix. The nuclear-norm is an upperbound of the former, and a convex approximation of the latter. Accordingly, we propose Batch Nuclear-norm Maximization and Minimization, which performs nuclear-norm maximization on the target output matrix to enhance the target prediction ability, and nuclear-norm minimization on the source batch output matrix to increase applicability of the source domain knowledge. We further approximate the nuclear-norm by L_{1,2}-norm, and design multi-batch optimization for stable solution on large number of categories. The fast approximation method achieves O(n^2) computational complexity and better convergence property. Experiments show that our method could boost the adaptation accuracy and robustness under three typical domain adaptation scenarios. The code is available at https://github.com/cuishuhao/BNM.
• Abstract（参考訳）: 視覚領域適応における領域の相違のため、ソースモデルの性能は、対象領域における決定境界付近の高データ密度にぶつかると劣化する。 一般的な解決策は、シャノンエントロピーを最小化し、決定境界を高密度領域から遠ざけることである。 しかし、エントロピーの最小化は予測の多様性を著しく低下させ、残念ながらドメイン適応に害をもたらす。 本稿では,ランダムに選択されたデータバッチの分類出力行列の構造を調べることにより,予測判別性と多様性について検討する。 理論解析により, 予測判別性と多様性は, バッチ出力行列のフロベニウスノルムとランクによって別々に測定できることがわかった。 核ノルムは前者の上限であり、後者の凸近似である。 そこで本研究では,ターゲット出力マトリックス上で核ノルム最大化を行い,目標予測能力を高めるバッチ核ノルム最大化と,ソースバッチ出力マトリックスにおける核ノルム最小化を行い,ソースドメイン知識の適用性を高めるバッチ核ノルム最大化と最小化を提案する。 さらに,l_{1,2}-ノルムによる核ノルムを近似し,多数のカテゴリの安定解に対するマルチバッチ最適化を設計する。 高速近似法はo(n^2)計算の複雑さと収束性の向上を実現する。 実験により、3つの典型的なドメイン適応シナリオにおいて適応精度とロバスト性を高めることができた。 コードはhttps://github.com/cuishuhao/bnmで入手できる。

関連論文リスト

• Efficient Approximation of Expected Hypervolume Improvement using Gauss-Hermite Quadrature [0.0]
  ガウス・ハーマイト二次構造はモンテカルロの独立性および相関性のある予測密度に対する正確な代替物である。 独立性および相関性のある予測密度に対するモンテカルロの正確な代替であることを示す。
  論文  参考訳（メタデータ） (2022-06-15T22:09:48Z)
• A Dimensionality Reduction Method for Finding Least Favorable Priors with a Focus on Bregman Divergence [108.28566246421742]
  そこで本研究では,次元に明示的な有界な有限次元設定に最適化を移動させることができる次元削減法を開発した。 この問題を進展させるため、比較的大きな損失関数、すなわちブレグマンの発散によって引き起こされるベイズ的リスクに限定する。
  論文  参考訳（メタデータ） (2022-02-23T16:22:28Z)
• Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
  カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。 我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。 MRP のサブクラスに対する minimax の下位境界を証明する。
  論文  参考訳（メタデータ） (2021-09-24T14:48:20Z)
• Adaptive and Oblivious Randomized Subspace Methods for High-Dimensional Optimization: Sharp Analysis and Lower Bounds [37.03247707259297]
  2次統計が入力データを反映する相関ランダム行列をサンプリングすることにより、適切な適応部分空間を生成することができる。 ランダム化された近似の相対誤差は、データ行列のスペクトルの観点から厳密に特徴付けることができることを示した。 実験の結果,提案手法は様々な機械学習および最適化問題において,大幅な高速化を可能にすることがわかった。
  論文  参考訳（メタデータ） (2020-12-13T13:02:31Z)
• Amortized Conditional Normalized Maximum Likelihood: Reliable Out of Distribution Uncertainty Estimation [99.92568326314667]
  本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。 提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。 我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
  論文  参考訳（メタデータ） (2020-11-05T08:04:34Z)
• Large-Scale Methods for Distributionally Robust Optimization [53.98643772533416]
  我々のアルゴリズムは、トレーニングセットのサイズとパラメータの数によらず、多くの評価勾配を必要とすることを証明している。 MNIST と ImageNet の実験により,本手法の 9-36 倍の効率性を持つアルゴリズムの理論的スケーリングが確認された。
  論文  参考訳（メタデータ） (2020-10-12T17:41:44Z)
• Fundamental Limits of Ridge-Regularized Empirical Risk Minimization in High Dimensions [41.7567932118769]
  経験的リスク最小化アルゴリズムは、様々な推定や予測タスクで広く利用されている。 本稿では,コンベックスEMMの統計的精度に関する基礎的限界を推論のために初めて特徴づける。
  論文  参考訳（メタデータ） (2020-06-16T04:27:38Z)
• Towards Discriminability and Diversity: Batch Nuclear-norm Maximization under Label Insufficient Situations [154.51144248210338]
  Batch Nuclear-norm Maximization (BNM) は、学習シナリオのラベルが不十分な場合の学習を促進するために提案されている。 BNMはライバルより優れており、既存のよく知られた手法でうまく機能する。
  論文  参考訳（メタデータ） (2020-03-27T05:04:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。