論文の概要: Distance Learner: Incorporating Manifold Prior to Model Training

• arxiv url: http://arxiv.org/abs/2207.06888v1
• Date: Thu, 14 Jul 2022 13:07:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-15 13:11:35.229126
• Title: Distance Learner: Incorporating Manifold Prior to Model Training
• Title（参考訳）: 距離学習者:モデルトレーニングの前に多様体を組み込む
• Authors: Aditya Chetan, Nipun Kwatra
• Abstract要約: 本稿では,最新のDeep Neural Networks (DNN) において,多様体仮説を先行として組み込む新しい手法である距離学習器を提案する。 分類において、距離学習者は最も近い予測されたクラス多様体に対応するクラスを選択する。 本手法は, 対向ロバスト性(対向ロバスト性)の課題において評価し, 標準分類器を大きなマージンで上回るだけでなく, 最先端の対向訓練によって訓練された分類器と同等に性能を発揮することを示した。
• 参考スコア（独自算出の注目度）: 1.6752182911522522
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The manifold hypothesis (real world data concentrates near low-dimensional manifolds) is suggested as the principle behind the effectiveness of machine learning algorithms in very high dimensional problems that are common in domains such as vision and speech. Multiple methods have been proposed to explicitly incorporate the manifold hypothesis as a prior in modern Deep Neural Networks (DNNs), with varying success. In this paper, we propose a new method, Distance Learner, to incorporate this prior for DNN-based classifiers. Distance Learner is trained to predict the distance of a point from the underlying manifold of each class, rather than the class label. For classification, Distance Learner then chooses the class corresponding to the closest predicted class manifold. Distance Learner can also identify points as being out of distribution (belonging to neither class), if the distance to the closest manifold is higher than a threshold. We evaluate our method on multiple synthetic datasets and show that Distance Learner learns much more meaningful classification boundaries compared to a standard classifier. We also evaluate our method on the task of adversarial robustness, and find that it not only outperforms standard classifier by a large margin, but also performs at par with classifiers trained via state-of-the-art adversarial training.
• Abstract（参考訳）: 多様体仮説(実世界データは低次元多様体の近くに集中する)は、視覚や音声などの領域に共通する非常に高次元問題における機械学習アルゴリズムの有効性の原理として提案される。 現代のディープニューラルネットワーク(dnn)に先立って、多様体仮説を明示的に取り入れるための複数の方法が提案されている。 本稿では,これをdnnに基づく分類器に組み込むための新しい手法である距離学習器を提案する。 距離学習者は、クラスラベルではなく、各クラスの下位多様体からポイントの距離を予測するように訓練される。 分類のために、距離学習者は最も近い予測クラス多様体に対応するクラスを選択する。 距離学習者は、最も近い多様体への距離がしきい値よりも高い場合、分布から外れた点(どちらのクラスにも及ばない)を特定できる。 提案手法を複数の合成データセット上で評価し,標準分類器と比較して,距離学習者がより意味のある分類境界を学習することを示す。 また, 対角的頑健さの課題に対する本手法の評価を行い, 標準分類器を大差で上回るだけでなく, 最先端の対角訓練によって訓練された分類器と同等に性能を発揮することを示した。

関連論文リスト

• Enhancing Visual Continual Learning with Language-Guided Supervision [76.38481740848434]
  継続的な学習は、モデルが以前獲得した知識を忘れずに新しいタスクを学習できるようにすることを目的としている。 ワンホットラベルが伝達する少ない意味情報は,タスク間の効果的な知識伝達を妨げている,と我々は主張する。 具体的には, PLM を用いて各クラスのセマンティックターゲットを生成し, 凍結し, 監視信号として機能する。
  論文  参考訳（メタデータ） (2024-03-24T12:41:58Z)
• FeCAM: Exploiting the Heterogeneity of Class Distributions in Exemplar-Free Continual Learning [21.088762527081883]
  Exemplar-free class-incremental learning (CIL)は、以前のタスクからのデータのリハーサルを禁止しているため、いくつかの課題がある。 第1タスクの後に特徴抽出器を凍結して分類器を漸進的に学習する手法が注目されている。 凍結した特徴抽出器を用いて新しいクラスプロトタイプを生成するCILのプロトタイプネットワークを探索し,プロトタイプとのユークリッド距離に基づいて特徴を分類する。
  論文  参考訳（メタデータ） (2023-09-25T11:54:33Z)
• Equiangular Basis Vectors [26.520084199562692]
  ディープニューラルネットワークでは、モデルは通常、異なる分類タスクを処理するために、ソフトマックスを備えたkウェイ完全に接続された層で終わる。 分類タスクのための等角基底ベクトル(EBV)を提案する。 EBVは2022年のDIGIX Global AI Challengeで優勝しました。
  論文  参考訳（メタデータ） (2023-03-21T07:08:51Z)
• Constructing Balance from Imbalance for Long-tailed Image Recognition [50.6210415377178]
  多数派(頭)クラスと少数派(尾)クラスの不均衡は、データ駆動のディープニューラルネットワークを著しく歪ませる。 従来の手法では、データ分散、特徴空間、モデル設計の観点からデータ不均衡に対処していた。 ラベル空間を段階的に調整し,ヘッドクラスとテールクラスを分割することで,簡潔なパラダイムを提案する。 提案モデルでは,特徴評価手法も提供し,長期的特徴学習の道を開く。
  論文  参考訳（メタデータ） (2022-08-04T10:22:24Z)
• CAR: Class-aware Regularizations for Semantic Segmentation [20.947897583427192]
  特徴学習におけるクラス内分散とクラス間距離を最適化するためのクラス認識正規化(CAR)手法を提案する。 本手法は,OCRやCPNetを含む既存のセグメンテーションモデルに容易に適用することができる。
  論文  参考訳（メタデータ） (2022-03-14T15:02:48Z)
• Self-Training: A Survey [5.772546394254112]
  半教師付きアルゴリズムは、ラベル付き観測の小さなセットとラベルなし観測の大きなセットから予測関数を学習することを目的としている。 近年,自己学習手法が注目されていることは確かである。 本稿では,バイナリクラスとマルチクラス分類のための自己学習手法と,その変種と関連する2つのアプローチを提案する。
  論文  参考訳（メタデータ） (2022-02-24T11:40:44Z)
• Rethinking Nearest Neighbors for Visual Classification [56.00783095670361]
  k-NNは、トレーニングセット内のテストイメージとトップk隣人間の距離を集約する遅延学習手法である。 我々は,教師付き手法と自己監督型手法のいずれでも,事前学習した視覚表現を持つk-NNを2つのステップで採用する。 本研究は,幅広い分類タスクに関する広範な実験により,k-NN統合の汎用性と柔軟性を明らかにした。
  論文  参考訳（メタデータ） (2021-12-15T20:15:01Z)
• OVANet: One-vs-All Network for Universal Domain Adaptation [78.86047802107025]
  既存のメソッドは、検証または未知のサンプルの事前定義された比率に基づいて未知のサンプルを拒否するしきい値を手動で設定します。 本稿では,ソースサンプルを用いて閾値を学習し,対象領域に適応する手法を提案する。 私たちの考えは、ソースドメインの最小クラス間距離は、ターゲットの既知のか未知かを決定するための良いしきい値であるべきです。
  論文  参考訳（メタデータ） (2021-04-07T18:36:31Z)
• Binary Classification from Multiple Unlabeled Datasets via Surrogate Set Classification [94.55805516167369]
  我々は m 個の U 集合を $mge2$ で二進分類する新しい手法を提案する。 我々のキーとなる考え方は、サロゲート集合分類(SSC)と呼ばれる補助的分類タスクを考えることである。
  論文  参考訳（メタデータ） (2021-02-01T07:36:38Z)
• Learning and Evaluating Representations for Deep One-class Classification [59.095144932794646]
  ディープワンクラス分類のための2段階フレームワークを提案する。 まず,一級データから自己教師付き表現を学習し,学習した表現に基づいて一級分類器を構築する。 実験では、視覚領域の1クラス分類ベンチマークで最先端の性能を示す。
  論文  参考訳（メタデータ） (2020-11-04T23:33:41Z)
• Beyond cross-entropy: learning highly separable feature distributions for robust and accurate classification [22.806324361016863]
  本稿では, 対角的ロバスト性を提供する, ディープロバストなマルチクラス分類器を訓練するための新しい手法を提案する。 提案手法に基づく潜在空間の正則化は,優れた分類精度が得られることを示す。
  論文  参考訳（メタデータ） (2020-10-29T11:15:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。