論文の概要: Atlas Based Representation and Metric Learning on Manifolds

• arxiv url: http://arxiv.org/abs/2106.07062v1
• Date: Sun, 13 Jun 2021 18:05:46 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-15 16:27:51.064009
• Title: Atlas Based Representation and Metric Learning on Manifolds
• Title（参考訳）: アトラスによるマニフォールドの表現とメトリック学習
• Authors: Eric O. Korman
• Abstract要約: 本稿では,ニューラルネットワークに基づく表現学習タスクのターゲット空間として,グラフの集合として表される位相多様体の利用について検討する。 これは、エンコーダのネットワークアーキテクチャの出力に対する簡単な調整と、正規化のための最大平均不一致(MMD)に基づく損失関数の追加によって達成される。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We explore the use of a topological manifold, represented as a collection of charts, as the target space of neural network based representation learning tasks. This is achieved by a simple adjustment to the output of an encoder's network architecture plus the addition of a maximal mean discrepancy (MMD) based loss function for regularization. Most algorithms in representation and metric learning are easily adaptable to our framework and we demonstrate its effectiveness by adjusting SimCLR (for representation learning) and standard triplet loss training (for metric learning) to have manifold encoding spaces. Our experiments show that we obtain a substantial performance boost over the baseline for low dimensional encodings. In the case of triplet training, we also find, independent of the manifold setup, that the MMD loss alone (i.e. keeping a flat, euclidean target space but using an MMD loss to regularize it) increases performance over the baseline in the typical, high-dimensional Euclidean target spaces. Code for reproducing experiments is provided at https://github.com/ekorman/neurve .
• Abstract（参考訳）: 本稿では,ニューラルネットワークに基づく表現学習タスクのターゲット空間として,グラフの集合として表される位相多様体の利用について検討する。 これは、エンコーダのネットワークアーキテクチャの出力に対する簡単な調整と、正規化のための最大平均不一致(MMD)に基づく損失関数の追加によって達成される。 表現とメトリック学習のほとんどのアルゴリズムは、我々のフレームワークに容易に適応でき、その効果は、simclr(表現学習)と標準三重項損失トレーニング(計量学習)を、多様体符号化空間を持つように調整することで示します。 実験の結果,低次元符号化におけるベースライン上での性能向上が得られた。 三重項トレーニングの場合、多様体のセットアップとは独立に、MDDの損失は単独(すなわち)であることが分かる。 平坦なユークリッド対象空間を維持しつつも、mmdの損失を使って正規化する)典型的な高次元ユークリッド対象空間のベースラインよりも性能が向上する。 実験を再現するためのコードはhttps://github.com/ekorman/neurve.orgにある。

関連論文リスト

• Gradient Boosting Mapping for Dimensionality Reduction and Feature Extraction [2.778647101651566]
  教師あり学習における根本的な問題は、優れた特徴や距離尺度を見つけることである。 本稿では,弱い学習者の出力が埋め込みを定義する,教師付き次元削減手法を提案する。 組込み座標は教師付き学習タスクにより良い機能を提供することを示す。
  論文  参考訳（メタデータ） (2024-05-14T10:23:57Z)
• Class Anchor Margin Loss for Content-Based Image Retrieval [97.81742911657497]
  距離学習パラダイムに該当する新しいレペラ・トラクタ損失を提案するが、ペアを生成する必要がなく、直接L2メトリックに最適化する。 CBIRタスクにおいて,畳み込みアーキテクチャと変圧器アーキテクチャの両方を用いて,少数ショットおよびフルセットトレーニングの文脈で提案した目的を評価する。
  論文  参考訳（メタデータ） (2023-06-01T12:53:10Z)
• Improving Deep Representation Learning via Auxiliary Learnable Target Coding [69.79343510578877]
  本稿では,深層表現学習の補助的正規化として,新たな学習対象符号化を提案する。 具体的には、より差別的な表現を促進するために、マージンベースの三重項損失と、提案した目標符号上の相関整合損失を設計する。
  論文  参考訳（メタデータ） (2023-05-30T01:38:54Z)
• State Representation Learning Using an Unbalanced Atlas [8.938418994111716]
  本稿では,非平衡アトラス(UA)を用いた,最先端の自己教師型学習手法を超越した新しい学習パラダイムを提案する。 DIM-UAの有効性は、Atari Annotated RAM Interfaceベンチマークのトレーニングと評価を通じて実証される。
  論文  参考訳（メタデータ） (2023-05-17T14:58:58Z)
• Federated Representation Learning via Maximal Coding Rate Reduction [109.26332878050374]
  本稿では,複数のクライアントに分散したデータセットから低次元表現を学習する手法を提案する。 提案手法はFLOWと呼ばれ, MCR2を選択の対象とし, その結果, クラス間判別とクラス内圧縮の両方が可能な表現が得られた。
  論文  参考訳（メタデータ） (2022-10-01T15:43:51Z)
• Contrastive Neighborhood Alignment [81.65103777329874]
  本稿では,学習特徴のトポロジを維持するための多様体学習手法であるContrastive Neighborhood Alignment(CNA)を提案する。 対象モデルは、対照的な損失を用いて、ソース表現空間の局所構造を模倣することを目的としている。 CNAは3つのシナリオで説明される: 多様体学習、モデルが元のデータの局所的なトポロジーを次元還元された空間で維持する、モデル蒸留、小さな学生モデルがより大きな教師を模倣するために訓練される、レガシーモデル更新、より強力なモデルに置き換えられる、という3つのシナリオである。
  論文  参考訳（メタデータ） (2022-01-06T04:58:31Z)
• Dissecting Supervised Constrastive Learning [24.984074794337157]
  高容量エンコーダで構成された線形マップのソフトマックススコアよりもクロスエントロピーを最小化することは、教師付き学習タスクでニューラルネットワークを訓練するための最も一般的な選択肢である。 コントラスト目的の教師付き変種を通して等しく(あるいはそれ以上)識別表現を得るために、エンコーダを直接最適化することができることを示す。
  論文  参考訳（メタデータ） (2021-02-17T15:22:38Z)
• LiteDepthwiseNet: An Extreme Lightweight Network for Hyperspectral Image Classification [9.571458051525768]
  本稿では,HSI分類のための新しいネットワークアーキテクチャLiteDepthwiseNetを提案する。 LiteDepthwiseNetは、標準の畳み込みを深さ方向の畳み込みと点方向の畳み込みに分解し、最小限のパラメータで高い分類性能を達成する。 3つのベンチマークハイパースペクトルデータセットによる実験結果から、LiteDepthwiseNetは、非常に少ないパラメータと少ない計算コストで最先端のパフォーマンスを達成することが示された。
  論文  参考訳（メタデータ） (2020-10-15T13:12:17Z)
• MetricUNet: Synergistic Image- and Voxel-Level Learning for Precise CT Prostate Segmentation via Online Sampling [66.01558025094333]
  本稿では,前立腺領域を高速に局在させる第1段階と,前立腺領域を正確に区分する第2段階の2段階のフレームワークを提案する。 マルチタスクネットワークにおけるボクセルワイドサンプリングによる新しいオンラインメトリック学習モジュールを提案する。 本手法は,従来のクロスエントロピー学習法やDice損失学習法と比較して,より代表的なボクセルレベルの特徴を効果的に学習することができる。
  論文  参考訳（メタデータ） (2020-05-15T10:37:02Z)
• Scan-based Semantic Segmentation of LiDAR Point Clouds: An Experimental Study [2.6205925938720833]
  最先端の手法では、深いニューラルネットワークを使用して、LiDARスキャンの各点のセマンティッククラスを予測する。 LiDAR測定を処理するための強力で効率的な方法は、2次元の画像のような投影を使うことである。 メモリの制約だけでなく、パフォーマンスの向上やランタイムの改善など、さまざまなテクニックを実証する。
  論文  参考訳（メタデータ） (2020-04-06T11:08:12Z)
• Learning to Hash with Graph Neural Networks for Recommender Systems [103.82479899868191]
  グラフ表現学習は、大規模に高品質な候補探索をサポートすることに多くの注目を集めている。 ユーザ・イテム相互作用ネットワークにおけるオブジェクトの埋め込みベクトルの学習の有効性にもかかわらず、連続的な埋め込み空間におけるユーザの好みを推測する計算コストは膨大である。 連続的かつ離散的なコードとを協調的に学習するための,単純かつ効果的な離散表現学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-04T06:59:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。