論文の概要: von Mises--Fisher Loss: An Exploration of Embedding Geometries for Supervised Learning

• arxiv url: http://arxiv.org/abs/2103.15718v1
• Date: Mon, 29 Mar 2021 16:07:09 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-30 15:19:09.274994
• Title: von Mises--Fisher Loss: An Exploration of Embedding Geometries for Supervised Learning
• Title（参考訳）: von Mises-Fisher Loss: 教師付き学習のための埋め込みジオメトリの探索
• Authors: Tyler R. Scott and Andrew C. Gallagher and Michael C. Mozer
• Abstract要約: 最近の研究では、softmaxクロスエントロピーを用いた分類損失は、固定セット分類タスクだけでなく、オープンセットタスクにも優れていると主張している。 各種固定集合分類および画像検索タスクにおけるソフトマックス損失に対する埋め込み幾何の実証的検討を行う。
• 参考スコア（独自算出の注目度）: 12.37528281037283
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent work has argued that classification losses utilizing softmax cross-entropy are superior not only for fixed-set classification tasks, but also by outperforming losses developed specifically for open-set tasks including few-shot learning and retrieval. Softmax classifiers have been studied using different embedding geometries -- Euclidean, hyperbolic, and spherical -- and claims have been made about the superiority of one or another, but they have not been systematically compared with careful controls. We conduct an empirical investigation of embedding geometry on softmax losses for a variety of fixed-set classification and image retrieval tasks. An interesting property observed for the spherical losses lead us to propose a probabilistic classifier based on the von Mises--Fisher distribution, and we show that it is competitive with state-of-the-art methods while producing improved out-of-the-box calibration. We provide guidance regarding the trade-offs between losses and how to choose among them.
• Abstract（参考訳）: 近年の研究では、ソフトマックスクロスエントロピーを用いた分類損失は、固定集合の分類タスクだけでなく、オープンセットの学習や検索を含むオープンセットのタスクで特別に開発された損失よりも優れていると論じられている。 ソフトマックス分類器は、ユークリッド、双曲、球面といった異なる埋め込み幾何学を用いて研究され、一方の優越性について主張されているが、これらは注意深い制御と体系的に比較されていない。 各種固定集合分類および画像検索タスクにおけるソフトマックス損失の埋め込み幾何について,実験的検討を行った。 球面損失に対して観察された興味深い性質は,フォン・ミセス・フィッシャー分布に基づく確率的分類器を提案することにつながる。 損失間のトレードオフとそれらの選択方法に関するガイダンスを提供する。

関連論文リスト

• Anti-Collapse Loss for Deep Metric Learning Based on Coding Rate Metric [99.19559537966538]
  DMLは、分類、クラスタリング、検索といった下流タスクのための識別可能な高次元埋め込み空間を学習することを目的としている。 埋め込み空間の構造を維持し,特徴の崩壊を避けるために,反崩壊損失と呼ばれる新しい損失関数を提案する。 ベンチマークデータセットの総合実験により,提案手法が既存の最先端手法より優れていることを示す。
  論文  参考訳（メタデータ） (2024-07-03T13:44:20Z)
• Center Contrastive Loss for Metric Learning [8.433000039153407]
  本稿では,Central Contrastive Lossと呼ばれる新しいメトリック学習機能を提案する。 クラスワイド・センタ・バンクを維持し、コントラッシブ・ロスを用いてカテゴリセンターとクエリデータポイントを比較している。 提案した損失は、対比法と分類法の両方の利点を組み合わせたものである。
  論文  参考訳（メタデータ） (2023-08-01T11:22:51Z)
• Learning Towards the Largest Margins [83.7763875464011]
  損失関数は、クラスとサンプルの両方の最大のマージンを促進するべきである。 この原則化されたフレームワークは、既存のマージンベースの損失を理解し、解釈するための新しい視点を提供するだけでなく、新しいツールの設計を導くことができます。
  論文  参考訳（メタデータ） (2022-06-23T10:03:03Z)
• Revisiting lp-constrained Softmax Loss: A Comprehensive Study [2.570570340104555]
  そこで本研究では,lp制約付きソフトマックス損失分類器の性能について検討した。 実験結果から,lp制約のソフトマックス損失分類器はより正確な分類結果が得られることが示唆された。 我々は,lp正規化が画像分類において,性能と収束性の観点から推奨されるデータ表現の実践であることを示唆する。
  論文  参考訳（メタデータ） (2022-06-20T08:03:12Z)
• Large-Scale Sequential Learning for Recommender and Engineering Systems [91.3755431537592]
  本稿では,現在の状況に適応してパーソナライズされたランキングを提供する自動アルゴリズムの設計に焦点を当てる。 前者はSAROSと呼ばれる新しいアルゴリズムを提案し,インタラクションの順序を学習するためのフィードバックの種類を考慮に入れている。 提案手法は, 電力網の故障検出に対する初期アプローチと比較して, 統計的に有意な結果を示す。
  論文  参考訳（メタデータ） (2022-05-13T21:09:41Z)
• A Decidability-Based Loss Function [2.5919311269669003]
  生体認証問題は、ディープラーニングモデルを使用して画像から特徴を抽出する。 本研究では,検証ルーチンの埋め込み品質を向上させるために,決定可能性指数に基づく損失関数を提案する。 提案手法は,4つのベンチマークにおいて,ソフトマックス(クロスエントロピー),トリプレットソフトハード,マルチ類似性損失に対して比較される。
  論文  参考訳（メタデータ） (2021-09-12T14:26:27Z)
• Adversarial Robustness via Fisher-Rao Regularization [33.134075068748984]
  適応的堅牢性は、機械学習への関心の高まりのトピックとなっている。 火はカテゴリーのクロスエントロピー損失に対する新しいフィッシャー・ラオ正規化である。
  論文  参考訳（メタデータ） (2021-06-12T04:12:58Z)
• Shaping Deep Feature Space towards Gaussian Mixture for Visual Classification [74.48695037007306]
  視覚分類のためのディープニューラルネットワークのためのガウス混合損失関数(GM)を提案する。 分類マージンと可能性正規化により、GM損失は高い分類性能と特徴分布の正確なモデリングの両方を促進する。 提案したモデルは、追加のトレーニング可能なパラメータを使わずに、簡単かつ効率的に実装できる。
  論文  参考訳（メタデータ） (2020-11-18T03:32:27Z)
• Robustifying Binary Classification to Adversarial Perturbation [45.347651499585055]
  本稿では,対向摂動を伴う二分分類の問題について考察する。 データを操作する際の敵の力を考慮に入れたマックスマージン分類器に一般化を導入する。 損失関数に関するいくつかの軽微な仮定の下では、勾配降下がその方向のRM分類器に収束することを理論的に示す。
  論文  参考訳（メタデータ） (2020-10-29T07:20:37Z)
• Rethinking preventing class-collapsing in metric learning with margin-based losses [81.22825616879936]
  メトリクス学習は、視覚的に類似したインスタンスが近接し、異なるインスタンスが分離した埋め込みを求める。 マージンベースの損失は、クラスの全サンプルを埋め込み空間の単一点に投影する傾向がある。 そこで本研究では,各サンプルが最寄りの同一クラスをバッチで選択するように,埋め込み損失の簡易な修正を提案する。
  論文  参考訳（メタデータ） (2020-06-09T09:59:25Z)
• Provable tradeoffs in adversarially robust classification [96.48180210364893]
  我々は、ロバストなイソペリメトリに関する確率論の最近のブレークスルーを含む、新しいツールを開発し、活用する。 この結果から,データの不均衡時に増加する標準精度とロバスト精度の基本的なトレードオフが明らかになった。
  論文  参考訳（メタデータ） (2020-06-09T09:58:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。