論文の概要: Max-Margin is Dead, Long Live Max-Margin!
- arxiv url: http://arxiv.org/abs/2105.15069v1
- Date: Mon, 31 May 2021 15:55:52 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-01 20:54:38.989333
- Title: Max-Margin is Dead, Long Live Max-Margin!
- Title（参考訳）: Max-Margin is Dead, Long Live Max-Margin!
- Authors: Alex Nowak-Vila, Alessandro Rudi, Francis Bach
- Abstract要約: 最大マージン損失は、距離間の誤差を計測する離散損失について、非常に限定的な仮定の下では、分類タスクと整合性しか持たないことが示される。
Restricted-Max-Marginでは、損失増大スコアが維持されるが、元のドメインのサブセット上で実行される。
- 参考スコア（独自算出の注目度）: 87.90853526750716
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The foundational concept of Max-Margin in machine learning is ill-posed for
output spaces with more than two labels such as in structured prediction. In
this paper, we show that the Max-Margin loss can only be consistent to the
classification task under highly restrictive assumptions on the discrete loss
measuring the error between outputs. These conditions are satisfied by
distances defined in tree graphs, for which we prove consistency, thus being
the first losses shown to be consistent for Max-Margin beyond the binary
setting. We finally address these limitations by correcting the concept of
Max-Margin and introducing the Restricted-Max-Margin, where the maximization of
the loss-augmented scores is maintained, but performed over a subset of the
original domain. The resulting loss is also a generalization of the binary
support vector machine and it is consistent under milder conditions on the
discrete loss.
- Abstract（参考訳）: 機械学習におけるmax-marginの基本概念は、構造化予測のような2つ以上のラベルを持つ出力空間では不適切である。
本稿では,出力間の誤差を測定する離散損失について,高い制約条件下での分類タスクにのみ最大マージン損失が一致することを示す。
これらの条件は、整合性を証明する木グラフで定義される距離によって満たされるため、マックス=マージンが二進集合を超えて一貫したことを示す最初の損失である。
最終的に、max-marginの概念を正し、loss-augmented scoreの最大化は維持されるが、元のドメインのサブセット上で実行される制限max-marginを導入することで、これらの制限に対処する。
結果として生じる損失は、二元サポートベクトルマシンの一般化であり、離散損失に関するより穏やかな条件下では一貫している。
関連論文リスト
- Spectral Aware Softmax for Visible-Infrared Person Re-Identification [123.69049942659285]
Visible-infrared person re-identification (VI-ReID) は、異なるモードの歩行者画像とマッチングすることを目的としている。
既存の手法は依然として、単一モダリティ分類タスクで広く使われているソフトマックス損失訓練パラダイムに従っている。
そこで本研究では, スペクトル対応ソフトマックス(SA-Softmax)の損失について提案する。
論文 参考訳（メタデータ） (2023-02-03T02:57:18Z) - Joint Discriminative and Metric Embedding Learning for Person
Re-Identification [8.137833258504381]
個人の再識別は,非制限的ニュアンス要因によって引き起こされるクラス内ばらつきが高いため,困難な課題である。
最近のアプローチでは、強力なアーキテクチャはニュアンス要因に不変な特徴表現を学習する能力を持っていると仮定されている。
論文 参考訳（メタデータ） (2022-12-28T22:08:42Z) - A Non-Asymptotic Moreau Envelope Theory for High-Dimensional Generalized
Linear Models [33.36787620121057]
ガウス空間の任意のクラスの線型予測器を示す新しい一般化境界を証明した。
私たちは、Zhou et al. (2021) の「最適化率」を直接回復するために、有限サンプルバウンドを使用します。
ローカライズされたガウス幅を用いた有界一般化の適用は、一般に経験的リスク最小化に対してシャープであることを示す。
論文 参考訳（メタデータ） (2022-10-21T16:16:55Z) - Calibrating Segmentation Networks with Margin-based Label Smoothing [19.669173092632]
現状のキャリブレーション損失に対する統一的制約最適化の視点を提供する。
これらの損失は、ロジット距離に等しい制約を課す線形ペナルティの近似と見なすことができる。
我々は不等式制約に基づく単純で柔軟な一般化を提案し、ロジット距離に制御可能なマージンを課す。
論文 参考訳（メタデータ） (2022-09-09T20:21:03Z) - Learning Towards the Largest Margins [83.7763875464011]
損失関数は、クラスとサンプルの両方の最大のマージンを促進するべきである。
この原則化されたフレームワークは、既存のマージンベースの損失を理解し、解釈するための新しい視点を提供するだけでなく、新しいツールの設計を導くことができます。
論文 参考訳（メタデータ） (2022-06-23T10:03:03Z) - On the Equity of Nuclear Norm Maximization in Unsupervised Domain
Adaptation [53.29437277730871]
核ノルムは、教師なし領域適応モデルの転送可能性を高める力を示している。
クラスレベルとサンプルレベルから予測的差別性と株式の両方を最大化する2つの新たな損失が提案されている。
論文 参考訳（メタデータ） (2022-04-12T07:55:47Z) - The Devil is in the Margin: Margin-based Label Smoothing for Network
Calibration [21.63888208442176]
ディープニューラルネットワークの優位な性能にもかかわらず、最近の研究では、それらが十分に校正されていないことが示されている。
現状のキャリブレーション損失に対する統一的制約最適化の視点を提供する。
我々は不等式制約に基づく単純で柔軟な一般化を提案し、ロジット距離に制御可能なマージンを課す。
論文 参考訳（メタデータ） (2021-11-30T14:21:47Z) - Real Additive Margin Softmax for Speaker Verification [14.226089039985151]
AM-Softmaxの損失は、真のマックスマージントレーニングを実装していないことを示す。
ソフトマックストレーニングにおいて真のマージン関数を含むリアルAM-Softmax損失を示す。
論文 参考訳（メタデータ） (2021-10-18T09:11:14Z) - Distribution of Classification Margins: Are All Data Equal? [61.16681488656473]
我々は理論的に動機付け、トレーニングセット上のマージン分布の曲線の下の領域が実際は一般化のよい尺度であることを実証的に示す。
結果として生じる"高いキャパシティ"機能のサブセットは、異なるトレーニング実行間で一貫性がない。
論文 参考訳（メタデータ） (2021-07-21T16:41:57Z) - Consistent Structured Prediction with Max-Min Margin Markov Networks [84.60515484036239]
二項分類のためのマックスマージン法は、最大マージンマルコフネットワーク(M3N$)の名前で構造化予測設定まで拡張されている。
我々は、学習問題を"max-min"マージンの定式化で定義し、結果のメソッドmax-minマージンマルコフネットワーク(M4N$)を命名することで、そのような制限を克服する。
マルチクラス分類,順序回帰,シーケンス予測,ランキング実験により,提案手法の有効性が示された。
論文 参考訳（メタデータ） (2020-07-02T10:48:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。