論文の概要: An Embedding Framework for the Design and Analysis of Consistent Polyhedral Surrogates

• arxiv url: http://arxiv.org/abs/2206.14707v1
• Date: Wed, 29 Jun 2022 15:16:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-30 22:26:09.929899
• Title: An Embedding Framework for the Design and Analysis of Consistent Polyhedral Surrogates
• Title（参考訳）: 整合多面体サロゲートの設計と解析のための埋め込みフレームワーク
• Authors: Jessie Finocchiaro, Rafael M. Frongillo, Bo Waggoner
• Abstract要約: コンベックス・サロゲート損失関数の組込みによる設計を,分類,ランキング,構造化リンクなどの問題に対して検討する。 埋め込みは、一貫したリンク関数と一貫したリンク関数をもたらす。 私たちの結果は、いくつかの例を示すように、構成的です。
• 参考スコア（独自算出の注目度）: 17.596501992526477
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We formalize and study the natural approach of designing convex surrogate loss functions via embeddings, for problems such as classification, ranking, or structured prediction. In this approach, one embeds each of the finitely many predictions (e.g. rankings) as a point in $R^d$, assigns the original loss values to these points, and "convexifies" the loss in some way to obtain a surrogate. We establish a strong connection between this approach and polyhedral (piecewise-linear convex) surrogate losses: every discrete loss is embedded by some polyhedral loss, and every polyhedral loss embeds some discrete loss. Moreover, an embedding gives rise to a consistent link function as well as linear surrogate regret bounds. Our results are constructive, as we illustrate with several examples. In particular, our framework gives succinct proofs of consistency or inconsistency for various polyhedral surrogates in the literature, and for inconsistent surrogates, it further reveals the discrete losses for which these surrogates are consistent. We go on to show additional structure of embeddings, such as the equivalence of embedding and matching Bayes risks, and the equivalence of various notions of non-redudancy. Using these results, we establish that indirect elicitation, a necessary condition for consistency, is also sufficient when working with polyhedral surrogates.
• Abstract（参考訳）: 分類,ランク付け,構造化予測といった問題に対して,埋め込みによる損失関数のサーロゲートを設計する自然なアプローチを定式化し,検討する。 このアプローチでは、各有限個の予測(例えばランク)を$R^d$の点として埋め込み、元の損失値をこれらの点に割り当て、何らかの方法で損失を「凸化」して代理値を得る。 このアプローチと多面体(一方向線形凸)の損失との間には強いつながりがあり、各離散損失は多面体損失によって埋め込まれ、各多面体損失はいくつかの離散損失を埋め込む。 さらに、埋め込みは、線形サロゲートの後悔境界と同様に一貫したリンク関数をもたらす。 私たちの結果は、いくつかの例で示すように、建設的です。 特に,本研究の枠組みは,文献における多面体サロゲートの整合性や不整合性を簡潔に証明し,不整合サロゲートに対しては,これらのサロゲートが一貫した離散的損失を明らかにする。 我々は、埋め込みの等価性やベイズリスクの一致、非冗長性の様々な概念の等価性など、埋め込みのさらなる構造を示す。 これらの結果から,多面体サロゲートを用いた場合, 間接的収縮は, 整合性に必要な条件であることがわかった。

関連論文リスト

• Enhanced $H$-Consistency Bounds [30.389055604165222]
  条件付き後悔に関するより一般的な不等式に基づく拡張された$H$一貫性境界を確立するための枠組みを提案する。 我々の定理は、既存の結果を特別な場合とみなすが、様々なシナリオにおいてより好ましい境界の導出を可能にする。 これには、標準のマルチクラス分類、Tsybakovノイズ条件下でのバイナリクラスとマルチクラス分類、二部分類が含まれる。
  論文  参考訳（メタデータ） (2024-07-18T17:22:40Z)
• Inference with non-differentiable surrogate loss in a general high-dimensional classification framework [4.792322531593389]
  仮説テストと区間推定を構築するために,カーネルスムーズな非相関スコアを提案する。 具体的には、不連続点近傍の不連続勾配を滑らかにするためにカーネル近似を採用する。 カーネルスムースなデコラートスコアとそのクロスフィットバージョンを高次元設定で限定分布として確立する。
  論文  参考訳（メタデータ） (2024-05-20T01:50:35Z)
• Expressive Losses for Verified Robustness via Convex Combinations [67.54357965665676]
  本研究では, 過近似係数と異なる表現的損失に対する性能分布の関係について検討した。 表現性が不可欠である一方で、最悪の場合の損失のより良い近似は、必ずしも優れた堅牢性-正確性トレードオフに結びついていないことを示す。
  論文  参考訳（メタデータ） (2023-05-23T12:20:29Z)
• General Loss Functions Lead to (Approximate) Interpolation in High Dimensions [6.738946307589741]
  閉形式における勾配降下の暗黙バイアスを概ね特徴づける統一的な枠組みを提供する。 具体的には、暗黙バイアスが高次元の最小ノルムに近似されている(正確には同値ではない)ことを示す。 また,本フレームワークは,バイナリとマルチクラス設定間で指数関数的に制限された損失に対して,既存の正確な等価性を回復する。
  論文  参考訳（メタデータ） (2023-03-13T21:23:12Z)
• On the Importance of Gradient Norm in PAC-Bayesian Bounds [92.82627080794491]
  対数ソボレフ不等式の縮約性を利用する新しい一般化法を提案する。 我々は、この新たな損失段階的ノルム項が異なるニューラルネットワークに与える影響を実証的に分析する。
  論文  参考訳（メタデータ） (2022-10-12T12:49:20Z)
• Bias-Variance Decompositions for Margin Losses [3.574241508860471]
  厳格な凸マージン損失に対して、予測されるリスクは「中央」モデルのリスクに分解されることを示す。 これらの分解は、モデルオーバーフィット/アンダーフィットを理解するための診断ツールを提供する。
  論文  参考訳（メタデータ） (2022-04-26T08:45:43Z)
• Calibration and Consistency of Adversarial Surrogate Losses [46.04004505351902]
  adrialversa robustnessは、アプリケーションにおける分類器のますます重要な特性である。 しかし、どの代理損失を使うべきで、いつ理論的保証から利益を得るのか? 本稿では, H-calibration と H-consistency of adversarial surrogate loss の詳細な分析を含む, この問題の広範な研究について述べる。
  論文  参考訳（メタデータ） (2021-04-19T21:58:52Z)
• Deconfounding Scores: Feature Representations for Causal Effect Estimation with Weak Overlap [140.98628848491146]
  推定対象の偏りを伴わずに高い重なりを生じさせる,デコンファウンディングスコアを導入する。 分離スコアは観測データで識別可能なゼロ共分散条件を満たすことを示す。 特に,この手法が標準正規化の魅力的な代替となることを示す。
  論文  参考訳（メタデータ） (2021-04-12T18:50:11Z)
• Rethinking preventing class-collapsing in metric learning with margin-based losses [81.22825616879936]
  メトリクス学習は、視覚的に類似したインスタンスが近接し、異なるインスタンスが分離した埋め込みを求める。 マージンベースの損失は、クラスの全サンプルを埋め込み空間の単一点に投影する傾向がある。 そこで本研究では,各サンプルが最寄りの同一クラスをバッチで選択するように,埋め込み損失の簡易な修正を提案する。
  論文  参考訳（メタデータ） (2020-06-09T09:59:25Z)
• Calibrated Surrogate Losses for Adversarially Robust Classification [92.37268323142307]
  線形モデルに制限された場合の逆0-1損失に対して凸代理損失は考慮されないことを示す。 また,Massartの雑音条件を満たす場合,対向条件下では凸損失も校正可能であることを示す。
  論文  参考訳（メタデータ） (2020-05-28T02:40:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。