論文の概要: Selective Matching Losses -- Not All Scores Are Created Equal

• arxiv url: http://arxiv.org/abs/2506.04446v1
• Date: Wed, 04 Jun 2025 21:03:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-06 21:53:49.423671
• Title: Selective Matching Losses -- Not All Scores Are Created Equal
• Title（参考訳）: Selective Matching Losses -- すべてのスコアが等しくなるわけではない
• Authors: Gil I. Shamir, Manfred K. Warmuth,
• Abstract要約: 我々は、スコア領域上のリンク関数の増大を設計して、選択的なマッチング損失関数を構築する。 リンクは、損失感度をスコアの関数として定義し、平坦なものよりも高い傾斜高感度領域を強調する。 標準的なSoftmax関数の制限を克服するが、これは分類には適しているが、隣り合うスコアの区別には向いていない。
• 参考スコア（独自算出の注目度）: 11.049608786515842
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning systems match predicted scores to observations over some domain. Often, it is critical to produce accurate predictions in some subset (or region) of the domain, yet less important to accurately predict in other regions. We construct selective matching loss functions by design of increasing link functions over score domains. A matching loss is an integral over the link. A link defines loss sensitivity as function of the score, emphasizing high slope high sensitivity regions over flat ones. Loss asymmetry drives a model and resolves its underspecification to predict better in high sensitivity regions where it is more important, and to distinguish between high and low importance regions. A large variety of selective scalar losses can be designed with scaled and shifted Sigmoid and hyperbolic sine links. Their properties, however, do not extend to multi-class. Applying them per dimension lacks ranking sensitivity that assigns importance according to class score ranking. Utilizing composite Softmax functions, we develop a framework for multidimensional selective losses. We overcome limitations of the standard Softmax function, that is good for classification, but not for distinction between adjacent scores. Selective losses have substantial advantage over traditional losses in applications with more important score regions, including dwell-time prediction, retrieval, ranking with either pointwise, contrastive pairwise, or listwise losses, distillation problems, and fine-tuning alignment of Large Language Models (LLMs).
• Abstract（参考訳）: 学習システムは予測されたスコアと、あるドメイン上の観測値とを一致させる。 多くの場合、ドメインのいくつかの部分集合(または領域)で正確な予測を生成することは重要であるが、他の領域での正確な予測はそれほど重要ではない。 我々は、スコア領域上のリンク関数の増大を設計して、選択的なマッチング損失関数を構築する。 一致する損失はリンク上の積分である。 リンクは、損失感度をスコアの関数として定義し、平坦なものよりも高い傾斜高感度領域を強調する。 損失非対称性はモデルを駆動し、その不特定性を解消し、より重要となる高感度領域においてより良い予測を行い、高重要領域と低重要領域を区別する。 選択的なスカラー損失の多種多様さは、拡張およびシフトしたシグモイドおよび双曲性シインリンクを用いて設計することができる。 しかし、それらの性質はマルチクラスに拡張されない。 ディメンションごとにそれらを適用すると、クラススコアのランキングに従って重要度を割り当てるランキング感度が欠落する。 合成ソフトマックス関数を用いて多次元選択的損失の枠組みを開発する。 標準的なSoftmax関数の制限を克服するが、これは分類には適しているが、隣り合うスコアの区別には向いていない。 選択的な損失は、より重要なスコア領域を持つアプリケーションにおける従来の損失に対して大きな利点がある。例えば、居住時間予測、検索、ポイントワイド、コントラストペアワイド、リストワイドの損失、蒸留問題、大規模言語モデル(LLM)の微調整アライメントなどである。

関連論文リスト

• What should an AI assessor optimise for? [57.96463917842822]
  AIアセスタ(AI Assessmentor)は、他のAIシステムの指標(損失値など)を予測する、外的、理想的には不適切なシステムである。 ここでは、問題に対処する: 常にターゲットメトリックのアセスメントをトレーニングするのが最適か? 本研究では, モノトニック写像と非モノトニック写像を用いた回帰損失と分類スコアについて実験的に検討した。
  論文  参考訳（メタデータ） (2025-02-01T08:41:57Z)
• Generalization bounds for regression and classification on adaptive covering input domains [1.4141453107129398]
  一般化誤差の上限となる一般化境界に着目する。 分類タスクの場合、対象関数を1ホット、ピースワイド定数関数として扱い、誤差測定に0/1ロスを用いる。
  論文  参考訳（メタデータ） (2024-07-29T05:40:08Z)
• Binary Losses for Density Ratio Estimation [2.512309434783062]
  有限個の観測値から2つの確率密度の比を推定することは、中央の機械学習問題である。 本研究では, 誤差の小さい密度比推定器が生じる損失関数を特徴付ける。 本研究では,大きな密度比値の正確な推定を優先するような,特定の特性を持つ損失関数を構成するための簡単なレシピを得る。
  論文  参考訳（メタデータ） (2024-07-01T15:24:34Z)
• SpatialRank: Urban Event Ranking with NDCG Optimization on Spatiotemporal Data [55.609946936979036]
  本研究ではSpatialRankという新しい空間イベントランキング手法を提案する。 本研究では,SpatialRankが犯罪や交通事故の最も危険性の高い場所を効果的に特定できることを示す。
  論文  参考訳（メタデータ） (2023-09-30T06:20:21Z)
• Optimizing Partial Area Under the Top-k Curve: Theory and Practice [151.5072746015253]
  トップk曲線下部分領域(AUTKC)と呼ばれる新しい計量法を開発した。 AUTKCはより優れた識別能力を持ち、ベイズ最適スコア関数は条件付き確率に対して正しいトップKランクを与えることができる。 提案手法を最適化するために,実証的なサロゲートリスク最小化フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-09-03T11:09:13Z)
• Fundamental Limits and Tradeoffs in Invariant Representation Learning [99.2368462915979]
  多くの機械学習アプリケーションは、2つの競合する目標を達成する表現を学習する。 ミニマックスゲーム理論の定式化は、精度と不変性の基本的なトレードオフを表す。 分類と回帰の双方において,この一般的かつ重要な問題を情報論的に解析する。
  論文  参考訳（メタデータ） (2020-12-19T15:24:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。