論文の概要: No Regularization is Needed: An Efficient and Effective Model for Incomplete Label Distribution Learning

• arxiv url: http://arxiv.org/abs/2308.07047v1
• Date: Mon, 14 Aug 2023 10:16:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-15 13:36:17.579225
• Title: No Regularization is Needed: An Efficient and Effective Model for Incomplete Label Distribution Learning
• Title（参考訳）: 正規化は不要:不完全ラベル分布学習のための効率的かつ効果的なモデル
• Authors: Xiang Li and Songcan Chen
• Abstract要約: ラベル分散学習(LDL)は、ソフトラベル、すなわち学位をサンプルに割り当てる。 ラベル分布自体が、適切に使用すれば、明示的な正規化なしにInLDL問題を解くことができる、と我々は主張する。 モデルには4つの利点がある: 1) 明示的な正規化を課さないモデル選択; 2) クローズドフォームソリューション(サブプロブレム)と簡単な実装(数行のコード); 3) サンプル数に線形計算の複雑さがあるため、大きなデータセットにスケーラブルである。
• 参考スコア（独自算出の注目度）: 36.44051294307743
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Label Distribution Learning (LDL) assigns soft labels, a.k.a. degrees, to a sample. In reality, it is always laborious to obtain complete degrees, giving birth to the Incomplete LDL (InLDL). However, InLDL often suffers from performance degeneration. To remedy it, existing methods need one or more explicit regularizations, leading to burdensome parameter tuning and extra computation. We argue that label distribution itself may provide useful prior, when used appropriately, the InLDL problem can be solved without any explicit regularization. In this paper, we offer a rational alternative to use such a prior. Our intuition is that large degrees are likely to get more concern, the small ones are easily overlooked, whereas the missing degrees are completely neglected in InLDL. To learn an accurate label distribution, it is crucial not to ignore the small observed degrees but to give them properly large weights, while gradually increasing the weights of the missing degrees. To this end, we first define a weighted empirical risk and derive upper bounds between the expected risk and the weighted empirical risk, which reveals in principle that weighting plays an implicit regularization role. Then, by using the prior of degrees, we design a weighted scheme and verify its effectiveness. To sum up, our model has four advantages, it is 1) model selection free, as no explicit regularization is imposed; 2) with closed form solution (sub-problem) and easy-to-implement (a few lines of codes); 3) with linear computational complexity in the number of samples, thus scalable to large datasets; 4) competitive with state-of-the-arts even without any explicit regularization.
• Abstract（参考訳）: ラベル分散学習(LDL)は、ソフトラベル、すなわち学位をサンプルに割り当てる。 実際には、不完全 LDL(InLDL)の誕生は、常に完全な学位を得るのに苦労している。 しかし、InLDLはしばしば性能劣化に悩まされる。 これを改善するために、既存のメソッドには1つ以上の明示的な正規化が必要であり、面倒なパラメータチューニングと余分な計算に繋がる。 ラベル分布自体が、適切に使用すれば、明示的な正規化なしにInLDL問題を解くことができる、と我々は主張する。 本稿では,このような事前使用の合理的な代替案を提案する。 我々の直感では、大きな学位はより懸念される傾向にあり、小さな学位は見落とされやすいが、不足する学位はInLDLで完全に無視される。 正確なラベル分布を学習するには、観測された小さな度合いを無視するのではなく、適切に大きな度合いを与えながら、失った度合いを徐々に増加させることが重要である。 この目的のために、まず重み付けされた経験的リスクを定義し、期待されるリスクと重み付けされた経験的リスクとの間の上限を導出する。 そして,事前の次数を用いて重み付きスキームを設計し,その有効性を検証する。 まとめると 私たちのモデルは4つの利点があります 1) 明確な規則化が課されないため,モデル選択は自由である。 2) クローズドフォームソリューション(サブプロブレム)と実装が容易(数行のコード)である。 3) サンプル数の線形計算複雑性により, 大規模データセットに拡張性がある。 4) 明示的な正規化がなくても最先端技術と競合する。

関連論文リスト

• Towards Better Performance in Incomplete LDL: Addressing Data Imbalance [48.54894491724677]
  我々は,不完全なラベルと不均衡なラベル分布を同時に扱うフレームワークであるtextIncomplete and Im Balance Label Distribution Learning (I(2)LDL)を提案する。 本手法は, ラベル分布行列を, 頻繁なラベルのための低ランク成分と希少なラベルのためのスパース成分に分解し, 頭部と尾部のラベルの構造を効果的に把握する。
  論文  参考訳（メタデータ） (2024-10-17T14:12:57Z)
• Active Learning in the Predict-then-Optimize Framework: A Margin-Based Approach [5.371816551086118]
  本研究では,ラベルのないデータストリームから特徴サンプルのラベルを要求するかどうかを逐次決定する学習手法を開発した。 我々の能動学習法は,予測パラメータによって引き起こされる決定誤差によって直接情報を得る最初の方法である。
  論文  参考訳（メタデータ） (2023-05-11T05:44:36Z)
• When Noisy Labels Meet Long Tail Dilemmas: A Representation Calibration Method [40.25499257944916]
  実世界のデータセットは騒々しくラベル付けされ、クラス不均衡である。 本稿では,表現キャリブレーション手法RCALを提案する。 我々は,表現キャリブレーションの有効性を論じるために理論的結果を得る。
  論文  参考訳（メタデータ） (2022-11-20T11:36:48Z)
• NoMorelization: Building Normalizer-Free Models from a Sample's Perspective [17.027460848621434]
  我々は「NoMorelization」と呼ばれる正規化の単純かつ効果的な代替案を提案する。 NoMorelizationは2つのトレーニング可能なスカラーと0中心ノイズインジェクタで構成されている。 既存の主流正規化器と比較して、NoMorelizationは最高速度精度のトレードオフを示している。
  論文  参考訳（メタデータ） (2022-10-13T12:04:24Z)
• MaxMatch: Semi-Supervised Learning with Worst-Case Consistency [149.03760479533855]
  半教師付き学習(SSL)のための最悪ケース整合正則化手法を提案する。 本稿では,ラベル付きトレーニングデータとラベル付きトレーニングデータとを別々に比較した経験的損失項からなるSSLの一般化について述べる。 この境界によって動機づけられたSSLの目的は、元のラベルのないサンプルと、その複数の拡張版との最大の矛盾を最小限に抑えるものである。
  論文  参考訳（メタデータ） (2022-09-26T12:04:49Z)
• L2B: Learning to Bootstrap Robust Models for Combating Label Noise [52.02335367411447]
  本稿では,Learning to Bootstrap (L2B) という,シンプルで効果的な手法を提案する。 モデルは、誤った擬似ラベルの影響を受けずに、自身の予測を使ってブートストラップを行うことができる。 これは、実際の観測されたラベルと生成されたラベル間の重みを動的に調整し、メタラーニングを通じて異なるサンプル間の重みを動的に調整することで実現される。
  論文  参考訳（メタデータ） (2022-02-09T05:57:08Z)
• RATT: Leveraging Unlabeled Data to Guarantee Generalization [96.08979093738024]
  ラベルのないデータを利用して一般化境界を生成する手法を紹介します。 境界が0-1経験的リスク最小化に有効であることを証明します。 この作業は、見えないラベル付きデータが利用できない場合でも、ディープネットの一般化を証明するためのオプションを実践者に提供します。
  論文  参考訳（メタデータ） (2021-05-01T17:05:29Z)
• WeLa-VAE: Learning Alternative Disentangled Representations Using Weak Labels [0.0]
  根拠となる真理因子に明示的に関係していないと仮定される高水準ラベルを用いて、弱い監督を考察する。 WeLa-VAEは、観測とラベルが同じ潜伏変数を共有する変分推論フレームワークである。 距離と角度の弱いラベルを与えられたTCVAEは、係数化カルト表現を学習する一方で、WeLa-VAEは極性表現を学習し、解離することができることを示す。
  論文  参考訳（メタデータ） (2020-08-22T17:13:05Z)
• Unbiased Risk Estimators Can Mislead: A Case Study of Learning with Complementary Labels [92.98756432746482]
  我々は,補完ラベルを用いた学習という,弱教師付き問題を研究する。 勾配推定の品質はリスク最小化においてより重要であることを示す。 本稿では,ゼロバイアスと分散の低減を両立させる新しい補助的相補的損失(SCL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-05T04:19:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。