論文の概要: Gradient-based Label Binning in Multi-label Classification

• arxiv url: http://arxiv.org/abs/2106.11690v1
• Date: Tue, 22 Jun 2021 11:48:48 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-23 14:49:39.716819
• Title: Gradient-based Label Binning in Multi-label Classification
• Title（参考訳）: 多ラベル分類におけるグラディエントベースラベルバインディング
• Authors: Michael Rapp, Eneldo Loza Menc\'ia, Johannes F\"urnkranz, Eyke H\"ullermeier
• Abstract要約: 多ラベル分類において、ラベル間の依存関係をモデル化する能力は、非分解性評価尺度を効果的に最適化するために重要である。 最近の多くのブースティングアプローチで使われている2階微分の利用は、分解不能な損失の最小化を導くのに役立つ。 本研究では,新しい近似手法を高速化手法に統合することにより,そのような手法の計算ボトルネックに対処する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In multi-label classification, where a single example may be associated with several class labels at the same time, the ability to model dependencies between labels is considered crucial to effectively optimize non-decomposable evaluation measures, such as the Subset 0/1 loss. The gradient boosting framework provides a well-studied foundation for learning models that are specifically tailored to such a loss function and recent research attests the ability to achieve high predictive accuracy in the multi-label setting. The utilization of second-order derivatives, as used by many recent boosting approaches, helps to guide the minimization of non-decomposable losses, due to the information about pairs of labels it incorporates into the optimization process. On the downside, this comes with high computational costs, even if the number of labels is small. In this work, we address the computational bottleneck of such approach -- the need to solve a system of linear equations -- by integrating a novel approximation technique into the boosting procedure. Based on the derivatives computed during training, we dynamically group the labels into a predefined number of bins to impose an upper bound on the dimensionality of the linear system. Our experiments, using an existing rule-based algorithm, suggest that this may boost the speed of training, without any significant loss in predictive performance.
• Abstract（参考訳）: 一つの例を複数のクラスラベルに同時に関連付けるマルチラベル分類において、ラベル間の依存関係をモデル化する能力は、サブセット0/1損失などの非分解性評価尺度を効果的に最適化するために重要であると考えられている。 勾配ブースティングフレームワークは、このような損失関数に特別に合わせた学習モデルのためのよく研究された基礎を提供し、最近の研究は、マルチラベル設定で高い予測精度を達成する能力を検証する。 最近の多くのブースティングアプローチで使われる2階微分の利用は、最適化プロセスに組み込むラベルのペアに関する情報のため、非可逆的損失の最小化を導くのに役立つ。 欠点として、ラベルの数が少ない場合でも、高い計算コストが伴う。 本研究では, 線形方程式の系を解くことの必要性という, そのような手法の計算ボトルネックに, 新たな近似手法を推算法に統合することにより対処する。 学習中に計算された微分に基づいてラベルを予め定義されたビンの数に動的にグループ化し,線形系の次元に上限を課す。 既存のルールベースアルゴリズムを用いた実験では,予測性能が著しく低下することなく,学習速度が向上する可能性が示唆された。

関連論文リスト

• Dual-Decoupling Learning and Metric-Adaptive Thresholding for Semi-Supervised Multi-Label Learning [81.83013974171364]
  半教師付きマルチラベル学習(SSMLL)は、正確なマルチラベルアノテーションを収集するコストを削減するために、ラベルのないデータを活用する強力なフレームワークである。 半教師付き学習とは異なり、インスタンスに含まれる複数のセマンティクスのため、SSMLLの擬似ラベルとして最も確率の高いラベルを選択することはできない。 本稿では,高品質な擬似ラベルを生成するための二重パースペクティブ手法を提案する。
  論文  参考訳（メタデータ） (2024-07-26T09:33:53Z)
• LayerMatch: Do Pseudo-labels Benefit All Layers? [77.59625180366115]
  半教師付き学習はラベル付きデータの依存性を軽減するための有望なソリューションを提供する。 我々はGrad-ReLUとAvg-Clusteringという2つの層固有の擬似ラベル戦略を開発した。 提案手法は,標準的な半教師付き学習ベンチマークにおいて,例外的な性能を示す。
  論文  参考訳（メタデータ） (2024-06-20T11:25:50Z)
• Multi-Label Noise Transition Matrix Estimation with Label Correlations: Theory and Algorithm [73.94839250910977]
  ノイズの多いマルチラベル学習は、大規模な正確なラベルの収集によって生じる課題により、注目を集めている。 遷移行列の導入は、マルチラベルノイズをモデル化し、統計的に一貫したアルゴリズムの開発に役立つ。 そこで本稿では, アンカーポイントを必要とせずに, ラベル相関を利用した新しい推定器を提案する。
  論文  参考訳（メタデータ） (2023-09-22T08:35:38Z)
• An Accelerated Doubly Stochastic Gradient Method with Faster Explicit Model Identification [97.28167655721766]
  本稿では、分散正規化損失最小化問題に対する2倍加速勾配降下法(ADSGD)を提案する。 まず、ADSGDが線形収束率を達成でき、全体的な計算複雑性を低減できることを示す。
  論文  参考訳（メタデータ） (2022-08-11T22:27:22Z)
• Adaptive label thresholding methods for online multi-label classification [4.028101568570768]
  既存のオンラインマルチラベル分類作業は、オンラインラベルのしきい値設定問題に対処できない。 本稿では,オンラインマルチラベル分類のための適応ラベル閾値アルゴリズムの新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-12-04T10:34:09Z)
• Model-Change Active Learning in Graph-Based Semi-Supervised Learning [5.174023161939957]
  モデル変更」アクティブラーニングは、追加ラベルを導入して得られた変化を定量化する 後方分布のラプラス近似を用いて, 取得関数を効率的に近似できる凸損失関数の族を考える。
  論文  参考訳（メタデータ） (2021-10-14T21:47:10Z)
• Semi-Supervised Learning with Meta-Gradient [123.26748223837802]
  半教師付き学習における簡単なメタ学習アルゴリズムを提案する。 その結果,提案アルゴリズムは最先端の手法に対して良好に動作することがわかった。
  論文  参考訳（メタデータ） (2020-07-08T08:48:56Z)
• Learning Gradient Boosted Multi-label Classification Rules [4.842945656927122]
  本稿では,分解不能な損失関数だけでなく,分解不能な損失関数を最小化できる多ラベル分類規則の学習アルゴリズムを提案する。 我々は,合成データに対するアプローチの能力と限界を分析し,その予測性能をマルチラベルベンチマークで評価する。
  論文  参考訳（メタデータ） (2020-06-23T21:39:23Z)
• Progressive Identification of True Labels for Partial-Label Learning [112.94467491335611]
  部分ラベル学習(Partial-label Learning, PLL)は、典型的な弱教師付き学習問題であり、各トレーニングインスタンスには、真のラベルである候補ラベルのセットが設けられている。 既存のほとんどの手法は、特定の方法で解決しなければならない制約付き最適化として精巧に設計されており、計算複雑性をビッグデータにスケールアップするボトルネックにしている。 本稿では,モデルと最適化アルゴリズムの柔軟性を備えた分類器の新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-02-19T08:35:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。