論文の概要: A Simple but Effective Closed-form Solution for Extreme Multi-label Learning

• arxiv url: http://arxiv.org/abs/2501.10179v1
• Date: Fri, 17 Jan 2025 13:24:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-20 14:01:03.638676
• Title: A Simple but Effective Closed-form Solution for Extreme Multi-label Learning
• Title（参考訳）: 極端に効率的な複数ラベル学習のためのシンプルで効果的な閉形式解法
• Authors: Kazuma Onishi, Katsuhiko Hayashi,
• Abstract要約: Extreme Multi-label Learning(XML)は、非常に大きなラベルセットから複数のラベルを各データインスタンスに割り当てるタスクである。 本稿ではXMLのリッジ回帰に基づく簡易な手法を提案する。 我々は、情報コンテンツを保持するXMLにおける低周波ラベルの予測を強化した。
• 参考スコア（独自算出の注目度）: 8.781687166999927
• License:
• Abstract: Extreme multi-label learning (XML) is a task of assigning multiple labels from an extremely large set of labels to each data instance. Many current high-performance XML models are composed of a lot of hyperparameters, which complicates the tuning process. Additionally, the models themselves are adapted specifically to XML, which complicates their reimplementation. To remedy this problem, we propose a simple method based on ridge regression for XML. The proposed method not only has a closed-form solution but also is composed of a single hyperparameter. Since there are no precedents on applying ridge regression to XML, this paper verified the performance of the method by using various XML benchmark datasets. Furthermore, we enhanced the prediction of low-frequency labels in XML, which hold informative content. This prediction is essential yet challenging because of the limited amount of data. Here, we employed a simple frequency-based weighting. This approach greatly simplifies the process compared with existing techniques. Experimental results revealed that it can achieve levels of performance comparable to, or even exceeding, those of models with numerous hyperparameters. Additionally, we found that the frequency-based weighting significantly improved the predictive performance for low-frequency labels, while requiring almost no changes in implementation. The source code for the proposed method is available on github at https://github.com/cars1015/XML-ridge.
• Abstract（参考訳）: Extreme Multi-label Learning(XML)は、非常に大きなラベルセットから複数のラベルを各データインスタンスに割り当てるタスクである。 現在の高性能XMLモデルは、チューニングプロセスを複雑にする多くのハイパーパラメータで構成されています。 さらに、モデル自体がXMLに特化され、再実装が複雑になる。 この問題を解決するために,XMLのリッジ回帰に基づく簡易な手法を提案する。 提案手法は, 閉形解を持つだけでなく, 1つのハイパーパラメータから構成される。 本報告では,XMLにリッジ回帰を適用する前例がないため,様々なXMLベンチマークデータセットを用いて本手法の性能を検証した。 さらに,情報コンテンツを保持するXMLにおける低周波ラベルの予測も強化した。 この予測は、データ量が限られているため、不可欠だが難しい。 ここでは、簡単な周波数ベースの重み付けを用いた。 このアプローチは既存の手法に比べてプロセスを大幅に単純化する。 実験の結果,多数のハイパーパラメータを持つモデルに匹敵する,あるいは超える性能を達成できることが判明した。 さらに、周波数に基づく重み付けにより、低周波ラベルの予測性能が大幅に向上し、実装の変更はほとんど不要であることが判明した。 提案されたメソッドのソースコードはgithubのhttps://github.com/cars1015/XML-ridgeで公開されている。

関連論文リスト

• Label Delay in Online Continual Learning [77.05325581370893]
  しばしば見過ごされる重要な側面はラベルの遅延であり、遅くてコストのかかるアノテーションプロセスのために新しいデータがラベル付けされない可能性がある。 本稿では,データとラベルストリーム間のラベル遅延を,時間経過とともに明示的にモデル化した新しい連続学習フレームワークを提案する。 提案手法はラベル遅延係数に最も影響を受けていないことを示し、場合によっては非遅延の精度を回復させる。
  論文  参考訳（メタデータ） (2023-12-01T20:52:10Z)
• FlatMatch: Bridging Labeled Data and Unlabeled Data with Cross-Sharpness for Semi-Supervised Learning [73.13448439554497]
  Semi-Supervised Learning (SSL) は、ラベル付きデータが極めて少ない豊富なラベル付きデータを活用する効果的な方法である。 ほとんどのSSLメソッドは、通常、異なるデータ変換間のインスタンス単位の一貫性に基づいている。 本研究では,2つのデータセット間の一貫した学習性能を確保するために,クロスシャープネス尺度を最小化するFlatMatchを提案する。
  論文  参考訳（メタデータ） (2023-10-25T06:57:59Z)
• Light-weight Deep Extreme Multilabel Classification [12.29534534973133]
  Extreme Multi-label (XML) 分類は、多数のラベルを含む教師付きマルチラベル学習のタスクを指す。 我々は最近開発されたディープラーニングベースのXMLフレームワークをラベル埋め込みを用いて変更するLightDXMLと呼ばれる手法を開発した。 LightDXMLはまた、再ランカモジュールの要求を取り除き、時間とメモリの要求をさらに節約する。
  論文  参考訳（メタデータ） (2023-04-20T09:06:10Z)
• A Survey on Extreme Multi-label Learning [72.8751573611815]
  マルチラベル学習は、近年、学術分野と産業分野の両方から大きな注目を集めている。 計算とメモリのオーバーヘッドのため、それらを非常に大きなラベル空間に直接適応することは不可能である。 eXtreme Multi-label Learning (XML)は重要なタスクとなり、多くの効果的なアプローチが提案されている。
  論文  参考訳（メタデータ） (2022-10-08T08:31:34Z)
• Pseudo-Labeling Based Practical Semi-Supervised Meta-Training for Few-Shot Learning [93.63638405586354]
  擬似ラベルベースメタラーニング(PLML)という,シンプルで効果的なメタトレーニングフレームワークを提案する。 まず、一般的な半教師付き学習(SSL)を用いて分類器を訓練し、ラベルなしデータの擬似ラベルを得る。 ラベル付きおよび擬似ラベル付きデータから数ショットのタスクを構築し、特徴の平滑化と雑音抑圧を伴う新しい微調整法を設計する。
  論文  参考訳（メタデータ） (2022-07-14T10:53:53Z)
• InceptionXML: A Lightweight Framework with Synchronized Negative Sampling for Short Text Extreme Classification [5.637543626451507]
  インセプションXMLは軽量で、強力で、ショートテキストクエリにおけるワードオーダーの欠如に対して堅牢です。 InceptionXMLは、ベンチマークデータセットの既存のアプローチよりも優れているだけでなく、変換器のベースラインがわずか2%のFLOPしか必要としないことを示す。
  論文  参考訳（メタデータ） (2021-09-13T18:55:37Z)
• Dash: Semi-Supervised Learning with Dynamic Thresholding [72.74339790209531]
  我々は、ラベルのない例を使ってモデルをトレーニングする半教師付き学習(SSL)アプローチを提案する。 提案手法であるDashは、ラベルなしデータ選択の観点から適応性を享受する。
  論文  参考訳（メタデータ） (2021-09-01T23:52:29Z)
• Stratified Sampling for Extreme Multi-Label Data [3.5809906147989428]
  本稿では,XMLデータセットの階層化分割を数百万のユニークなラベルで効率的に生成できる,新しい,シンプルなアルゴリズムを提案する。 また,既存のベンチマーク分割のラベル分布を調べ,モデル開発に不定型部分集合を用いた場合の問題点について検討する。
  論文  参考訳（メタデータ） (2021-03-05T06:43:09Z)
• LightXML: Transformer with Dynamic Negative Sampling for High-Performance Extreme Multi-label Text Classification [27.80266694835677]
  Extreme Multi-label text Classification (XMC) は、大きなラベルセットから最も関連性の高いラベルを見つけるタスクである。 エンドツーエンドのトレーニングと動的負ラベルサンプリングを採用したLightXMLを提案する。 実験では、LightXMLは5つの極端なマルチラベルデータセットで最先端のメソッドより優れています。
  論文  参考訳（メタデータ） (2021-01-09T07:04:18Z)
• Gradient Descent in RKHS with Importance Labeling [58.79085525115987]
  我々は重要ラベル付け問題について研究し、ラベルなしデータが多く与えられている。 ラベルなしデータの情報サブセットを効果的に選択できる新しい重要ラベル方式を提案する。
  論文  参考訳（メタデータ） (2020-06-19T01:55:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。