論文の概要: Exploring space efficiency in a tree-based linear model for extreme multi-label classification

• arxiv url: http://arxiv.org/abs/2410.09554v1
• Date: Sat, 12 Oct 2024 15:02:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-30 13:45:15.711434
• Title: Exploring space efficiency in a tree-based linear model for extreme multi-label classification
• Title（参考訳）: 極多ラベル分類のための木に基づく線形モデルにおける空間効率の探索
• Authors: He-Zhe Lin, Cheng-Hung Liu, Chih-Jen Lin,
• Abstract要約: Extreme Multi-label Classification (XMC) は、複数のラベルから関連するサブセットを特定することを目的としている。 XMCの様々なアプローチの中で、ツリーベースの線形モデルは効率と単純さの点で有効である。 本研究では,その空間における理論的および実証的な解析を行い,疎データの仮定の下で木モデルを記憶する。
• 参考スコア（独自算出の注目度）: 11.18858602369985
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Extreme multi-label classification (XMC) aims to identify relevant subsets from numerous labels. Among the various approaches for XMC, tree-based linear models are effective due to their superior efficiency and simplicity. However, the space complexity of tree-based methods is not well-studied. Many past works assume that storing the model is not affordable and apply techniques such as pruning to save space, which may lead to performance loss. In this work, we conduct both theoretical and empirical analyses on the space to store a tree model under the assumption of sparse data, a condition frequently met in text data. We found that, some features may be unused when training binary classifiers in a tree method, resulting in zero values in the weight vectors. Hence, storing only non-zero elements can greatly save space. Our experimental results indicate that tree models can achieve up to a 95% reduction in storage space compared to the standard one-vs-rest method for multi-label text classification. Our research provides a simple procedure to estimate the size of a tree model before training any classifier in the tree nodes. Then, if the model size is already acceptable, this approach can help avoid modifying the model through weight pruning or other techniques.
• Abstract（参考訳）: Extreme Multi-label Classification (XMC) は、複数のラベルから関連するサブセットを特定することを目的としている。 XMCの様々なアプローチの中で、ツリーベースの線形モデルは効率と単純さの点で有効である。 しかし、木に基づく手法の空間複雑性は十分に研究されていない。 過去の多くの研究は、モデルを保存するのは手頃な価格ではないと仮定し、空間を節約するためにプルーニングのような技術を適用し、性能を損なう可能性があると仮定している。 本研究は,テキストデータで頻繁に発生する条件であるスパースデータの仮定の下で,木モデルを格納する空間に関する理論的および実証的な解析を行う。 その結果,木的手法で二項分類器を訓練すると,重みベクトルの値がゼロとなるような特徴が無用であることが判明した。 したがって、ゼロでない要素だけを保存すれば空間を大幅に節約できる。 実験結果から,マルチラベルテキスト分類における標準1-vs-rest法と比較して,木モデルでは最大95%のストレージスペース削減が可能であることが示唆された。 本研究は,木ノード内の分類器を訓練する前に,木モデルのサイズを推定する簡単な手順を提供する。 モデルのサイズがすでに受け入れられている場合、このアプローチは重み付けやその他のテクニックによってモデルの変更を避けるのに役立つ。

関連論文リスト

• Representing Model Weights with Language using Tree Experts [39.90685550999956]
  本稿では,モデル重みと言語の両方を組み込んだ共同空間内のモデルを表現することを学ぶ。 Probing Experts (ProbeX) は理論的に動機づけられた軽量な探査手法である。 以上の結果から, ProbeX は大規模モデルの重みを共有重み付き埋め込み空間に効果的にマッピングできることが示唆された。
  論文  参考訳（メタデータ） (2024-10-17T17:17:09Z)
• Hierarchical clustering with dot products recovers hidden tree structure [53.68551192799585]
  本稿では,階層構造の回復に着目した凝集クラスタリングアルゴリズムの新しい視点を提案する。 クラスタを最大平均点積でマージし、例えば最小距離やクラスタ内分散でマージしないような、標準的なアルゴリズムの単純な変種を推奨する。 このアルゴリズムにより得られた木は、汎用確率的グラフィカルモデルの下で、データ中の生成的階層構造をボナフェイド推定することを示した。
  論文  参考訳（メタデータ） (2023-05-24T11:05:12Z)
• Discrete Tree Flows via Tree-Structured Permutations [5.929956715430168]
  離散フローベースモデルは、離散関数の勾配が未定義あるいはゼロであるため、従来のディープラーニング手法では直接最適化できない。 提案手法は,決定木に基づく離散フローを開発することにより,計算負担を低減し,擬似勾配の必要性を解消することを目的としている。
  論文  参考訳（メタデータ） (2022-07-04T23:11:04Z)
• A Model or 603 Exemplars: Towards Memory-Efficient Class-Incremental Learning [56.450090618578]
  CIL(Class-Incremental Learning)は、この要件を満たすために、限られたメモリサイズでモデルをトレーニングすることを目的としている。 モデルサイズを総予算にカウントし,メモリサイズに整合する手法を比較すると,保存モデルは常に機能しないことを示す。 本稿では,メモリ効率のよい拡張可能なMOdelのための MEMO という,シンプルで効果的なベースラインを提案する。
  論文  参考訳（メタデータ） (2022-05-26T08:24:01Z)
• Effective Model Sparsification by Scheduled Grow-and-Prune Methods [73.03533268740605]
  本稿では,高密度モデルの事前学習を伴わない新規なGrow-and-prune(GaP)手法を提案する。 実験により、そのようなモデルは様々なタスクにおいて80%の間隔で高度に最適化された高密度モデルの品質に適合または打ち勝つことができることが示された。
  論文  参考訳（メタデータ） (2021-06-18T01:03:13Z)
• Dive into Decision Trees and Forests: A Theoretical Demonstration [0.0]
  決定木は"divide-and-conquer"の戦略を使用して、入力機能とラベル間の依存性に関する複雑な問題を小さなものに分割します。 近年, 計算広告, 推薦システム, 情報検索などの性能が大幅に向上している。
  論文  参考訳（メタデータ） (2021-01-20T16:47:59Z)
• Growing Deep Forests Efficiently with Soft Routing and Learned Connectivity [79.83903179393164]
  この論文は、いくつかの重要な側面で深い森林のアイデアをさらに拡張します。 我々は、ノードがハードバイナリ決定ではなく、確率的ルーティング決定、すなわちソフトルーティングを行う確率的ツリーを採用する。 MNISTデータセットの実験は、私たちの力のある深部森林が[1]、[3]よりも優れたまたは匹敵するパフォーマンスを達成できることを示しています。
  論文  参考訳（メタデータ） (2020-12-29T18:05:05Z)
• Robust Optimal Classification Trees under Noisy Labels [1.5039745292757671]
  本稿では,学習サンプルにノイズラベルが存在することを考慮し,最適な分類木を構築するための新しい手法を提案する。 本手法は,(1)SVMのパラダイムを適用したクラス間の分離マージンを最大化するために,分類木の分割ルールを設計し,(2)ラベルノイズを検知しようとする木の構築中に,トレーニングサンプルのラベルを変更することを許している。
  論文  参考訳（メタデータ） (2020-12-15T19:12:29Z)
• Forest R-CNN: Large-Vocabulary Long-Tailed Object Detection and Instance Segmentation [75.93960390191262]
  我々は、オブジェクトカテゴリ間の関係に関する事前知識を利用して、きめ細かいクラスを粗い親クラスにクラスタリングする。 そこで本研究では,NMS再サンプリング法を提案する。 提案手法はフォレストR-CNNと呼ばれ,ほとんどのオブジェクト認識モデルに適用可能なプラグイン・アンド・プレイモジュールとして機能する。
  論文  参考訳（メタデータ） (2020-08-13T03:52:37Z)
• Oblique Predictive Clustering Trees [6.317966126631351]
  予測クラスタリングツリー(PCT)は、構造化された出力予測を含む様々な予測モデリングタスクを解決するために使用できる。 本稿では,これらの制約に対処可能な斜めの予測クラスタリング木を提案する。 6つの予測モデルタスクのための60のベンチマークデータセットに対して提案手法を実験的に評価した。
  論文  参考訳（メタデータ） (2020-07-27T14:58:23Z)
• MurTree: Optimal Classification Trees via Dynamic Programming and Search [61.817059565926336]
  動的プログラミングと探索に基づいて最適な分類木を学習するための新しいアルゴリズムを提案する。 当社のアプローチでは,最先端技術が必要とする時間のごく一部しか使用せず,数万のインスタンスでデータセットを処理することが可能です。
  論文  参考訳（メタデータ） (2020-07-24T17:06:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。