論文の概要: DXML: Distributed Extreme Multilabel Classification
- arxiv url: http://arxiv.org/abs/2112.10297v1
- Date: Wed, 20 Oct 2021 10:56:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-10 23:43:43.103456
- Title: DXML: Distributed Extreme Multilabel Classification
- Title(参考訳): DXML: 分散エクストリームマルチラベル分類
- Authors: Pawan Kumar
- Abstract要約: 大規模ランキングとレコメンデーションのための極端分類のスケーラブルなハイブリッド分散共有メモリの実装を提案する。
特に、実装は、ノード間でMPIを使用して、OpenMPを使用してノード上でマルチスレッドを使用するメッセージパッシングの混合である。
実験の結果、この実装は大規模なデータセットのトレーニングとテストが比較的高速であることが示された。
- 参考スコア(独自算出の注目度): 2.5077510176642805
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As a big data application, extreme multilabel classification has emerged as
an important research topic with applications in ranking and recommendation of
products and items. A scalable hybrid distributed and shared memory
implementation of extreme classification for large scale ranking and
recommendation is proposed. In particular, the implementation is a mix of
message passing using MPI across nodes and using multithreading on the nodes
using OpenMP. The expression for communication latency and communication volume
is derived. Parallelism using work-span model is derived for shared memory
architecture. This throws light on the expected scalability of similar extreme
classification methods. Experiments show that the implementation is relatively
faster to train and test on some large datasets. In some cases, model size is
relatively small.
- Abstract(参考訳): ビッグデータアプリケーションとして、極度のマルチラベル分類は、製品やアイテムのランク付けや推奨に関する重要な研究トピックとして浮上している。
大規模ランキングとレコメンデーションのための極端分類のスケーラブルなハイブリッド分散共有メモリの実装を提案する。
特に、実装は、ノード間でMPIを使用して、OpenMPを使用してノード上でマルチスレッドを使用するメッセージパッシングの混合である。
通信遅延と通信量を表す式が導出される。
ワークスパンモデルを用いた並列性は共有メモリアーキテクチャのために導かれる。
これは、同様の極端な分類方法が期待できる拡張性に光を当てる。
実験の結果、大規模なデータセットのトレーニングとテストは比較的高速であることがわかった。
モデルのサイズが比較的小さい場合もある。
関連論文リスト
- Faithful Density-Peaks Clustering via Matrix Computations on MPI Parallelization System [7.594123537718585]
密度ピーククラスタリング(DP)は任意の形状のクラスタを検出し、非ユークリッド空間データをクラスタリングする能力を持つ。
本稿では,2種類のベクトル状距離行列と逆前ノードファイリングポリシを併用した忠実かつ並列なDP法を提案する。
本手法は,コミュニティ検出などの非ユークリッドデータをクラスタリングすると同時に,大規模ユークリッドデータをクラスタリングする場合の精度において,最先端の手法よりも優れる。
論文 参考訳(メタデータ) (2024-06-18T06:05:45Z) - Pipette: Automatic Fine-grained Large Language Model Training Configurator for Real-World Clusters [5.190794062263327]
大規模言語モデル(LLM)の訓練は、膨大な計算能力とメモリ容量の要求のために困難であることが知られている。
本稿では,実世界のクラスタを対象としたLLM自動微粒化トレーニングであるPipetteを提案する。
論文 参考訳(メタデータ) (2024-05-28T11:59:44Z) - RGM: A Robust Generalizable Matching Model [49.60975442871967]
RGM(Robust Generalist Matching)と呼ばれる疎密マッチングのための深部モデルを提案する。
合成トレーニングサンプルと実世界のシナリオのギャップを狭めるために、我々は、疎対応基盤真理を持つ新しい大規模データセットを構築した。
さまざまな密集したスパースなデータセットを混ぜ合わせることができ、トレーニングの多様性を大幅に改善しています。
論文 参考訳(メタデータ) (2023-10-18T07:30:08Z) - Efficient and Effective Deep Multi-view Subspace Clustering [9.6753782215283]
E$2$MVSC(Efficient and Effective Deep Multi-View Subspace Clustering)と呼ばれる新しいディープフレームワークを提案する。
パラメータ化されたFC層の代わりに、より計算効率のよいサンプル数からネットワークパラメータスケールを分離するRelation-Metric Netを設計する。
E$2$MVSCは既存のメソッドに匹敵する結果を出し、様々なタイプのマルチビューデータセットで最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2023-10-15T03:08:25Z) - Relation-Aware Distribution Representation Network for Person Clustering
with Multiple Modalities [17.569843539515734]
顔、体、声を含む多モードの手がかりでクラスタリングする人は、様々なタスクに欠かせない。
マルチモーダルな手がかりの分布表現を生成するためのリレーショナル・アウェア分布表現ネットワーク(RAD-Net)を提案する。
提案手法は,ビデオパーソンクラスタリングデータセットにおけるFスコアの+6%と+8.2%を大幅に改善する。
論文 参考訳(メタデータ) (2023-08-01T15:04:56Z) - Revisiting Neural Retrieval on Accelerators [20.415728886298915]
検索の重要な構成要素は、(ユーザ、アイテム)類似性をモデル化することである。
その人気にもかかわらず、ドット製品は多面的であり、おそらく高いランクにある複雑なユーザとイテムのインタラクションをキャプチャすることはできない。
本稿では,基本類似度関数の適応的構成として,ユーザ,アイテムの類似度をモデル化したロジットのテキストミックス(MoL)を提案する。
論文 参考訳(メタデータ) (2023-06-06T22:08:42Z) - Gated recurrent units and temporal convolutional network for multilabel
classification [122.84638446560663]
本研究は,マルチラベル分類を管理するための新しいアンサンブル手法を提案する。
提案手法のコアは,Adamグラデーション最適化アプローチの変種で訓練された,ゲート再帰単位と時間畳み込みニューラルネットワークの組み合わせである。
論文 参考訳(メタデータ) (2021-10-09T00:00:16Z) - Multi-dataset Pretraining: A Unified Model for Semantic Segmentation [97.61605021985062]
我々は、異なるデータセットの断片化アノテーションを最大限に活用するために、マルチデータセット事前訓練と呼ばれる統合フレームワークを提案する。
これは、複数のデータセットに対して提案されたピクセルからプロトタイプへのコントラスト損失を通じてネットワークを事前トレーニングすることで実現される。
異なるデータセットからの画像とクラス間の関係をより良くモデル化するために、クロスデータセットの混合によりピクセルレベルの埋め込みを拡張する。
論文 参考訳(メタデータ) (2021-06-08T06:13:11Z) - Sparse-Interest Network for Sequential Recommendation [78.83064567614656]
本稿では,シーケンシャルレコメンデーションのためのtextbfSparse textbfInterest textbfNEtwork(SINE)を提案する。
我々のスパース関心モジュールは、大きなコンセプトプールから各ユーザに対してスパースの概念セットを適応的に推測することができる。
SINEは最先端の手法よりも大幅に改善できる。
論文 参考訳(メタデータ) (2021-02-18T11:03:48Z) - Fewer is More: A Deep Graph Metric Learning Perspective Using Fewer
Proxies [65.92826041406802]
本稿では,グラフ分類の観点から,プロキシベースのディープグラフメトリックラーニング手法を提案する。
複数のグローバルプロキシを利用して、各クラスの元のデータポイントを総括的に近似する。
本研究では, 近接関係を接地トラス・ラベルに従って調整する, 新たな逆ラベル伝搬アルゴリズムを設計する。
論文 参考訳(メタデータ) (2020-10-26T14:52:42Z) - A Generic Network Compression Framework for Sequential Recommender
Systems [71.81962915192022]
シークエンシャルレコメンデーションシステム(SRS)は,ユーザの動的関心を捉え,高品質なレコメンデーションを生成する上で重要な技術となっている。
CpRecと呼ばれる圧縮されたシーケンシャルレコメンデーションフレームワークを提案する。
大規模なアブレーション研究により、提案したCpRecは実世界のSRSデータセットにおいて最大4$sim$8倍の圧縮速度を達成できることを示した。
論文 参考訳(メタデータ) (2020-04-21T08:40:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。