論文の概要: DXML: Distributed Extreme Multilabel Classification
- arxiv url: http://arxiv.org/abs/2112.10297v1
- Date: Wed, 20 Oct 2021 10:56:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-10 23:43:43.103456
- Title: DXML: Distributed Extreme Multilabel Classification
- Title(参考訳): DXML: 分散エクストリームマルチラベル分類
- Authors: Pawan Kumar
- Abstract要約: 大規模ランキングとレコメンデーションのための極端分類のスケーラブルなハイブリッド分散共有メモリの実装を提案する。
特に、実装は、ノード間でMPIを使用して、OpenMPを使用してノード上でマルチスレッドを使用するメッセージパッシングの混合である。
実験の結果、この実装は大規模なデータセットのトレーニングとテストが比較的高速であることが示された。
- 参考スコア(独自算出の注目度): 2.5077510176642805
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As a big data application, extreme multilabel classification has emerged as
an important research topic with applications in ranking and recommendation of
products and items. A scalable hybrid distributed and shared memory
implementation of extreme classification for large scale ranking and
recommendation is proposed. In particular, the implementation is a mix of
message passing using MPI across nodes and using multithreading on the nodes
using OpenMP. The expression for communication latency and communication volume
is derived. Parallelism using work-span model is derived for shared memory
architecture. This throws light on the expected scalability of similar extreme
classification methods. Experiments show that the implementation is relatively
faster to train and test on some large datasets. In some cases, model size is
relatively small.
- Abstract(参考訳): ビッグデータアプリケーションとして、極度のマルチラベル分類は、製品やアイテムのランク付けや推奨に関する重要な研究トピックとして浮上している。
大規模ランキングとレコメンデーションのための極端分類のスケーラブルなハイブリッド分散共有メモリの実装を提案する。
特に、実装は、ノード間でMPIを使用して、OpenMPを使用してノード上でマルチスレッドを使用するメッセージパッシングの混合である。
通信遅延と通信量を表す式が導出される。
ワークスパンモデルを用いた並列性は共有メモリアーキテクチャのために導かれる。
これは、同様の極端な分類方法が期待できる拡張性に光を当てる。
実験の結果、大規模なデータセットのトレーニングとテストは比較的高速であることがわかった。
モデルのサイズが比較的小さい場合もある。
関連論文リスト
- RGM: A Robust Generalist Matching Model [53.223624323416914]
RGM(Robust Generalist Matching)と呼ばれる疎密マッチングのための深部モデルを提案する。
合成トレーニングサンプルと実世界のシナリオのギャップを狭めるために、我々は、疎対応基盤真理を持つ新しい大規模データセットを構築した。
さまざまな密集したスパースなデータセットを混ぜ合わせることができ、トレーニングの多様性を大幅に改善しています。
論文 参考訳(メタデータ) (2023-10-18T07:30:08Z) - Efficient and Effective Deep Multi-view Subspace Clustering [9.6753782215283]
E$2$MVSC(Efficient and Effective Deep Multi-View Subspace Clustering)と呼ばれる新しいディープフレームワークを提案する。
パラメータ化されたFC層の代わりに、より計算効率のよいサンプル数からネットワークパラメータスケールを分離するRelation-Metric Netを設計する。
E$2$MVSCは既存のメソッドに匹敵する結果を出し、様々なタイプのマルチビューデータセットで最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2023-10-15T03:08:25Z) - Relation-Aware Distribution Representation Network for Person Clustering
with Multiple Modalities [17.569843539515734]
顔、体、声を含む多モードの手がかりでクラスタリングする人は、様々なタスクに欠かせない。
マルチモーダルな手がかりの分布表現を生成するためのリレーショナル・アウェア分布表現ネットワーク(RAD-Net)を提案する。
提案手法は,ビデオパーソンクラスタリングデータセットにおけるFスコアの+6%と+8.2%を大幅に改善する。
論文 参考訳(メタデータ) (2023-08-01T15:04:56Z) - Revisiting Neural Retrieval on Accelerators [20.415728886298915]
検索の重要な構成要素は、(ユーザ、アイテム)類似性をモデル化することである。
その人気にもかかわらず、ドット製品は多面的であり、おそらく高いランクにある複雑なユーザとイテムのインタラクションをキャプチャすることはできない。
本稿では,基本類似度関数の適応的構成として,ユーザ,アイテムの類似度をモデル化したロジットのテキストミックス(MoL)を提案する。
論文 参考訳(メタデータ) (2023-06-06T22:08:42Z) - CPU- and GPU-based Distributed Sampling in Dirichlet Process Mixtures
for Large-scale Analysis [11.071895608242675]
Dirichlet Process Mixture Model (DPMM) は、モデルの複雑さをデータに適用するための原則的なアプローチである。
その可能性と数学的優雅さにもかかわらず、DPMMはまだ実践者が広く採用する主流のツールにはなっていない。
そこで我々は,スケーラブルなDPMMM推論のための,新しい,使いやすい統計ソフトウェアパッケージを提案する。
論文 参考訳(メタデータ) (2022-04-19T16:35:44Z) - Gated recurrent units and temporal convolutional network for multilabel
classification [122.84638446560663]
本研究は,マルチラベル分類を管理するための新しいアンサンブル手法を提案する。
提案手法のコアは,Adamグラデーション最適化アプローチの変種で訓練された,ゲート再帰単位と時間畳み込みニューラルネットワークの組み合わせである。
論文 参考訳(メタデータ) (2021-10-09T00:00:16Z) - Multi-dataset Pretraining: A Unified Model for Semantic Segmentation [97.61605021985062]
我々は、異なるデータセットの断片化アノテーションを最大限に活用するために、マルチデータセット事前訓練と呼ばれる統合フレームワークを提案する。
これは、複数のデータセットに対して提案されたピクセルからプロトタイプへのコントラスト損失を通じてネットワークを事前トレーニングすることで実現される。
異なるデータセットからの画像とクラス間の関係をより良くモデル化するために、クロスデータセットの混合によりピクセルレベルの埋め込みを拡張する。
論文 参考訳(メタデータ) (2021-06-08T06:13:11Z) - Geometric Affinity Propagation for Clustering with Network Knowledge [14.827797643173401]
Affinity propagation (AP) は、反復的なペアワイズメッセージ更新によって最適な例の集合を洗練する強力な例ベースのアプローチであることが証明されている。
ネットワークトポロジを活用するためにAPを効果的に拡張する新しいクラスタリングアルゴリズムであるGeopic-APを提案する。
論文 参考訳(メタデータ) (2021-03-26T10:23:53Z) - Sparse-Interest Network for Sequential Recommendation [78.83064567614656]
本稿では,シーケンシャルレコメンデーションのためのtextbfSparse textbfInterest textbfNEtwork(SINE)を提案する。
我々のスパース関心モジュールは、大きなコンセプトプールから各ユーザに対してスパースの概念セットを適応的に推測することができる。
SINEは最先端の手法よりも大幅に改善できる。
論文 参考訳(メタデータ) (2021-02-18T11:03:48Z) - Fewer is More: A Deep Graph Metric Learning Perspective Using Fewer
Proxies [65.92826041406802]
本稿では,グラフ分類の観点から,プロキシベースのディープグラフメトリックラーニング手法を提案する。
複数のグローバルプロキシを利用して、各クラスの元のデータポイントを総括的に近似する。
本研究では, 近接関係を接地トラス・ラベルに従って調整する, 新たな逆ラベル伝搬アルゴリズムを設計する。
論文 参考訳(メタデータ) (2020-10-26T14:52:42Z) - A Generic Network Compression Framework for Sequential Recommender
Systems [71.81962915192022]
シークエンシャルレコメンデーションシステム(SRS)は,ユーザの動的関心を捉え,高品質なレコメンデーションを生成する上で重要な技術となっている。
CpRecと呼ばれる圧縮されたシーケンシャルレコメンデーションフレームワークを提案する。
大規模なアブレーション研究により、提案したCpRecは実世界のSRSデータセットにおいて最大4$sim$8倍の圧縮速度を達成できることを示した。
論文 参考訳(メタデータ) (2020-04-21T08:40:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。