論文の概要: Graph Regularized Encoder Training for Extreme Classification
- arxiv url: http://arxiv.org/abs/2402.18434v1
- Date: Wed, 28 Feb 2024 16:00:25 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-29 14:27:28.062582
- Title: Graph Regularized Encoder Training for Extreme Classification
- Title（参考訳）: 極端分類のためのグラフ正規化エンコーダトレーニング
- Authors: Anshul Mittal, Shikhar Mohan, Deepak Saini, Suchith C. Prabhu, Jain
jiao, Sumeet Agarwal, Soumen Chakrabarti, Purushottam Kar, Manik Varma
- Abstract要約: RAMENは最大100万のラベルを持つデータセットにスケールし、ベンチマークデータセット上での予測精度を、最先端のメソッドよりも最大15%高く提供する。
RAMENはまた、人気のある検索エンジンのクリックログから得られたプロプライエタリなレコメンデーションデータセットに対して、最高のベースラインよりも10%高い精度を提供する。
- 参考スコア（独自算出の注目度）: 30.3270895997248
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep extreme classification (XC) aims to train an encoder architecture and an
accompanying classifier architecture to tag a data point with the most relevant
subset of labels from a very large universe of labels. XC applications in
ranking, recommendation and tagging routinely encounter tail labels for which
the amount of training data is exceedingly small. Graph convolutional networks
(GCN) present a convenient but computationally expensive way to leverage task
metadata and enhance model accuracies in these settings. This paper formally
establishes that in several use cases, the steep computational cost of GCNs is
entirely avoidable by replacing GCNs with non-GCN architectures. The paper
notices that in these settings, it is much more effective to use graph data to
regularize encoder training than to implement a GCN. Based on these insights,
an alternative paradigm RAMEN is presented to utilize graph metadata in XC
settings that offers significant performance boosts with zero increase in
inference computational costs. RAMEN scales to datasets with up to 1M labels
and offers prediction accuracy up to 15% higher on benchmark datasets than
state of the art methods, including those that use graph metadata to train
GCNs. RAMEN also offers 10% higher accuracy over the best baseline on a
proprietary recommendation dataset sourced from click logs of a popular search
engine. Code for RAMEN will be released publicly.
- Abstract（参考訳）: deep extreme classification (xc) は、エンコーダアーキテクチャと付随する分類器アーキテクチャを訓練し、非常に大きなラベルの宇宙から最も関連するラベルのサブセットでデータポイントをタグ付けすることを目的としている。
ランキング、レコメンデーション、タグ付けにおけるXCアプリケーションは、トレーニングデータの量が極端に少ないテールラベルに頻繁に遭遇する。
グラフ畳み込みネットワーク(gcn)は、タスクメタデータを活用し、これらの設定におけるモデルの精度を高めるための、便利だが計算コストの高い方法を提供する。
本稿では,GCNを非GCNアーキテクチャに置き換えることにより,GCNの急激な計算コストを完全に回避できることを示す。
これらの設定では、GCNを実装するよりも、グラフデータを使ってエンコーダのトレーニングを規則化する方がずっと効果的である。
これらの知見に基づいて、xc設定でグラフメタデータを利用するための代替パラダイムであるramenが提示され、推論計算コストをゼロにすることで、大幅なパフォーマンス向上を実現している。
RAMENは、最大100万ラベルのデータセットにスケールし、GCNのトレーニングにグラフメタデータを使用するものを含む、最先端の手法よりも、ベンチマークデータセット上で最大15%高い予測精度を提供する。
RAMENはまた、人気のある検索エンジンのクリックログから得られたプロプライエタリなレコメンデーションデータセットに対して、最高のベースラインよりも10%高い精度を提供する。
RAMENのコードは一般公開される。
関連論文リスト
- A Comprehensive Study on Large-Scale Graph Training: Benchmarking and
Rethinking [124.21408098724551]
グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である
本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。
提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
論文 参考訳（メタデータ） (2022-10-14T03:43:05Z) - LFGCF: Light Folksonomy Graph Collaborative Filtering for Tag-Aware
Recommendation [17.383730842773854]
光フォークソノミーグラフ協調フィルタリング(LFGCF)と呼ばれる新しいタグ認識レコメンデーションモデルを提案する。
LFGCFはまず、タグとタグ付けされたアイテムのレコードからFolksonomy Graphsを構築する。
ユーザとアイテム間の情報ギャップを埋めるために、タグの埋め込みを共有します。
論文 参考訳（メタデータ） (2022-08-06T07:06:24Z) - LPGNet: Link Private Graph Networks for Node Classification [37.26462186216589]
我々は、プライバシに敏感なエッジを持つグラフのトレーニングのために、LPGNetと呼ばれる新しいニューラルネットワークアーキテクチャを提案する。
LPGNetは、トレーニング中にグラフエッジ構造がどのように使用されるかという新しい設計を使用して、エッジに対する差分プライバシー保証を提供する。
論文 参考訳（メタデータ） (2022-05-06T09:38:35Z) - Node Feature Extraction by Self-Supervised Multi-scale Neighborhood
Prediction [123.20238648121445]
我々は、新しい自己教師型学習フレームワーク、グラフ情報支援ノード機能exTraction (GIANT)を提案する。
GIANT は eXtreme Multi-label Classification (XMC) 形式を利用しており、これはグラフ情報に基づいた言語モデルの微調整に不可欠である。
我々は,Open Graph Benchmarkデータセット上での標準GNNパイプラインよりもGIANTの方が優れた性能を示す。
論文 参考訳（メタデータ） (2021-10-29T19:55:12Z) - Bag of Tricks for Training Deeper Graph Neural Networks: A Comprehensive
Benchmark Study [100.27567794045045]
ディープグラフニューラルネットワーク(GNN)のトレーニングは、非常に難しい。
我々は、深層GNNの「トリック」を評価するための最初の公正かつ再現可能なベンチマークを示す。
論文 参考訳（メタデータ） (2021-08-24T05:00:37Z) - ECLARE: Extreme Classification with Label Graph Correlations [13.429436351837653]
本稿では,ラベルテキストだけでなくラベル相関も組み込んだスケーラブルなディープラーニングアーキテクチャECLAREを提案し,数ミリ秒以内の正確なリアルタイム予測を実現する。
ECLAREは、Bing検索エンジンからソースされた関連製品レコメンデーションタスク用のプロプライエタリデータセットと同様に、公開可能なベンチマークデータセットの両方で2～14%精度の予測を提供する。
論文 参考訳（メタデータ） (2021-07-31T15:13:13Z) - Graph Contrastive Learning Automated [94.41860307845812]
グラフコントラスト学習(GraphCL)は、有望な表現学習性能とともに登場した。
GraphCLのヒンジがアドホックなデータ拡張に与える影響は、データセット毎に手動で選択する必要がある。
本稿では,グラフデータ上でGraphCLを実行する際に,データ拡張を自動的に,適応的に動的に選択する統合バイレベル最適化フレームワークを提案する。
論文 参考訳（メタデータ） (2021-06-10T16:35:27Z) - Quadratic GCN for Graph Classification [1.1470070927586016]
グラフ畳み込みネットワーク(GCN)は、頂点をグラフで分類するために広く使われている。
GCNはグラフ分類タスク(GCT)に拡張されている
本稿では,GCN,知識グラフからの手法,および自己正規化活性化関数を組み合わせた新しい解を提案する。
論文 参考訳（メタデータ） (2021-04-14T10:01:09Z) - Pseudoinverse Graph Convolutional Networks: Fast Filters Tailored for
Large Eigengaps of Dense Graphs and Hypergraphs [0.0]
Graph Convolutional Networks (GCNs) は、グラフベースのデータセットで半教師付き分類を行うツールとして成功している。
本稿では,三部フィルタ空間が高密度グラフを対象とする新しいGCN変種を提案する。
論文 参考訳（メタデータ） (2020-08-03T08:48:41Z) - Heuristic Semi-Supervised Learning for Graph Generation Inspired by
Electoral College [80.67842220664231]
本稿では,新たなノードやエッジを自動的に拡張して,高密度サブグラフ内のラベル類似性を向上する,新しい前処理手法であるElectoral College(ELCO)を提案する。
テストされたすべての設定において、我々の手法はベースモデルの平均スコアを4.7ポイントの広いマージンで引き上げるとともに、常に最先端のモデルよりも優れています。
論文 参考訳（メタデータ） (2020-06-10T14:48:48Z) - L$^2$-GCN: Layer-Wise and Learned Efficient Training of Graph
Convolutional Networks [118.37805042816784]
グラフ畳み込みネットワーク(GCN)は、多くのアプリケーションで人気が高まっているが、大きなグラフデータセットをトレーニングするのは依然として難しい。
本稿では,GCN (L-GCN) のための新しいレイヤワイドトレーニングフレームワークを提案する。
実験の結果、L-GCNは少なくとも1桁の精度で最先端よりも高速であり、メモリ使用量はデータセットのサイズに依存しないことがわかった。
論文 参考訳（メタデータ） (2020-03-30T16:37:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。