論文の概要: Adaptive Label Smoothing To Regularize Large-Scale Graph Training

• arxiv url: http://arxiv.org/abs/2108.13555v1
• Date: Mon, 30 Aug 2021 23:51:31 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-02 05:23:45.466122
• Title: Adaptive Label Smoothing To Regularize Large-Scale Graph Training
• Title（参考訳）: 大規模グラフトレーニングを規則化する適応ラベル平滑化
• Authors: Kaixiong Zhou, Ninghao Liu, Fan Yang, Zirui Liu, Rui Chen, Li Li, Soo-Hyun Choi, Xia Hu
• Abstract要約: 本研究では, 適応ラベル平滑化法 (ALS) を提案する。 ALSはノードラベルを伝播して、前処理ステップで近隣ラベルの分布を集約し、その後、最適なスムーズなラベルをオンラインで更新して、特定のグラフ構造に適合させる。
• 参考スコア（独自算出の注目度）: 46.00927775402987
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Graph neural networks (GNNs), which learn the node representations by recursively aggregating information from its neighbors, have become a predominant computational tool in many domains. To handle large-scale graphs, most of the existing methods partition the input graph into multiple sub-graphs (e.g., through node clustering) and apply batch training to save memory cost. However, such batch training will lead to label bias within each batch, and then result in over-confidence in model predictions. Since the connected nodes with positively related labels tend to be assigned together, the traditional cross-entropy minimization process will attend on the predictions of biased classes in the batch, and may intensify the overfitting issue. To overcome the label bias problem, we propose the adaptive label smoothing (ALS) method to replace the one-hot hard labels with smoothed ones, which learns to allocate label confidences from the biased classes to the others. Specifically, ALS propagates node labels to aggregate the neighborhood label distribution in a pre-processing step, and then updates the optimal smoothed labels online to adapt to specific graph structure. Experiments on the real-world datasets demonstrate that ALS can be generally applied to the main scalable learning frameworks to calibrate the biased labels and improve generalization performances.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、近隣の情報を再帰的に集約することでノード表現を学習し、多くの領域において主要な計算ツールとなっている。 大規模なグラフを扱うために、既存のほとんどのメソッドは入力グラフを複数のサブグラフ(例えばノードクラスタリング)に分割し、メモリコストを節約するためにバッチトレーニングを適用する。 しかし、このようなバッチトレーニングは各バッチ内のラベルバイアスにつながり、モデル予測の信頼性が過剰になる。 正の関連ラベルを持つ連結ノードが一緒に割り当てられる傾向があるため、従来のクロスエントロピー最小化プロセスは、バッチ内のバイアス付きクラスの予測に従い、オーバーフィッティング問題を増大させる可能性がある。 ラベルバイアス問題を克服するために,1つのホットハードラベルをスムースラベルに置き換えるadaptive label smoothing (als) 法を提案する。 具体的には、alsはノードラベルを伝播して、前処理ステップで近傍ラベルの分布を集約し、最適な平滑化ラベルをオンラインで更新して特定のグラフ構造に適応させる。 実世界のデータセットの実験では、ALSが主にスケーラブルな学習フレームワークに適用され、バイアスラベルを校正し、一般化性能を向上させることが示されている。

関連論文リスト

• Posterior Label Smoothing for Node Classification [2.737276507021477]
  本稿では,トランスダクティブノード分類タスクに対して,単純かつ効果的なラベル平滑化を提案する。 本研究では, ソフトラベルを設計し, 周辺ラベル分布を通じて対象ノードの局所的コンテキストをカプセル化する。 以下の分析結果から,大域的なラベル統計を後続計算に組み込むことが,ラベル平滑化の成功の鍵であることが判明した。
  論文  参考訳（メタデータ） (2024-06-01T11:59:49Z)
• ERASE: Error-Resilient Representation Learning on Graphs for Label Noise Tolerance [53.73316938815873]
  本稿では, ERASE (Error-Resilient representation learning on graphs for lAbel noiSe tolerancE) という手法を提案する。 ERASEは、プロトタイプの擬似ラベルとプロパゲーションされた識別ラベルを組み合わせて、表現をエラーレジリエンスで更新する。 提案手法は, 広い雑音レベルにおいて, 複数のベースラインをクリアマージンで上回り, 高いスケーラビリティを享受できる。
  論文  参考訳（メタデータ） (2023-12-13T17:59:07Z)
• RankMatch: A Novel Approach to Semi-Supervised Label Distribution Learning Leveraging Inter-label Correlations [52.549807652527306]
  本稿では,SSLDL (Semi-Supervised Label Distribution Learning) の革新的なアプローチである RankMatch を紹介する。 RankMatchは、ラベルのない大量のデータとともに、少数のラベル付き例を効果的に活用する。 我々はRandMatchに縛られる理論的な一般化を確立し、広範な実験を通じて既存のSSLDL法に対する性能上の優位性を実証した。
  論文  参考訳（メタデータ） (2023-12-11T12:47:29Z)
• All Points Matter: Entropy-Regularized Distribution Alignment for Weakly-supervised 3D Segmentation [67.30502812804271]
  擬似ラベルは、弱い教師付き3Dセグメンテーションタスクに広く使われており、学習に使えるのはスパース・グラウンド・トラス・ラベルのみである。 本稿では,生成した擬似ラベルを正規化し,擬似ラベルとモデル予測とのギャップを効果的に狭めるための新しい学習戦略を提案する。
  論文  参考訳（メタデータ） (2023-05-25T08:19:31Z)
• Label-Enhanced Graph Neural Network for Semi-supervised Node Classification [32.64730237473914]
  グラフニューラルネットワーク(GNN)のためのラベル強化学習フレームワークを提案する。 まず、各ラベルをクラス内のノードの仮想センターとしてモデル化し、次にノードとラベルの両方の表現を共同で学習する。 提案手法は,同一クラスに属するノードの表現を円滑に行うだけでなく,ラベルセマンティクスをGNNの学習プロセスに明示的にエンコードする。
  論文  参考訳（メタデータ） (2022-05-31T09:48:47Z)
• Informative Pseudo-Labeling for Graph Neural Networks with Few Labels [12.83841767562179]
  グラフニューラルネットワーク(GNN)は、グラフ上の半教師付きノード分類のための最先端の結果を得た。 非常に少数のレーベルでGNNを効果的に学習する方法の課題は、まだ解明されていない。 我々は、非常に少ないラベルを持つGNNの学習を容易にするために、InfoGNNと呼ばれる新しい情報的擬似ラベルフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-01-20T01:49:30Z)
• Why Propagate Alone? Parallel Use of Labels and Features on Graphs [42.01561812621306]
  グラフニューラルネットワーク(GNN)とラベル伝搬は、ノード特性予測などのタスクにおいてグラフ構造を利用するように設計された2つの相互関連モデリング戦略を表す。 ラベルのトリックを2つの要因からなる解釈可能な決定論的学習目標に還元できることを示す。
  論文  参考訳（メタデータ） (2021-10-14T07:34:11Z)
• Scalable and Adaptive Graph Neural Networks with Self-Label-Enhanced training [1.2183405753834562]
  大規模グラフにグラフニューラルネットワーク(gnn)を直接実装することは困難である。 スケーラブルで適応的なグラフニューラルネットワーク(SAGN)を提案する。 自己学習アプローチとラベル伝播を深く結合したsle(self-label-enhance)フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-04-19T15:08:06Z)
• Delving Deep into Label Smoothing [112.24527926373084]
  ディープニューラルネットワーク(DNN)の効果的な正規化ツールとしてのラベル平滑化 対象カテゴリのモデル予測の統計に基づいてソフトラベルを生成するオンラインラベル平滑化(OLS)戦略を提案する。
  論文  参考訳（メタデータ） (2020-11-25T08:03:11Z)
• Knowledge-Guided Multi-Label Few-Shot Learning for General Image Recognition [75.44233392355711]
  KGGRフレームワークは、ディープニューラルネットワークと統計ラベル相関の事前知識を利用する。 まず、統計ラベルの共起に基づいて異なるラベルを相関させる構造化知識グラフを構築する。 次に、ラベルセマンティクスを導入し、学習セマンティクス固有の特徴をガイドする。 グラフノードの相互作用を探索するためにグラフ伝搬ネットワークを利用する。
  論文  参考訳（メタデータ） (2020-09-20T15:05:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。