論文の概要: Noisy Node Classification by Bi-level Optimization based Multi-teacher Distillation

• arxiv url: http://arxiv.org/abs/2404.17875v2
• Date: Wed, 8 May 2024 06:56:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-09 16:14:28.522729
• Title: Noisy Node Classification by Bi-level Optimization based Multi-teacher Distillation
• Title（参考訳）: バイレベル最適化に基づくマルチ教師蒸留による雑音ノード分類
• Authors: Yujing Liu, Zongqian Wu, Zhengyu Lu, Ci Nie, Guoqiu Wen, Ping Hu, Xiaofeng Zhu,
• Abstract要約: 本稿では,二段階最適化(BO-NNC)に基づく多段階蒸留法を提案する。 具体的には、まず複数の自己教師型学習手法を用いて、多様な教師モデルの学習を行い、その後、教師の重み行列を通じて予測を集約する。 さらに,教師の重み行列を学生モデルの訓練進捗に基づいて動的に調整する二段階最適化手法を考案した。
• 参考スコア（独自算出の注目度）: 17.50773984154023
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Previous graph neural networks (GNNs) usually assume that the graph data is with clean labels for representation learning, but it is not true in real applications. In this paper, we propose a new multi-teacher distillation method based on bi-level optimization (namely BO-NNC), to conduct noisy node classification on the graph data. Specifically, we first employ multiple self-supervised learning methods to train diverse teacher models, and then aggregate their predictions through a teacher weight matrix. Furthermore, we design a new bi-level optimization strategy to dynamically adjust the teacher weight matrix based on the training progress of the student model. Finally, we design a label improvement module to improve the label quality. Extensive experimental results on real datasets show that our method achieves the best results compared to state-of-the-art methods.
• Abstract（参考訳）: 従来のグラフニューラルネットワーク(GNN)は通常、グラフデータは表現学習のためのクリーンなラベルを持っていると仮定するが、実際のアプリケーションではそうではない。 本稿では,二段階最適化(BO-NNC)に基づく多段階蒸留法を提案する。 具体的には、まず複数の自己教師型学習手法を用いて、多様な教師モデルの学習を行い、その後、教師の重み行列を通じて予測を集約する。 さらに,教師の重み行列を学生モデルの訓練進捗に基づいて動的に調整する二段階最適化手法を考案した。 最後に,ラベル品質を改善するためにラベル改善モジュールを設計する。 実データを用いた実験結果から,本手法は最先端の手法と比較して最適であることがわかった。

関連論文リスト

• Exploring Beyond Logits: Hierarchical Dynamic Labeling Based on Embeddings for Semi-Supervised Classification [49.09505771145326]
  モデル予測に依存しない階層型動的ラベル付け(HDL)アルゴリズムを提案し,画像埋め込みを用いてサンプルラベルを生成する。 本手法は,半教師付き学習における擬似ラベル生成のパラダイムを変える可能性がある。
  論文  参考訳（メタデータ） (2024-04-26T06:00:27Z)
• MetaGL: Evaluation-Free Selection of Graph Learning Models via Meta-Learning [17.70842402755857]
  評価自由グラフ学習モデル選択のためのメタ学習手法MetaGLを開発した。 様々なグラフにまたがる類似性を定量化するために,特殊メタグラフ機能を導入する。 そして、グラフとモデル間の関係を表すG-Mネットワークを設計し、グラフベースのメタラーナーを開発する。
  論文  参考訳（メタデータ） (2022-06-18T20:43:38Z)
• Optimal Propagation for Graph Neural Networks [51.08426265813481]
  最適グラフ構造を学習するための二段階最適化手法を提案する。 また、時間的複雑さをさらに軽減するために、低ランク近似モデルについても検討する。
  論文  参考訳（メタデータ） (2022-05-06T03:37:00Z)
• SLADE: A Self-Training Framework For Distance Metric Learning [75.54078592084217]
  我々は、追加のラベルのないデータを活用することで、検索性能を向上させるための自己学習フレームワークSLADEを提案する。 まず、ラベル付きデータに基づいて教師モデルをトレーニングし、ラベルなしデータに対して擬似ラベルを生成する。 次に、最終機能埋め込みを生成するために、ラベルと擬似ラベルの両方で学生モデルをトレーニングします。
  論文  参考訳（メタデータ） (2020-11-20T08:26:10Z)
• MetAL: Active Semi-Supervised Learning on Graphs via Meta Learning [2.903711704663904]
  分類モデルの将来の性能を直接改善する未ラベルのインスタンスを選択するためのALアプローチであるMetALを提案する。 我々は、MetALが既存の最先端ALアルゴリズムより効率良く優れていることを示す。
  論文  参考訳（メタデータ） (2020-07-22T06:59:49Z)
• Active Learning on Attributed Graphs via Graph Cognizant Logistic Regression and Preemptive Query Generation [37.742218733235084]
  本稿では,属性グラフにおけるノード分類処理のための新しいグラフベース能動学習アルゴリズムを提案する。 提案アルゴリズムは,線形化グラフ畳み込みニューラルネットワーク(GCN)と等価なグラフ認識ロジスティック回帰を用いて,予測フェーズの誤差低減を最大化する。 5つの公開ベンチマークデータセットで実験を行い、最先端のアプローチよりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-07-09T18:00:53Z)
• Heuristic Semi-Supervised Learning for Graph Generation Inspired by Electoral College [80.67842220664231]
  本稿では,新たなノードやエッジを自動的に拡張して,高密度サブグラフ内のラベル類似性を向上する,新しい前処理手法であるElectoral College(ELCO)を提案する。 テストされたすべての設定において、我々の手法はベースモデルの平均スコアを4.7ポイントの広いマージンで引き上げるとともに、常に最先端のモデルよりも優れています。
  論文  参考訳（メタデータ） (2020-06-10T14:48:48Z)
• COLAM: Co-Learning of Deep Neural Networks and Soft Labels via Alternating Minimization [60.07531696857743]
  2つの目的の交互最小化によるDNNとソフトラベルの共学習 本稿では,DNNとソフトラベルを相互に学習するCOLAMフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-04-26T17:50:20Z)
• Distilling Knowledge from Graph Convolutional Networks [146.71503336770886]
  既存の知識蒸留法は畳み込みニューラルネットワーク(CNN)に焦点を当てている 本稿では,事前学習したグラフ畳み込みネットワーク(GCN)モデルから知識を抽出する手法を提案する。 提案手法は,GCNモデルに対する最先端の知識蒸留性能を実現する。
  論文  参考訳（メタデータ） (2020-03-23T18:23:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。