論文の概要: Automated Graph Self-supervised Learning via Multi-teacher Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2210.02099v1
• Date: Wed, 5 Oct 2022 08:39:13 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-06 14:36:51.341484
• Title: Automated Graph Self-supervised Learning via Multi-teacher Knowledge Distillation
• Title（参考訳）: マルチ教師知識蒸留による自動グラフ自己教師学習
• Authors: Lirong Wu, Yufei Huang, Haitao Lin, Zicheng Liu, Tianyu Fan, Stan Z. Li
• Abstract要約: 本稿では,各ノードのインスタンスレベルの自己教師型学習戦略を自動的に,適応的に,動的に学習する方法について検討する。 自動グラフ自己監視学習(AGSSL)のための新しい多教師知識蒸留フレームワークを提案する。 8つのデータセットの実験では、AGSSLは複数のプレテキストタスクの恩恵を受けることができ、対応する個々のタスクを上回っている。
• 参考スコア（独自算出の注目度）: 43.903582264697974
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-supervised learning on graphs has recently achieved remarkable success in graph representation learning. With hundreds of self-supervised pretext tasks proposed over the past few years, the research community has greatly developed, and the key is no longer to design more powerful but complex pretext tasks, but to make more effective use of those already on hand. This paper studies the problem of how to automatically, adaptively, and dynamically learn instance-level self-supervised learning strategies for each node from a given pool of pretext tasks. In this paper, we propose a novel multi-teacher knowledge distillation framework for Automated Graph Self-Supervised Learning (AGSSL), which consists of two main branches: (i) Knowledge Extraction: training multiple teachers with different pretext tasks, so as to extract different levels of knowledge with different inductive biases; (ii) Knowledge Integration: integrating different levels of knowledge and distilling them into the student model. Without simply treating different teachers as equally important, we provide a provable theoretical guideline for how to integrate the knowledge of different teachers, i.e., the integrated teacher probability should be close to the true Bayesian class-probability. To approach the theoretical optimum in practice, two adaptive knowledge integration strategies are proposed to construct a relatively "good" integrated teacher. Extensive experiments on eight datasets show that AGSSL can benefit from multiple pretext tasks, outperforming the corresponding individual tasks; by combining a few simple but classical pretext tasks, the resulting performance is comparable to other leading counterparts.
• Abstract（参考訳）: グラフ上での自己教師あり学習は、グラフ表現学習で目覚ましい成功を収めている。 過去数年間に何百もの自己監督型プリテキストタスクが提案され、研究コミュニティは大きく発展し、もはやより強力で複雑なプリテキストタスクを設計するのではなく、既に手元にあるタスクをより効果的に活用することが鍵となっている。 本稿では,各ノードのインスタンスレベルの自己教師型学習戦略を自動的に,適応的に,動的に学習する方法の課題について検討する。 本稿では,2つの主要分野から構成される自動グラフ自己監視学習(AGSSL)のための新しい多教師知識蒸留フレームワークを提案する。 (i)知識抽出:異なる前文タスクで複数の教師を訓練し、異なる帰納的バイアスで異なるレベルの知識を抽出すること。 (ii)知識の統合:知識の異なるレベルを統合し、それを学生モデルに蒸留すること。 単に異なる教師を等しく扱うことなく、異なる教師の知識を統合する方法の証明可能な理論的指針、すなわち、統合教師確率は真のベイズ級確率に近付くべきである。 理論上の最適に近づくために, 比較的「良い」統合教師を構築するための2つの適応的知識統合戦略が提案されている。 8つのデータセットに対する大規模な実験は、AGSSLが複数のプリテキストタスクの恩恵を受けており、対応する個々のタスクよりも優れていることを示している。

関連論文リスト

• Teacher-student curriculum learning for reinforcement learning [1.7259824817932292]
  強化学習(rl)は、シーケンシャルな意思決定問題に対する一般的なパラダイムである。 深部強化学習手法のサンプル非効率性は,実世界の問題に適用する際の重要な障害である。 そこで我々は,学生が選択した課題の解き方を学習している間に,生徒の課題を選択する教師を同時に訓練する学習環境を提案する。
  論文  参考訳（メタデータ） (2022-10-31T14:45:39Z)
• Generalized Knowledge Distillation via Relationship Matching [53.69235109551099]
  よく訓練されたディープニューラルネットワーク(いわゆる「教師」)の知識は、同様のタスクを学ぶのに有用である。 知識蒸留は教師から知識を抽出し、対象モデルと統合する。 教師に学生と同じ仕事をさせる代わりに、一般のラベル空間から訓練を受けた教師の知識を借りる。
  論文  参考訳（メタデータ） (2022-05-04T06:49:47Z)
• Self-Supervised Graph Neural Network for Multi-Source Domain Adaptation [51.21190751266442]
  ドメイン適応(DA)は、テストデータがトレーニングデータの同じ分布に完全に従わない場合に、シナリオに取り組む。 大規模未ラベルサンプルから学習することで、自己教師型学習がディープラーニングの新しいトレンドとなっている。 我々は,より効果的なタスク間情報交換と知識共有を実現するために,新しい textbfSelf-textbf Supervised textbfGraph Neural Network (SSG) を提案する。
  論文  参考訳（メタデータ） (2022-04-08T03:37:56Z)
• Combining Modular Skills in Multitask Learning [149.8001096811708]
  モジュラー設計は、ニューラルネットワークが様々な知識の面をアンタングルして再結合し、新しいタスクにより系統的に一般化することを奨励する。 この研究では、各タスクは(潜在的に小さな)インベントリから潜在的な離散スキルのサブセットと関連付けられていると仮定する。 ネットワークのモジュラー設計により、強化学習におけるサンプル効率が著しく向上し、教師あり学習における数ショットの一般化が図られる。
  論文  参考訳（メタデータ） (2022-02-28T16:07:19Z)
• Learning Data Teaching Strategies Via Knowledge Tracing [5.648636668261282]
  本稿では,学生モデルのためのデータ教育戦略を最適化する,知識強化データ教育(KADT)と呼ばれる新しい手法を提案する。 KADT法は、潜在学習概念の観点から、学生モデルの知識進捗を動的に捉えるための知識追跡モデルを含む。 我々は、知識追跡、感情分析、映画レコメンデーション、画像分類を含む4つの機械学習タスクにおいて、KADT法の性能を評価した。
  論文  参考訳（メタデータ） (2021-11-13T10:10:48Z)
• Iterative Teacher-Aware Learning [136.05341445369265]
  人間の教育において、教師と学生はコミュニケーション効率を最大化するために適応的に交流することができる。 本稿では,教師の協調意図を可能性関数に組み込むことができる,勾配最適化に基づく教師認識学習者を提案する。
  論文  参考訳（メタデータ） (2021-10-01T00:27:47Z)
• Adaptive Multi-Teacher Multi-level Knowledge Distillation [11.722728148523366]
  適応型多段階知識蒸留学習フレームワーク(AMTML-KD)を提案する。 i)各教師と潜在表現を関連付けて、インスタンスレベルの教師の重要性の重みを適応的に学習する。 そのため、学生モデルはAMMTML-KDを介して複数の教師から多レベルの知識を学ぶことができます。
  論文  参考訳（メタデータ） (2021-03-06T08:18:16Z)
• Multi-View Feature Representation for Dialogue Generation with Bidirectional Distillation [22.14228918338769]
  本稿では,一般知識の学習がコンセンサスに到達するアイデアとより一致した,新たなトレーニングフレームワークを提案する。 トレーニング効率を犠牲にすることなく、モデル一般化を効果的に改善します。
  論文  参考訳（メタデータ） (2021-02-22T05:23:34Z)
• Dual Policy Distillation [58.43610940026261]
  教員政策を学生政策に転換する政策蒸留は、深層強化学習の課題において大きな成功を収めた。 本研究では,2人の学習者が同じ環境下で活動し,環境の異なる視点を探索する,学生学生による二重政策蒸留(DPD)を導入する。 この二重学習フレームワークを開発する上で重要な課題は、同時代の学習に基づく強化学習アルゴリズムにおいて、ピア学習者から有益な知識を特定することである。
  論文  参考訳（メタデータ） (2020-06-07T06:49:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。