論文の概要: Mutual Teaching for Graph Convolutional Networks

• arxiv url: http://arxiv.org/abs/2009.00952v1
• Date: Wed, 2 Sep 2020 11:10:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-22 18:27:04.813528
• Title: Mutual Teaching for Graph Convolutional Networks
• Title（参考訳）: グラフ畳み込みネットワークのための相互指導
• Authors: Kun Zhan, Chaoxi Niu
• Abstract要約: グラフ畳み込みネットワークは、そのトランスダクティブラベルの伝播により、ラベルのないサンプルのよい予測を生成する。 サンプルは予測された信頼度が異なるため、高い信頼度予測を擬似ラベルとして用いてラベルを拡大する。 そこで本研究では,相互教育(相互教育)と称される新たな学習手法を提案する。
• 参考スコア（独自算出の注目度）: 1.14219428942199
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph convolutional networks produce good predictions of unlabeled samples due to its transductive label propagation. Since samples have different predicted confidences, we take high-confidence predictions as pseudo labels to expand the label set so that more samples are selected for updating models. We propose a new training method named as mutual teaching, i.e., we train dual models and let them teach each other during each batch. First, each network feeds forward all samples and selects samples with high-confidence predictions. Second, each model is updated by samples selected by its peer network. We view the high-confidence predictions as useful knowledge, and the useful knowledge of one network teaches the peer network with model updating in each batch. In mutual teaching, the pseudo-label set of a network is from its peer network. Since we use the new strategy of network training, performance improves significantly. Extensive experimental results demonstrate that our method achieves superior performance over state-of-the-art methods under very low label rates.
• Abstract（参考訳）: グラフ畳み込みネットワークは、そのトランスダクティブラベル伝播により、ラベルなしサンプルの良好な予測を生成する。 サンプルは予測された信頼度が異なるため、高信頼予測を擬似ラベルとして用いてラベルセットを拡張し、モデル更新のためにより多くのサンプルを選択する。 そこで本研究では,相互教育(相互教育)と呼ばれる新たなトレーニング手法を提案する。 まず、各ネットワークがすべてのサンプルを転送し、高い信頼度でサンプルを選択する。 第二に、各モデルはピアネットワークによって選択されたサンプルによって更新される。 信頼性の高い予測を有用な知識とみなし、あるネットワークの有用な知識は、各バッチでモデルを更新してピアネットワークを教える。 相互教育において、ネットワークの擬似ラベル集合はそのピアネットワークからのものである。 ネットワークトレーニングの新たな戦略を用いることで,性能が大幅に向上する。 実験結果から,本手法はラベルレートが極めて低い状態での最先端手法よりも優れた性能を示すことが示された。

関連論文リスト

• Diffusion-based Neural Network Weights Generation [85.6725307453325]
  データセット条件付き事前学習重み抽出による効率よく適応的な伝達学習手法を提案する。 具体的には、ニューラルネットワークの重みを再構築できる変分オートエンコーダを備えた潜時拡散モデルを用いる。
  論文  参考訳（メタデータ） (2024-02-28T08:34:23Z)
• Distribution Shift Matters for Knowledge Distillation with Webly Collected Images [91.66661969598755]
  異なる分布間の知識蒸留という新しい手法を提案する(KD$3$)。 まず,教師ネットワークと学生ネットワークの併用予測に基づいて,Webで収集したデータから有用なトレーニングインスタンスを動的に選択する。 また、MixDistributionと呼ばれる新しいコントラスト学習ブロックを構築して、新しい分散のインスタンスアライメントで摂動データを生成します。
  論文  参考訳（メタデータ） (2023-07-21T10:08:58Z)
• MSVQ: Self-Supervised Learning with Multiple Sample Views and Queues [10.327408694770709]
  我々は、新しいシンプルなフレームワーク、すなわちMultiple Sample Views and Queues(MSVQ)を提案する。 2つの相補的および対称的アプローチを利用して3つのソフトラベルをオンザフライで共同構築する。 学生ネットワークは、サンプル間の類似性関係を模倣するので、学生ネットワークはデータセット内の偽陰性サンプルをより柔軟に識別できる。
  論文  参考訳（メタデータ） (2023-05-09T12:05:14Z)
• Compare learning: bi-attention network for few-shot learning [6.559037166322981]
  距離学習と呼ばれる数ショットの学習手法の1つは、画像のペアが同じカテゴリに属しているかどうかを判断するために、まず遠距離計量を学習することで、この課題に対処する。 本稿では, インスタンスの埋め込みの類似性を正確に, グローバルかつ効率的に測定できる, Bi-attention Network という新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-03-25T07:39:10Z)
• Scalable Consistency Training for Graph Neural Networks via Self-Ensemble Self-Distillation [13.815063206114713]
  グラフニューラルネットワーク(GNN)の精度を向上させるための新しい一貫性トレーニング手法を提案する。 対象ノードに対して、異なる近傍展開を生成し、予測平均の知識をGNNに蒸留する。 提案手法は, 推定した近傍サンプルの予測値に近似し, 実質的には少数のサンプルしか必要としない。
  論文  参考訳（メタデータ） (2021-10-12T19:24:42Z)
• When Deep Learners Change Their Mind: Learning Dynamics for Active Learning [32.792098711779424]
  本稿では,情報量に基づく能動的学習手法を提案する。 我々の測度はニューラルネットワークの学習力学から導かれる。 ラベル分散はネットワークの不確実性の予測因子として有望であることを示す。
  論文  参考訳（メタデータ） (2021-07-30T15:30:17Z)
• An Empirical Study of the Collapsing Problem in Semi-Supervised 2D Human Pose Estimation [80.02124918255059]
  半教師付き学習は、ラベルなし画像の探索によってモデルの精度を高めることを目的としている。 私たちは相互に教え合うために2つのネットワークを学びます。 各ネットワーク内の容易なイメージに関するより信頼性の高い予測は、他のネットワークに対応するハードイメージについて学ぶように教えるために使用される。
  論文  参考訳（メタデータ） (2020-11-25T03:29:52Z)
• SLADE: A Self-Training Framework For Distance Metric Learning [75.54078592084217]
  我々は、追加のラベルのないデータを活用することで、検索性能を向上させるための自己学習フレームワークSLADEを提案する。 まず、ラベル付きデータに基づいて教師モデルをトレーニングし、ラベルなしデータに対して擬似ラベルを生成する。 次に、最終機能埋め込みを生成するために、ラベルと擬似ラベルの両方で学生モデルをトレーニングします。
  論文  参考訳（メタデータ） (2020-11-20T08:26:10Z)
• Graph-Based Neural Network Models with Multiple Self-Supervised Auxiliary Tasks [79.28094304325116]
  グラフ畳み込みネットワークは、構造化されたデータポイント間の関係をキャプチャするための最も有望なアプローチである。 マルチタスク方式でグラフベースニューラルネットワークモデルを学習するための3つの新しい自己教師付き補助タスクを提案する。
  論文  参考訳（メタデータ） (2020-11-14T11:09:51Z)
• DivideMix: Learning with Noisy Labels as Semi-supervised Learning [111.03364864022261]
  ノイズラベルを学習するためのフレームワークであるDivideMixを提案する。 複数のベンチマークデータセットの実験は、最先端の手法よりも大幅に改善されている。
  論文  参考訳（メタデータ） (2020-02-18T06:20:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。