論文の概要: Collaborative Group Learning

• arxiv url: http://arxiv.org/abs/2009.07712v4
• Date: Mon, 22 Feb 2021 04:57:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-17 23:09:00.392387
• Title: Collaborative Group Learning
• Title（参考訳）: 協調型グループ学習
• Authors: Shaoxiong Feng, Hongshen Chen, Xuancheng Ren, Zhuoye Ding, Kan Li, Xu Sun
• Abstract要約: 協調学習は、小規模学生ネットワークのプールをロバストなローカルミニマへと導くために、知識伝達をうまく応用してきた。 従来のアプローチでは、学生の数が増加すると、学生の均質化が大幅に増加するのが普通だった。 特徴表現の多様化と効果的な正規化の実現を目的とした,効率的なフレームワークである協調型グループ学習を提案する。
• 参考スコア（独自算出の注目度）: 42.31194030839819
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Collaborative learning has successfully applied knowledge transfer to guide a pool of small student networks towards robust local minima. However, previous approaches typically struggle with drastically aggravated student homogenization when the number of students rises. In this paper, we propose Collaborative Group Learning, an efficient framework that aims to diversify the feature representation and conduct an effective regularization. Intuitively, similar to the human group study mechanism, we induce students to learn and exchange different parts of course knowledge as collaborative groups. First, each student is established by randomly routing on a modular neural network, which facilitates flexible knowledge communication between students due to random levels of representation sharing and branching. Second, to resist the student homogenization, students first compose diverse feature sets by exploiting the inductive bias from sub-sets of training data, and then aggregate and distill different complementary knowledge by imitating a random sub-group of students at each time step. Overall, the above mechanisms are beneficial for maximizing the student population to further improve the model generalization without sacrificing computational efficiency. Empirical evaluations on both image and text tasks indicate that our method significantly outperforms various state-of-the-art collaborative approaches whilst enhancing computational efficiency.
• Abstract（参考訳）: 協調学習は、小規模学生ネットワークのプールをロバストなローカルミニマへと導くために、知識伝達をうまく応用してきた。 しかし、従来のアプローチでは、生徒数が増加すると学生の均質化が著しく悪化する。 本稿では,特徴表現の多様化と効果的な正規化を実現するための効率的なフレームワークである協調型グループ学習を提案する。 直感的には,人間集団学習機構と同様に,授業知識の異なる部分を協調的グループとして学習し,交換することを学生に促す。 まず、各学生はモジュール型ニューラルネットワーク上でランダムにルーティングすることで、ランダムな表現共有と分岐によって学生間の柔軟な知識コミュニケーションを促進する。 第二に、学生の均質化に抵抗するため、学生はまず、訓練データのサブセットから誘導バイアスを利用して多様な特徴集合を作成し、その後、各ステップで学生のランダムなサブグループを模倣して、様々な補完的知識を集約、蒸留する。 全体として、上記のメカニズムは、計算効率を犠牲にすることなく、モデル一般化をさらに改善するために学生人口を最大化するのに有用である。 画像とテキストの両方のタスクにおける経験的評価は,計算効率を高めつつ,様々な最先端の協調的アプローチを著しく上回っていることを示している。

関連論文リスト

• RIGL: A Unified Reciprocal Approach for Tracing the Independent and Group Learning Processes [22.379764500005503]
  個人レベルとグループレベルの両方で知識状態をトレースする統合相互モデルであるRIGLを提案する。 本稿では,学生と集団の相互作用を同時にモデル化するための時間フレーム対応の相互埋め込みモジュールを提案する。 動的グラフモデリングと時間的自己注意機構を組み合わせた関係誘導型時間的注意ネットワークを設計する。
  論文  参考訳（メタデータ） (2024-06-18T10:16:18Z)
• Graph Enhanced Reinforcement Learning for Effective Group Formation in Collaborative Problem Solving [3.392758494801288]
  本研究では,協調的問題解決環境における効果的なグループ形成の課題について論じる。 本稿では,グラフ理論と強化学習を活用した新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-03-15T04:04:40Z)
• Decentralized and Lifelong-Adaptive Multi-Agent Collaborative Learning [57.652899266553035]
  分散型および生涯適応型多エージェント協調学習は、中央サーバを使わずに複数のエージェント間のコラボレーションを強化することを目的としている。 動的協調グラフを用いた分散マルチエージェント生涯協調学習アルゴリズムであるDeLAMAを提案する。
  論文  参考訳（メタデータ） (2024-03-11T09:21:11Z)
• Joint Training of Deep Ensembles Fails Due to Learner Collusion [61.557412796012535]
  機械学習モデルのアンサンブルは、単一のモデルよりもパフォーマンスを改善する強力な方法として確立されている。 伝統的に、アンサンブルアルゴリズムは、ジョイントパフォーマンスの最適化を目標として、ベースラーナーを独立または逐次訓練する。 アンサンブルの損失を最小化することは、実際にはほとんど適用されないことを示す。
  論文  参考訳（メタデータ） (2023-01-26T18:58:07Z)
• Distantly-Supervised Named Entity Recognition with Adaptive Teacher Learning and Fine-grained Student Ensemble [56.705249154629264]
  NERモデルの堅牢性を改善するために,自己学習型教員学生フレームワークを提案する。 本稿では,2つの教員ネットワークからなる適応型教員学習を提案する。 微粒な学生アンサンブルは、教師モデルの各フラグメントを、生徒の対応するフラグメントの時間移動平均で更新し、各モデルフラグメントのノイズに対する一貫した予測を強化する。
  論文  参考訳（メタデータ） (2022-12-13T12:14:09Z)
• Mitigating Biases in Student Performance Prediction via Attention-Based Personalized Federated Learning [7.040747348755578]
  従来の学習に基づく学生モデリングのアプローチは、データの可用性のバイアスにより、表現不足の学生グループにあまり一般化しない。 本研究では,オンライン学習活動から学生のパフォーマンスを予測する手法を提案し,人種や性別などの異なる集団を対象とした推論精度を最適化する。
  論文  参考訳（メタデータ） (2022-08-02T00:22:20Z)
• Towards Explainable Student Group Collaboration Assessment Models Using Temporal Representations of Individual Student Roles [12.945344702592557]
  学生グループコラボレーションを評価するために,簡単な時間-CNN深層学習モデルを提案する。 学生グループコラボレーション評価における動的に変化する特徴表現の適用性を検討する。 また、ディープラーニングモデルの決定に繋がった重要な時間指標をよりよく理解し、解釈するために、Grad-CAM視覚化を使用します。
  論文  参考訳（メタデータ） (2021-06-17T16:00:08Z)
• MultiFair: Multi-Group Fairness in Machine Learning [52.24956510371455]
  機械学習におけるマルチグループフェアネスの研究(MultiFair) この問題を解決するために,汎用的なエンドツーエンドのアルゴリズムフレームワークを提案する。 提案するフレームワークは多くの異なる設定に一般化可能である。
  論文  参考訳（メタデータ） (2021-05-24T02:30:22Z)
• Multi-View Feature Representation for Dialogue Generation with Bidirectional Distillation [22.14228918338769]
  本稿では,一般知識の学習がコンセンサスに到達するアイデアとより一致した,新たなトレーニングフレームワークを提案する。 トレーニング効率を犠牲にすることなく、モデル一般化を効果的に改善します。
  論文  参考訳（メタデータ） (2021-02-22T05:23:34Z)
• Task-Feature Collaborative Learning with Application to Personalized Attribute Prediction [166.87111665908333]
  本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。 具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。 実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
  論文  参考訳（メタデータ） (2020-04-29T02:32:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。