論文の概要: Rethinking Teacher-Student Curriculum Learning through the Cooperative Mechanics of Experience
- arxiv url: http://arxiv.org/abs/2404.03084v2
- Date: Thu, 12 Sep 2024 16:56:59 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-13 22:02:48.129138
- Title: Rethinking Teacher-Student Curriculum Learning through the Cooperative Mechanics of Experience
- Title（参考訳）: 経験の協調力学による教師・学生のカリキュラム学習の再考
- Authors: Manfred Diaz, Liam Paull, Andrea Tacchetti,
- Abstract要約: Teacher-Student Curriculum Learning (TSCL)は、人間の文化的伝達と学習からインスピレーションを得るカリキュラム学習フレームワークである。
TSCLにおける教師と学生の相互作用の基盤となるメカニズムを解析するために,データ中心の視点を提案する。
- 参考スコア（独自算出の注目度）: 15.00590722099547
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Teacher-Student Curriculum Learning (TSCL) is a curriculum learning framework that draws inspiration from human cultural transmission and learning. It involves a teacher algorithm shaping the learning process of a learner algorithm by exposing it to controlled experiences. Despite its success, understanding the conditions under which TSCL is effective remains challenging. In this paper, we propose a data-centric perspective to analyze the underlying mechanics of the teacher-student interactions in TSCL. We leverage cooperative game theory to describe how the composition of the set of experiences presented by the teacher to the learner, as well as their order, influences the performance of the curriculum that is found by TSCL approaches. To do so, we demonstrate that for every TSCL problem, an equivalent cooperative game exists, and several key components of the TSCL framework can be reinterpreted using game-theoretic principles. Through experiments covering supervised learning, reinforcement learning, and classical games, we estimate the cooperative values of experiences and use value-proportional curriculum mechanisms to construct curricula, even in cases where TSCL struggles. The framework and experimental setup we present in this work represents a novel foundation for a deeper exploration of TSCL, shedding light on its underlying mechanisms and providing insights into its broader applicability in machine learning.
- Abstract（参考訳）: Teacher-Student Curriculum Learning (TSCL)は、人間の文化的伝達と学習からインスピレーションを得るカリキュラム学習フレームワークである。
教師アルゴリズムは、学習者のアルゴリズムの学習プロセスを制御された体験に公開することによって形成する。
その成功にもかかわらず、TSCLが有効である条件を理解することは依然として困難である。
本稿では,TSCLにおける教師と学生のインタラクションの基盤となるメカニズムを解析するためのデータ中心の視点を提案する。
我々は協調ゲーム理論を利用して、教師が学習者に提示した経験の集合の構成が、TSCLのアプローチによって見つかるカリキュラムのパフォーマンスにどのように影響するかを説明する。
そのため、全てのTSCL問題に対して、等価な協調ゲームが存在し、ゲーム理論の原理を用いて、TSCLフレームワークのいくつかの重要なコンポーネントを再解釈できることを実証する。
教師付き学習,強化学習,古典ゲームに関する実験を通じて,経験の協調的価値を推定し,TSCLが苦しむ場合においても,カリキュラム構築に価値均等なカリキュラム機構を用いる。
この研究で私たちが提示するフレームワークと実験的なセットアップは、TSCLのより深い探索のための新しい基盤であり、その基盤となるメカニズムに光を当て、機械学習の幅広い適用性に関する洞察を提供する。
関連論文リスト
- Reconciling Different Theories of Learning with an Agent-based Model of Procedural Learning [0.27624021966289597]
我々は、手続き的知識を学習するためのICAP、知識学習指導、認知的負荷理論フレームワークを再構築する、手続き的ABICAPという新しい人間の学習の計算モデルを提案する。
ICAPは、建設的学習は一般的により良い学習結果をもたらすと仮定するが、KLIやCLTのような理論は、これは必ずしも真実ではないと主張している。
論文 参考訳（メタデータ） (2024-08-23T20:45:14Z) - Investigating the Pre-Training Dynamics of In-Context Learning: Task Recognition vs. Task Learning [99.05401042153214]
In-context Learning(ICL)は、タスク認識(TR)とタスク学習(TL)の2つの主要な能力に起因する可能性がある。
ICLの出現の事前学習のダイナミクスを調べることで、第一歩を踏み出す。
そこで本研究では,この2つの機能を推論時によりよく統合するための,シンプルで効果的な手法を提案する。
論文 参考訳（メタデータ） (2024-06-20T06:37:47Z) - Let's Learn Step by Step: Enhancing In-Context Learning Ability with Curriculum Learning [9.660673938961416]
実証オーダリングは、文脈内学習(ICL)にとって重要な戦略である
In-Context Curriculum Learning (ICCL) と呼ばれるICLの簡易かつ効果的な実演順序付け手法を提案する。
論文 参考訳（メタデータ） (2024-02-16T14:55:33Z) - CLGT: A Graph Transformer for Student Performance Prediction in
Collaborative Learning [6.140954034246379]
協調学習のための拡張グラフトランスフォーマーフレームワーク(CLGT)を提案する。
実験結果から,提案したCLGTは,実世界のデータセットに基づいて予測を行うという点で,ベースラインモデルよりも優れていたことが確認された。
論文 参考訳（メタデータ） (2023-07-30T09:54:30Z) - NCL++: Nested Collaborative Learning for Long-Tailed Visual Recognition [63.90327120065928]
本研究では,Nested Collaborative Learning (NCL++)を提案する。
長期学習における協調学習を実現するために,バランスの取れたオンライン蒸留を提案する。
混乱するカテゴリにおける細かな識別能力を改善するために,さらにハードカテゴリーマイニングを提案する。
論文 参考訳（メタデータ） (2023-06-29T06:10:40Z) - On the Statistical Benefits of Curriculum Learning [33.94130046391917]
本研究では,マルチタスク線形回帰問題におけるカリキュラム学習(CL)の利点について,構造化と非構造化の両方の条件下で検討する。
その結果,適応学習は,非構造化環境でのオラクル学習よりも根本的に困難であることが判明した。
論文 参考訳（メタデータ） (2021-11-13T14:51:07Z) - 3D Human Action Representation Learning via Cross-View Consistency
Pursuit [52.19199260960558]
教師なし3次元骨格に基づく行動表現(CrosSCLR)のためのクロスビューコントラスト学習フレームワークを提案する。
CrosSCLRは、シングルビューのコントラスト学習(SkeletonCLR)とクロスビューの一貫した知識マイニング(CVC-KM)モジュールの両方で構成されています。
論文 参考訳（メタデータ） (2021-04-29T16:29:41Z) - Mutual Contrastive Learning for Visual Representation Learning [1.9355744690301404]
本稿では,汎用視覚表現学習のための相互コントラスト学習(mcl)と呼ばれる協調学習手法を提案する。
mclの利点により、各モデルは他のモデルからさらに対照的な知識を学べ、より有意義な特徴表現に繋がる。
教師付きおよび自己教師付き画像分類、転送学習および少数ショット学習の実験結果は、mclが一貫したパフォーマンス向上をもたらすことを示している。
論文 参考訳（メタデータ） (2021-04-26T13:32:33Z) - A Survey on Curriculum Learning [48.36129047271622]
Curriculum Learning(CL)は、より簡単なデータからより難しいデータまで、マシンラーニングモデルをトレーニングするトレーニング戦略である。
CL戦略は、使い易いプラグインとして、様々なモデルの一般化能力と収束率を改善する能力を示した。
論文 参考訳（メタデータ） (2020-10-25T17:15:04Z) - Interaction-limited Inverse Reinforcement Learning [50.201765937436654]
本稿では,教師の視点をカバーしたカリキュラム逆強化学習(CIRL)と,学習者の視点に着目した自己適用逆強化学習(SPIRL)の2つの訓練戦略を提案する。
シミュレーション実験と実ロボットを用いた実験により,CIRLの無作為教師やSPIRLのバッチ学習者よりも高速な学習が可能であることを示す。
論文 参考訳（メタデータ） (2020-07-01T12:31:52Z) - Dual Policy Distillation [58.43610940026261]
教員政策を学生政策に転換する政策蒸留は、深層強化学習の課題において大きな成功を収めた。
本研究では,2人の学習者が同じ環境下で活動し,環境の異なる視点を探索する,学生学生による二重政策蒸留(DPD)を導入する。
この二重学習フレームワークを開発する上で重要な課題は、同時代の学習に基づく強化学習アルゴリズムにおいて、ピア学習者から有益な知識を特定することである。
論文 参考訳（メタデータ） (2020-06-07T06:49:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。