論文の概要: Semi-Supervised Online Learning on the Edge by Transforming Knowledge from Teacher Models

• arxiv url: http://arxiv.org/abs/2512.16866v1
• Date: Thu, 18 Dec 2025 18:37:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-19 18:10:32.212515
• Title: Semi-Supervised Online Learning on the Edge by Transforming Knowledge from Teacher Models
• Title（参考訳）: 教師モデルからの知識変換によるエッジ上での半教師付きオンライン学習
• Authors: Jiabin Xue,
• Abstract要約: エッジ機械学習(Edge ML)は、ネットワークエッジに分散した巨大なデータを使用して、MLモデルのトレーニングを可能にする。 Online Edge MLは、モデルをエッジデバイス上で直接トレーニングし、新しいデータで継続的に更新することを可能にする。 本稿では,知識蒸留,アクティブラーニング,因果推論を組み合わせたハイブリッド手法である知識変換(KT)を提案する。
• 参考スコア（独自算出の注目度）: 1.6490670414281121
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Edge machine learning (Edge ML) enables training ML models using the vast data distributed across network edges. However, many existing approaches assume static models trained centrally and then deployed, making them ineffective against unseen data. To address this, Online Edge ML allows models to be trained directly on edge devices and updated continuously with new data. This paper explores a key challenge of Online Edge ML: "How to determine labels for truly future, unseen data points". We propose Knowledge Transformation (KT), a hybrid method combining Knowledge Distillation, Active Learning, and causal reasoning. In short, KT acts as the oracle in active learning by transforming knowledge from a teacher model to generate pseudo-labels for training a student model. To verify the validity of the method, we conducted simulation experiments with two setups: (1) using a less stable teacher model and (2) a relatively more stable teacher model. Results indicate that when a stable teacher model is given, the student model can eventually reach its expected maximum performance. KT is potentially beneficial for scenarios that meet the following circumstances: (1) when the teacher's task is generic, which means existing pre-trained models might be adequate for its task, so there will be no need to train the teacher model from scratch; and/or (2) when the label for the student's task is difficult or expensive to acquire.
• Abstract（参考訳）: エッジ機械学習(Edge ML)は、ネットワークエッジに分散した巨大なデータを使用して、MLモデルのトレーニングを可能にする。 しかし、既存の多くのアプローチでは、静的モデルを集中的にトレーニングし、デプロイし、見当たらないデータに対して効果がないと仮定している。 これを解決するために、Online Edge MLでは、モデルをエッジデバイス上で直接トレーニングし、新しいデータで継続的に更新することができる。 本稿では,Online Edge MLの重要な課題として,“将来的な,目に見えないデータポイントのラベルを決定する方法”について論じる。 本稿では,知識蒸留,アクティブラーニング,因果推論を組み合わせたハイブリッド手法である知識変換(KT)を提案する。 簡単に言えば、KTは教師モデルから知識を変換し、学生モデルを訓練するための擬似ラベルを生成することによって、活発な学習におけるオラクルとして機能する。 本手法の有効性を検証するため,(1) より安定した教師モデルと(2) 比較的安定した教師モデルを用いたシミュレーション実験を行った。 その結果、安定した教師モデルが与えられると、学生モデルは最終的に期待される最大性能に達することが示唆された。 KTは,(1)教師のタスクが汎用的である場合,つまり既存の事前学習モデルがそのタスクに適している可能性があるため,スクラッチから教師モデルを訓練する必要がなく,(2)生徒のタスクのラベルの取得が困難あるいは高価である場合,といったシナリオに有効である。

関連論文リスト

• Matryoshka Model Learning for Improved Elastic Student Models [62.154536258259384]
  MatTAは、新しいTeacher-TA-Studentレシピを使用して、複数の正確な学生モデルをトレーニングするためのフレームワークである。 本手法はパブリックモデルであるGPT-2 Medium上で実証し,SAT Mathで24%,LAMBADAベンチマークで10%以上の相対的な改善を実現した。
  論文  参考訳（メタデータ） (2025-05-29T10:54:58Z)
• Toward In-Context Teaching: Adapting Examples to Students' Misconceptions [54.82965010592045]
  本稿ではAdapTと呼ばれる一連のモデルと評価手法を紹介する。 AToMは、学生の過去の信念を共同で推論し、将来の信念の正しさを最適化する適応教育の新しい確率論的モデルである。 本研究は,適応型学習課題の難しさと,それを解決するための学習適応モデルの可能性を両立させるものである。
  論文  参考訳（メタデータ） (2024-05-07T17:05:27Z)
• Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning Interference with Gradient Projection [56.292071534857946]
  最近のデータプライバシ法は、機械学習への関心を喚起している。 課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。 我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。 トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2023-12-07T07:17:24Z)
• PILOT: A Pre-Trained Model-Based Continual Learning Toolbox [65.57123249246358]
  本稿では,PILOTとして知られるモデルベース連続学習ツールボックスについて紹介する。 一方、PILOTはL2P、DualPrompt、CODA-Promptといった事前学習モデルに基づいて、最先端のクラスインクリメンタル学習アルゴリズムを実装している。 一方、PILOTは、事前学習されたモデルの文脈に典型的なクラス増分学習アルゴリズムを適合させ、それらの効果を評価する。
  論文  参考訳（メタデータ） (2023-09-13T17:55:11Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)
• Oracle Teacher: Leveraging Target Information for Better Knowledge Distillation of CTC Models [10.941519846908697]
  我々は、コネクショニスト時間分類(CTC)に基づくシーケンスモデル、すなわち、Oracle Teacherのための新しいタイプの教師モデルを導入する。 Oracle Teacherは、ターゲット情報を参照することによって、より正確なCTCアライメントを学ぶため、より最適なガイダンスを提供することができる。 CTCアルゴリズムの多対一マッピング特性に基づいて、自明な解を効果的に防止できるトレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2021-11-05T14:14:05Z)
• Certifiable Machine Unlearning for Linear Models [1.484852576248587]
  機械学習は、トレーニングされたトレーニングデータのサブセットが削除された後、機械学習(ML)モデルを更新するタスクである。 本稿では,線形モデルに対する3つの非学習手法について実験的に検討する。
  論文  参考訳（メタデータ） (2021-06-29T05:05:58Z)
• From Learning to Meta-Learning: Reduced Training Overhead and Complexity for Communication Systems [40.427909614453526]
  機械学習手法は、データやアクティブな観察に基づいて、一定の学習手順を用いて、与えられたモデルクラスに置かれるように制約されたモデルのパラメータを適応する。 メタトレーニングによる帰納バイアスでは、トレーニングデータと/または時間の複雑さを減らして、マシンラーニングモデルのトレーニングを実行することができる。 本稿では,メタラーニングの高度導入と通信システムへの応用について述べる。
  論文  参考訳（メタデータ） (2020-01-05T12:54:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。