論文の概要: Boosting Active Learning with Knowledge Transfer

• arxiv url: http://arxiv.org/abs/2509.15805v1
• Date: Fri, 19 Sep 2025 09:31:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-22 18:18:11.109009
• Title: Boosting Active Learning with Knowledge Transfer
• Title（参考訳）: 知識伝達によるアクティブラーニングの促進
• Authors: Tianyang Wang, Xi Xiao, Gaofei Chen, Xiaoying Liao, Guo Cheng, Yingrui Ji,
• Abstract要約: 不確実性推定は、アクティブラーニング(AL)の中核にある ALにおける不確実性評価を促進するために,知識伝達を用いた新しい手法を提案する。 本研究では,従来のコンピュータビジョンタスクとCreo-ET課題に対する提案手法の検証を行う。
• 参考スコア（独自算出の注目度）: 16.99518512990296
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Uncertainty estimation is at the core of Active Learning (AL). Most existing methods resort to complex auxiliary models and advanced training fashions to estimate uncertainty for unlabeled data. These models need special design and hence are difficult to train especially for domain tasks, such as Cryo-Electron Tomography (cryo-ET) classification in computational biology. To address this challenge, we propose a novel method using knowledge transfer to boost uncertainty estimation in AL. Specifically, we exploit the teacher-student mode where the teacher is the task model in AL and the student is an auxiliary model that learns from the teacher. We train the two models simultaneously in each AL cycle and adopt a certain distance between the model outputs to measure uncertainty for unlabeled data. The student model is task-agnostic and does not rely on special training fashions (e.g. adversarial), making our method suitable for various tasks. More importantly, we demonstrate that data uncertainty is not tied to concrete value of task loss but closely related to the upper-bound of task loss. We conduct extensive experiments to validate the proposed method on classical computer vision tasks and cryo-ET challenges. The results demonstrate its efficacy and efficiency.
• Abstract（参考訳）: 不確実性推定は、アクティブラーニング(AL)の中核にある。 既存のほとんどの手法は、ラベルなしデータの不確実性を推定するために、複雑な補助モデルと高度な訓練方法を利用している。 これらのモデルには特別な設計が必要であり、計算生物学におけるCryo-Electron Tomography (cryo-ET)分類のようなドメインタスクの訓練は困難である。 この課題に対処するため,ALにおける不確実性評価を促進するために,知識伝達を用いた新しい手法を提案する。 具体的には、教師がALのタスクモデルであり、生徒が教師から学ぶ補助モデルである教師学生モードを利用する。 各ALサイクルで2つのモデルを同時にトレーニングし、ラベルなしデータの不確実性を測定するために、モデル出力間の一定の距離を採用する。 学生モデルはタスク非依存であり、特別なトレーニング・ファッション(例えば逆行)に頼らず、様々なタスクに適している。 さらに,データ不確実性は,タスク損失の具体的な値ではなく,タスク損失の上限値と密接に関連していることを示す。 本研究では,従来のコンピュータビジョンタスクとCreo-ET課題に対する提案手法の検証を行う。 その結果,有効性と有効性を示した。

関連論文リスト

• Know When to Explore: Difficulty-Aware Certainty as a Guide for LLM Reinforcement Learning [37.20632079882874]
  DACE(Difficulty Aware Certainty guided Exploration)を紹介する。 政策の成功率に基づいて、探索的エクスプロイトのトレードオフをバランスさせる。 挑戦的な数学的推論ベンチマーク(AIME, MATH)の実験は、DACEが強いベースラインを著しく上回っていることを示している。
  論文  参考訳（メタデータ） (2025-08-29T08:57:54Z)
• Adaptive Retention & Correction: Test-Time Training for Continual Learning [114.5656325514408]
  連続学習における一般的な問題は、最新のタスクに対する分類層のバイアスである。 アダプティブ・リテンション・アンド・コレクション (ARC) のアプローチを例に挙げる。 ARCはCIFAR-100とImagenet-Rのデータセットで平均2.7%と2.6%のパフォーマンス向上を達成した。
  論文  参考訳（メタデータ） (2024-05-23T08:43:09Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)
• Learning Objective-Specific Active Learning Strategies with Attentive Neural Processes [72.75421975804132]
  学び アクティブラーニング(LAL)は、アクティブラーニング戦略自体を学ぶことを提案し、与えられた設定に適応できるようにする。 能動学習問題の対称性と独立性を利用した新しい分類法を提案する。 私たちのアプローチは、筋電図から学ぶことに基づいており、モデルに標準ではない目的に適応する能力を与えます。
  論文  参考訳（メタデータ） (2023-09-11T14:16:37Z)
• MoMA: Momentum Contrastive Learning with Multi-head Attention-based Knowledge Distillation for Histopathology Image Analysis [4.5677296928097055]
  計算病理学における特定のタスクに関して、品質データの欠如は一般的な問題である。 そこで本研究では,既存のモデルを用いて新たなターゲットモデルを学習する知識蒸留手法を提案する。 本研究では,教師モデルから学習対象モデルを学習するために,学習者・教師の枠組みを用いる。
  論文  参考訳（メタデータ） (2023-08-31T08:54:59Z)
• Deep Active Learning with Noise Stability [24.54974925491753]
  ラベルのないデータの不確実性推定は、アクティブな学習に不可欠である。 本稿では,雑音の安定性を利用して不確実性を推定する新しいアルゴリズムを提案する。 本手法はコンピュータビジョン,自然言語処理,構造データ解析など,様々なタスクに適用可能である。
  論文  参考訳（メタデータ） (2022-05-26T13:21:01Z)
• Self-Supervised Learning Aided Class-Incremental Lifelong Learning [17.151579393716958]
  クラスインクリメンタルラーニング(Class-IL)における破滅的忘れの問題について検討する。 クラスILの訓練手順では、モデルが次のタスクについて知識を持っていないため、これまで学習してきたタスクに必要な特徴のみを抽出し、その情報は共同分類に不十分である。 本稿では,ラベルを必要とせずに効果的な表現を提供する自己教師型学習と,この問題を回避するためのクラスILを組み合わせることを提案する。
  論文  参考訳（メタデータ） (2020-06-10T15:15:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。