論文の概要: AUKT: Adaptive Uncertainty-Guided Knowledge Transfer with Conformal Prediction

• arxiv url: http://arxiv.org/abs/2502.16736v2
• Date: Tue, 25 Feb 2025 04:07:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-26 11:59:17.817541
• Title: AUKT: Adaptive Uncertainty-Guided Knowledge Transfer with Conformal Prediction
• Title（参考訳）: AUKT:コンフォーマル予測を用いた適応的不確かさ誘導型知識伝達
• Authors: Rui Liu, Peng Gao, Yu Shen, Ming Lin, Pratap Tokekar,
• Abstract要約: 本研究では,教師の予測の不確実性に基づいて,教師の指導への依存度を動的に調整する新しい枠組みを提案する。 提案手法は,画像分類,模倣誘導型強化学習,自律運転など多岐にわたる。
• 参考スコア（独自算出の注目度）: 38.20651868834144
• License:
• Abstract: Knowledge transfer between teacher and student models has proven effective across various machine learning applications. However, challenges arise when the teacher's predictions are noisy, or the data domain during student training shifts from the teacher's pretraining data. In such scenarios, blindly relying on the teacher's predictions can lead to suboptimal knowledge transfer. To address these challenges, we propose a novel and universal framework, Adaptive Uncertainty-guided Knowledge Transfer ($\textbf{AUKT}$), which leverages Conformal Prediction (CP) to dynamically adjust the student's reliance on the teacher's guidance based on the teacher's prediction uncertainty. CP is a distribution-free, model-agnostic approach that provides reliable prediction sets with statistical coverage guarantees and minimal computational overhead. This adaptive mechanism mitigates the risk of learning undesirable or incorrect knowledge. We validate the proposed framework across diverse applications, including image classification, imitation-guided reinforcement learning, and autonomous driving. Experimental results consistently demonstrate that our approach improves performance, robustness and transferability, offering a promising direction for enhanced knowledge transfer in real-world applications.
• Abstract（参考訳）: 教師と生徒のモデル間の知識伝達は、様々な機械学習アプリケーションで有効であることが証明されている。 しかし、教師の予測がうるさいときや、教員の事前学習データから生徒のトレーニング中のデータ領域が変わるとき、課題が生じる。 このようなシナリオでは、教師の予測に盲目的に依存すると、最適下限の知識伝達につながる可能性がある。 これらの課題に対処するために,教師の予測の不確実性に基づいた教師の指導への依存度を動的に調整するために,コンフォーマル予測(CP)を活用する,新規で普遍的なフレームワークであるAdaptive Uncertainty-Guided Knowledge Transfer(「適応的不確実性誘導」)を提案する。 CPは分布のないモデルに依存しないアプローチであり、統計的カバレッジ保証と最小の計算オーバーヘッドを備えた信頼性の高い予測セットを提供する。 この適応的なメカニズムは、望ましくないあるいは誤った知識を学ぶリスクを軽減します。 提案手法は,画像分類,模倣誘導型強化学習,自律運転など多岐にわたる。 実験結果から,本手法は実世界のアプリケーションにおける知識伝達を向上するための有望な方向を提供するとともに,性能,堅牢性,伝達性の向上を図っている。

関連論文リスト

• Dynamic Guidance Adversarial Distillation with Enhanced Teacher Knowledge [17.382306203152943]
  Dynamic Guidance Adversarial Distillation (DGAD) フレームワークは、差分サンプルの重要性の課題に取り組む。 DGADは蒸留焦点を動的に調整するためにミスクラス化認識分割(MAP)を使用している。 Error-corrective Label Swapping (ELS) は、クリーン入力と逆入力の両方で教師の誤分類を補正する。
  論文  参考訳（メタデータ） (2024-09-03T05:52:37Z)
• Improve Knowledge Distillation via Label Revision and Data Selection [37.74822443555646]
  本稿では,教師の不正確な予測を基礎的真理を用いて修正することを提案する。 後者では,教師が指導する適切なトレーニングサンプルを選択するためのデータ選択手法を提案する。 実験の結果,提案手法の有効性を実証し,他の蒸留法と組み合わせることができることを示した。
  論文  参考訳（メタデータ） (2024-04-03T02:41:16Z)
• Selective Knowledge Sharing for Privacy-Preserving Federated Distillation without A Good Teacher [52.2926020848095]
  フェデレーション学習は、ホワイトボックス攻撃に脆弱で、異種クライアントへの適応に苦慮している。 本稿では,選択的FD(Selective-FD)と呼ばれるFDのための選択的知識共有機構を提案する。
  論文  参考訳（メタデータ） (2023-04-04T12:04:19Z)
• Improving Adaptive Conformal Prediction Using Self-Supervised Learning [72.2614468437919]
  我々は、既存の予測モデルの上に自己教師付きプレテキストタスクを持つ補助モデルを訓練し、自己教師付きエラーを付加的な特徴として用いて、非整合性スコアを推定する。 合成データと実データの両方を用いて、効率(幅)、欠陥、共形予測間隔の超過といった付加情報の利点を実証的に実証する。
  論文  参考訳（メタデータ） (2023-02-23T18:57:14Z)
• Differentiating Student Feedbacks for Knowledge Tracing [28.669001606806525]
  本稿では,訓練における評価に基づいて,様々な反応の寄与を再重み付けする枠組みを提案する。 また,判別応答の少ない精度を維持するために,適応的な予測スコア融合手法を導入する。
  論文  参考訳（メタデータ） (2022-12-16T13:55:07Z)
• Distantly-Supervised Named Entity Recognition with Adaptive Teacher Learning and Fine-grained Student Ensemble [56.705249154629264]
  NERモデルの堅牢性を改善するために,自己学習型教員学生フレームワークを提案する。 本稿では,2つの教員ネットワークからなる適応型教員学習を提案する。 微粒な学生アンサンブルは、教師モデルの各フラグメントを、生徒の対応するフラグメントの時間移動平均で更新し、各モデルフラグメントのノイズに対する一貫した予測を強化する。
  論文  参考訳（メタデータ） (2022-12-13T12:14:09Z)
• Learning Domain Adaptive Object Detection with Probabilistic Teacher [93.76128726257946]
  確率的教師(PT)と呼ばれる,シンプルで効果的な枠組みを提案する。 PTは、段階的に進化する教師から未ラベルの目標データの不確実性を捉え、相互に有利な方法で生徒の学習を指導することを目的としている。 また,不確実性誘導型自己学習を促進するために,新しいエントロピー・フォカル・ロス(EFL)を提案する。
  論文  参考訳（メタデータ） (2022-06-13T16:24:22Z)
• Agree to Disagree: Diversity through Disagreement for Better Transferability [54.308327969778155]
  本稿では,D-BAT(Diversity-By-dis-Agreement Training)を提案する。 我々は、D-BATが一般化された相違の概念から自然に現れることを示す。
  論文  参考訳（メタデータ） (2022-02-09T12:03:02Z)
• Grasping Detection Network with Uncertainty Estimation for Confidence-Driven Semi-Supervised Domain Adaptation [17.16216430459064]
  本稿では,信頼駆動型半教師付き学習を用いた新たな把握検出ネットワークを通じて,ドメイン適応が容易なアプローチを提案する。 提案した把握検出ネットワークは,特徴ピラミッドネットワーク(FPN)を利用した予測不確実性推定機構を特に提供し,平均教師半教師学習は,そのような不確実性情報を利用して,信頼度の高い非競合データに対してのみ整合性損失を強調する。 提案したネットワークは,コーネル把握データセット上で高い成功率を達成できることを示すとともに,極めて限られたデータでドメイン適応を行う場合,信頼駆動型平均教師は,元の平均教師と直接訓練を10%以上向上させる。
  論文  参考訳（メタデータ） (2020-08-20T07:42:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。