論文の概要: Human-in-the-loop Handling of Knowledge Drift

• arxiv url: http://arxiv.org/abs/2103.14874v1
• Date: Sat, 27 Mar 2021 10:20:18 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-03 12:34:17.279475
• Title: Human-in-the-loop Handling of Knowledge Drift
• Title（参考訳）: 知識ドリフトのループハンドリング
• Authors: Andrea Bontempelli, Fausto Giunchiglia, Andrea Passerini, Stefano Teso
• Abstract要約: 階層分類で発生する複雑な形態である知識漂流(KD)を導入し,研究する。 主な課題は、基底真実の概念階層が観測されていないため、異なる形式のKDを区別することは難しいことである。 自動ドリフト検出と適応と、ユーザーが異なる種類のKDを区別するよう求められるインタラクティブなステージを組み合わせた新しいアプローチであるTRCKDを紹介します。
• 参考スコア（独自算出の注目度）: 28.44179818430489
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce and study knowledge drift (KD), a complex form of drift that occurs in hierarchical classification. Under KD the vocabulary of concepts, their individual distributions, and the is-a relations between them can all change over time. The main challenge is that, since the ground-truth concept hierarchy is unobserved, it is hard to tell apart different forms of KD. For instance, introducing a new is-a relation between two concepts might be confused with individual changes to those concepts, but it is far from equivalent. Failure to identify the right kind of KD compromises the concept hierarchy used by the classifier, leading to systematic prediction errors. Our key observation is that in many human-in-the-loop applications (like smart personal assistants) the user knows whether and what kind of drift occurred recently. Motivated by this, we introduce TRCKD, a novel approach that combines automated drift detection and adaptation with an interactive stage in which the user is asked to disambiguate between different kinds of KD. In addition, TRCKD implements a simple but effective knowledge-aware adaptation strategy. Our simulations show that often a handful of queries to the user are enough to substantially improve prediction performance on both synthetic and realistic data.
• Abstract（参考訳）: 我々は,階層的分類において発生する複雑なドリフト形式である知識ドリフト(kd)を導入し,研究する。 kdの下では、概念の語彙、個々の分布、それらの間のis-a関係は全て時間とともに変化する。 主な課題は、基底真実の概念階層が観測されていないため、異なる形式のKDを区別することは難しいことである。 例えば、2つの概念間の新しいis-a関係の導入は、これらの概念の個々の変更と混同される可能性があるが、同等とは程遠い。 正しい種類のKDを特定するのに失敗すると、分類器が使用する概念階層が損なわれ、体系的な予測エラーが生じる。 私たちのキーとなる観察は、ループ中の多くのアプリケーション(スマートパーソナルアシスタントなど)では、ユーザが最近どのようなドリフトが起こったかを知っていることです。 そこで,我々はtrckdについて紹介する。trckdは,ドリフトの自動検出と適応を,ユーザが異なる種類のkd間で曖昧さを解消するように要求するインタラクティブなステージと組み合わせた,新しいアプローチである。 さらにtrckdは、シンプルで効果的な知識認識適応戦略を実装している。 シミュレーションの結果,ユーザに対するクエリ数が少ないと,合成データと現実データの両方で予測性能が大幅に向上することがわかった。

関連論文リスト

• Knowledge From the Dark Side: Entropy-Reweighted Knowledge Distillation for Balanced Knowledge Transfer [1.2606200500489302]
  蒸留(KD)は、より大きな「教師」モデルからの知識を学生に伝達する。 ERKDは教師の予測においてエントロピーを用いてKD損失を標本的に再重み付けする。 私たちのコードはhttps://github.com/cpsu00/ER-KD.comで公開されています。
  論文  参考訳（メタデータ） (2023-11-22T08:34:33Z)
• Categories of Response-Based, Feature-Based, and Relation-Based Knowledge Distillation [10.899753512019933]
  知識蒸留(KD)は、軽量ネットワークの最適化を目的としている。 KDは主に知識抽出と蒸留戦略を含む。 本稿では,知識カテゴリ,蒸留スキーム,アルゴリズムなどを含む総合的なKD調査を行う。
  論文  参考訳（メタデータ） (2023-06-19T03:42:44Z)
• Exploring Inconsistent Knowledge Distillation for Object Detection with Data Augmentation [66.25738680429463]
  物体検出のための知識蒸留(KD)は、教師モデルから知識を伝達することで、コンパクトな検出器を訓練することを目的としている。 教師モデルの反直感的知覚に固有の知識を蒸留することを目的とした,一貫性のない知識蒸留(IKD)を提案する。 本手法は, 1段, 2段, アンカーフリーの物体検出器において, 最先端のKDベースラインより優れる。
  論文  参考訳（メタデータ） (2022-09-20T16:36:28Z)
• EvDistill: Asynchronous Events to End-task Learning via Bidirectional Reconstruction-guided Cross-modal Knowledge Distillation [61.33010904301476]
  イベントカメラは画素ごとの強度変化を感知し、ダイナミックレンジが高く、動きのぼやけが少ない非同期イベントストリームを生成する。 本稿では,bfEvDistillと呼ばれる新しい手法を提案し,未ラベルのイベントデータから学生ネットワークを学習する。 EvDistillは、イベントとAPSフレームのみのKDよりもはるかに優れた結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-11-24T08:48:16Z)
• How and When Adversarial Robustness Transfers in Knowledge Distillation? [137.11016173468457]
  本稿では,教師モデルから学生モデルへの知識蒸留(KD)における対向ロバスト性の移行について検討する。 我々は,標準的なKDトレーニングが対向的堅牢性を維持するのに失敗することを示すとともに,KDIGA(入力勾配アライメント)を併用したKDを提案する。 特定の前提の下では、提案したKDIGAを用いた学生モデルは、少なくとも教師モデルと同じ確証された堅牢性を達成することができることを証明している。
  論文  参考訳（メタデータ） (2021-10-22T21:30:53Z)
• DISSECT: Disentangled Simultaneous Explanations via Concept Traversals [33.65478845353047]
  DISSECTは、ディープラーニングモデル推論を説明するための新しいアプローチである。 DISSECTは、分類器の信号から生成モデルを訓練することにより、異なる概念の分類器固有の「名詞」を発見する方法を提供する。 DISSECTは,複数の概念を分離し,共同訓練による推論と結合したCTを生成する。
  論文  参考訳（メタデータ） (2021-05-31T17:11:56Z)
• Concept drift detection and adaptation for federated and continual learning [55.41644538483948]
  スマートデバイスは環境から大量のデータを収集することができる。 このデータは機械学習モデルのトレーニングに適しており、その振る舞いを大幅に改善することができる。 そこで本研究では,Concept-Drift-Aware Federated Averagingと呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-05-27T17:01:58Z)
• KDExplainer: A Task-oriented Attention Model for Explaining Knowledge Distillation [59.061835562314066]
  KDExplainerと呼ばれる新しいタスク指向の注意モデルを導入し、バニラKDの基礎となる作業メカニズムを明らかにします。 また、仮想注意モジュール(VAM)と呼ばれるポータブルツールを導入し、さまざまなディープニューラルネットワーク(DNN)とシームレスに統合し、KDの下でのパフォーマンスを向上させることができます。
  論文  参考訳（メタデータ） (2021-05-10T08:15:26Z)
• Knowledge Distillation Beyond Model Compression [13.041607703862724]
  知識蒸留(KD)は、より大規模な事前訓練されたモデルや(教師)モデルのアンサンブルの監督の下で、コンパクトモデル(学生)を訓練する効果的なモデル圧縮技術として一般的に考えられている。 本研究では,9つの異なるKD手法について広範な研究を行い,知識の獲得と伝達に関する幅広いアプローチについて述べる。
  論文  参考訳（メタデータ） (2020-07-03T19:54:04Z)
• Heterogeneous Knowledge Distillation using Information Flow Modeling [82.83891707250926]
  教師モデルの様々な層を流れる情報の流れをモデル化して機能する新しいKD手法を提案する。 提案手法は, トレーニング過程の異なる段階において, 適切な監督手法を用いて, 上記の制限を克服することができる。
  論文  参考訳（メタデータ） (2020-05-02T06:56:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。