論文の概要: Discriminability Distillation in Group Representation Learning

• arxiv url: http://arxiv.org/abs/2008.10850v2
• Date: Tue, 1 Sep 2020 07:33:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-25 04:02:14.761454
• Title: Discriminability Distillation in Group Representation Learning
• Title（参考訳）: グループ表現学習における識別可能性蒸留
• Authors: Manyuan Zhang, Guanglu Song, Hang Zhou, Yu Liu
• Abstract要約: 本研究は, 軽度蒸留ネットワークで蒸留できる, 良質な特性を有する識別性知識について述べる。 提案したDDLは、元のトレーニング手順に影響を与えることなく、多くのグループベースの認識タスクに柔軟にプラグインすることができる。
• 参考スコア（独自算出の注目度）: 16.326937936349093
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning group representation is a commonly concerned issue in tasks where the basic unit is a group, set, or sequence. Previously, the research community tries to tackle it by aggregating the elements in a group based on an indicator either defined by humans such as the quality and saliency, or generated by a black box such as the attention score. This article provides a more essential and explicable view. We claim the most significant indicator to show whether the group representation can be benefited from one of its element is not the quality or an inexplicable score, but the discriminability w.r.t. the model. We explicitly design the discrimiability using embedded class centroids on a proxy set. We show the discrimiability knowledge has good properties that can be distilled by a light-weight distillation network and can be generalized on the unseen target set. The whole procedure is denoted as discriminability distillation learning (DDL). The proposed DDL can be flexibly plugged into many group-based recognition tasks without influencing the original training procedures. Comprehensive experiments on various tasks have proven the effectiveness of DDL for both accuracy and efficiency. Moreover, it pushes forward the state-of-the-art results on these tasks by an impressive margin.
• Abstract（参考訳）: 学習グループ表現は、基本単位がグループ、集合、シーケンスであるタスクにおいて、一般的に懸念される問題である。 従来、研究コミュニティは、品質や塩分などの人間によって定義された指標に基づいてグループ内の要素を集約したり、注意スコアなどのブラックボックスによって生成されたりする。 この記事では、より本質的で説明可能な見解を提供する。 グループ表現がその要素の1つから恩恵を受けられるかどうかを示す最も重要な指標は、品質や説明不能なスコアではなく、モデルの識別可能性w.r.tである。 プロキシセット上の組込みクラスセントロイドを用いて、識別可能性を明確に設計する。 判別可能性に関する知識は, 軽量蒸留ネットワークで蒸留でき, 未確認のターゲットセット上で一般化できる, 優れた性質を有することを示す。 この手順全体を識別性蒸留学習(ddl)と表記する。 提案するddlは、元のトレーニング手順に影響を与えることなく、多くのグループベースの認識タスクに柔軟にプラグインすることができる。 様々なタスクに関する総合的な実験は、精度と効率の両方にDDLの有効性を証明した。 さらに、これらのタスクの最先端の成果を、印象的なマージンで推進する。

関連論文リスト

• FALE: Fairness-Aware ALE Plots for Auditing Bias in Subgroups [0.8528401618469597]
  本稿では,サブグループ内の潜在的なバイアスを識別し,ユーザフレンドリな方法で発見を可視化するための説明可能性手法を提案する。 FALEは,潜在的なバイアス問題のあるサブグループを特定するための,効率的でユーザフレンドリで,理解しやすく,信頼性の高い第1段階ツールとして機能することを期待している。
  論文  参考訳（メタデータ） (2024-04-29T13:30:57Z)
• Does In-Context Learning Really Learn? Rethinking How Large Language Models Respond and Solve Tasks via In-Context Learning [41.606494950216764]
  In-context Learning (ICL)は、スケールアップされた大規模言語モデル(LLM)の開発と共に強力な能力として登場した。 本稿では,ICLの全体的な性能をラベル空間,フォーマット,識別の3次元に分解する。 ICLはラベル空間とフォーマットを制御し,所望のラベル語にLLMが反応するのに役立つことを示す。
  論文  参考訳（メタデータ） (2024-04-11T08:20:10Z)
• A Probabilistic Model Behind Self-Supervised Learning [53.64989127914936]
  自己教師付き学習(SSL)では、アノテートラベルなしで補助的なタスクを通じて表現が学習される。 自己教師型学習のための生成潜在変数モデルを提案する。 対照的な方法を含む識別的SSLのいくつかのファミリーは、表現に匹敵する分布を誘導することを示した。
  論文  参考訳（メタデータ） (2024-02-02T13:31:17Z)
• Leveraging sparse and shared feature activations for disentangled representation learning [112.22699167017471]
  本稿では,教師付きタスクの多種多様な集合から抽出した知識を活用し,共通不整合表現を学習することを提案する。 我々は6つの実世界分布シフトベンチマークと異なるデータモダリティに対するアプローチを検証する。
  論文  参考訳（メタデータ） (2023-04-17T01:33:24Z)
• Learning Common Rationale to Improve Self-Supervised Representation for Fine-Grained Visual Recognition Problems [61.11799513362704]
  我々は、インスタンスやクラスでよく見られる差別的手がかりを識別するための、追加のスクリーニングメカニズムの学習を提案する。 SSL目標から誘導されるGradCAMを単純に利用することで、共通な有理性検出器が学習可能であることを示す。
  論文  参考訳（メタデータ） (2023-03-03T02:07:40Z)
• Self-Supervised Visual Representation Learning with Semantic Grouping [50.14703605659837]
  我々は、未ラベルのシーン中心のデータから視覚表現を学習する問題に取り組む。 本研究では,データ駆動型セマンティックスロット,すなわちSlotConによる協調型セマンティックグルーピングと表現学習のためのコントラスト学習を提案する。
  論文  参考訳（メタデータ） (2022-05-30T17:50:59Z)
• Knowledge Distillation Meets Open-Set Semi-Supervised Learning [69.21139647218456]
  本研究では,事前学習した教師から対象学生へ,表現的知識を意味的に蒸留する新しいモデル名(bfem shortname)を提案する。 問題レベルでは、これは知識蒸留とオープンセット半教師付き学習(SSL)との興味深い関係を確立する。 我々のショートネームは、粗い物体分類と微妙な顔認識タスクの両方において、最先端の知識蒸留法よりもかなり優れている。
  論文  参考訳（メタデータ） (2022-05-13T15:15:27Z)
• Fair Contrastive Learning for Facial Attribute Classification [25.436462696033846]
  公正な視覚表現学習のためのFair Supervised Contrastive Loss (FSCL)を提案する。 本稿では,教師付きコントラスト学習による不公平性を初めて分析する。 提案手法はデータバイアスの強度に頑健であり,不完全な教師付き設定で効果的に機能する。
  論文  参考訳（メタデータ） (2022-03-30T11:16:18Z)
• Semi-Supervised Semantic Segmentation of Vessel Images using Leaking Perturbations [1.5791732557395552]
  Leaking GANは、網膜血管セグメンテーションのためのGANベースの半教師付きアーキテクチャである。 私たちのキーとなるアイデアは、ジェネレータから情報を漏らすことで識別器を汚染することです。 これにより、より穏健な世代がGANのトレーニングに役立ちます。
  論文  参考訳（メタデータ） (2021-10-22T18:25:08Z)
• Discriminative-Generative Representation Learning for One-Class Anomaly Detection [22.500931323372303]
  生成法と識別法を組み合わせた自己教師型学習フレームワークを提案する。 提案手法は,複数のベンチマークデータセットにおいて,最先端の処理性能を著しく向上させる。
  論文  参考訳（メタデータ） (2021-07-27T11:46:15Z)
• Neighborhood Contrastive Learning for Novel Class Discovery [79.14767688903028]
  我々は,クラスタリング性能に重要な識別表現を学習するために,Neighborhood Contrastive Learningという新しいフレームワークを構築した。 これらの2つの成分がクラスタリング性能に大きく寄与し、我々のモデルが最先端の手法よりも大きなマージンで優れていることを実験的に実証した。
  論文  参考訳（メタデータ） (2021-06-20T17:34:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。