論文の概要: Reducing Overlearning through Disentangled Representations by Suppressing Unknown Tasks

• arxiv url: http://arxiv.org/abs/2005.10220v1
• Date: Wed, 20 May 2020 17:31:44 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-01 05:05:00.336815
• Title: Reducing Overlearning through Disentangled Representations by Suppressing Unknown Tasks
• Title（参考訳）: 未知タスクの抑制による乱れ表現によるオーバーラーニングの削減
• Authors: Naveen Panwar, Tarun Tater, Anush Sankaran, Senthil Mani
• Abstract要約: 視覚的特徴を学習するための既存のディープラーニングアプローチは、手元にあるタスクに必要なものよりも、過剰に学習し、より多くの情報を抽出する傾向がある。 プライバシー保護の観点からは、入力された視覚情報はモデルから保護されない。 未知のタスクを全て抑制することで、モデルオーバーラーニングを減らすためのモデル非依存のソリューションを提案する。
• 参考スコア（独自算出の注目度）: 8.517620051440005
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing deep learning approaches for learning visual features tend to overlearn and extract more information than what is required for the task at hand. From a privacy preservation perspective, the input visual information is not protected from the model; enabling the model to become more intelligent than it is trained to be. Current approaches for suppressing additional task learning assume the presence of ground truth labels for the tasks to be suppressed during training time. In this research, we propose a three-fold novel contribution: (i) a model-agnostic solution for reducing model overlearning by suppressing all the unknown tasks, (ii) a novel metric to measure the trust score of a trained deep learning model, and (iii) a simulated benchmark dataset, PreserveTask, having five different fundamental image classification tasks to study the generalization nature of models. In the first set of experiments, we learn disentangled representations and suppress overlearning of five popular deep learning models: VGG16, VGG19, Inception-v1, MobileNet, and DenseNet on PreserverTask dataset. Additionally, we show results of our framework on color-MNIST dataset and practical applications of face attribute preservation in Diversity in Faces (DiF) and IMDB-Wiki dataset.
• Abstract（参考訳）: 視覚機能を学ぶ既存のディープラーニングアプローチは、目の前のタスクに必要なものよりも多くの情報を理解し、抽出する傾向がある。 プライバシー保護の観点からは、入力された視覚情報はモデルから保護されない。 新たなタスク学習を抑圧する現在のアプローチは、トレーニング中に抑制すべきタスクの基底真理ラベルの存在を前提としている。 本研究では,3倍の新規貢献を提案する。 (i)未知のタスクをすべて抑制し、モデルオーバーラーニングを減らすためのモデル非依存のソリューション。 (ii)訓練された深層学習モデルの信頼度を測定するための新しい指標 (iii)モデルの一般化性を研究するために、5つの基本的な画像分類タスクを持つ、シミュレーションされたベンチマークデータセットであるreservationtask。 最初の実験では、不整合表現を学び、VGG16、VGG19、Inception-v1、MobileNet、DenseNetの5つの人気のあるディープラーニングモデルの過剰学習を抑制する。 さらに,色-MNISTデータセットと顔の多様性(DiF)とIMDB-Wikiデータセットにおける顔属性保存の実践的応用について検討した。

関連論文リスト

• Data-efficient Large Vision Models through Sequential Autoregression [58.26179273091461]
  限られたデータセットに基づいて,効率的な自己回帰に基づく視覚モデルを構築する。 このモデルは,高レベル・低レベルのセマンティック理解の両方にまたがる視覚的タスクにおいて,その習熟度をいかに達成するかを実証する。 我々の経験的評価は、モデルが様々なタスクに適応する際の機敏さを強調し、パラメータフットプリントの大幅な削減を図った。
  論文  参考訳（メタデータ） (2024-02-07T13:41:53Z)
• An Information Theoretic Approach to Machine Unlearning [45.600917449314444]
  学びの鍵となる課題は、モデルのパフォーマンスを保ちながら、必要なデータをタイムリーに忘れることである。 この研究では、ゼロショットのアンラーニングシナリオに対処し、未学習のアルゴリズムは、トレーニングされたモデルと忘れられるデータだけが与えられたデータを削除できなければならない。 モデルの幾何に基づいて、単純だが原則化されたゼロショットアンラーニング法を導出する。
  論文  参考訳（メタデータ） (2024-02-02T13:33:30Z)
• Harnessing Diffusion Models for Visual Perception with Meta Prompts [68.78938846041767]
  本稿では,視覚知覚タスクの拡散モデルを用いた簡易かつ効果的な手法を提案する。 学習可能な埋め込み(メタプロンプト)を事前学習した拡散モデルに導入し、知覚の適切な特徴を抽出する。 提案手法は,NYU 深度 V2 と KITTI の深度推定タスク,および CityScapes のセマンティックセグメンテーションタスクにおいて,新しい性能記録を実現する。
  論文  参考訳（メタデータ） (2023-12-22T14:40:55Z)
• Zero-shot Retrieval: Augmenting Pre-trained Models with Search Engines [83.65380507372483]
  大規模で事前訓練されたモデルは、問題を解決するのに必要なタスク固有のデータの量を劇的に削減するが、多くの場合、ドメイン固有のニュアンスを箱から取り出すのに失敗する。 本稿では,NLPとマルチモーダル学習の最近の進歩を活用して,検索エンジン検索による事前学習モデルを強化する方法について述べる。
  論文  参考訳（メタデータ） (2023-11-29T05:33:28Z)
• ALP: Action-Aware Embodied Learning for Perception [60.64801970249279]
  認知のための行動認識型身体学習(ALP)について紹介する。 ALPは、強化学習ポリシーと逆ダイナミクス予測目標を最適化することにより、行動情報を表現学習に組み込む。 ALPは、複数の下流認識タスクにおいて、既存のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-16T21:51:04Z)
• Learning Customized Visual Models with Retrieval-Augmented Knowledge [104.05456849611895]
  我々は、ターゲットドメイン用にカスタマイズされたビジュアルモデルを構築するための、関連するWeb知識を取得するためのフレームワークであるREACTを提案する。 我々は、Webスケールデータベースから最も関連性の高い画像テキストペアを外部知識として検索し、元の重みをすべて凍結しながら、新しいモジュール化されたブロックをトレーニングするだけで、モデルをカスタマイズすることを提案する。 REACTの有効性は、ゼロ、少数、フルショット設定を含む分類、検索、検出、セグメンテーションタスクに関する広範な実験を通じて実証される。
  論文  参考訳（メタデータ） (2023-01-17T18:59:06Z)
• X-Learner: Learning Cross Sources and Tasks for Universal Visual Representation [71.51719469058666]
  本稿では,X-Learnerという表現学習フレームワークを提案する。 X-Learnerは、様々なソースによって管理される複数の視覚タスクの普遍的な特徴を学習する。 X-Learnerは、追加のアノテーションやモダリティ、計算コストを使わずに、様々なタスクで強力なパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-03-16T17:23:26Z)
• Self-Supervised Visual Representation Learning Using Lightweight Architectures [0.0]
  自己教師付き学習では、マシンによってアノテーションが生成されるデータセットを使用して、プレテキストタスクを解決するためにモデルが訓練される。 我々は、画像データから特徴を抽出する最も顕著な前文タスクを批判的に検討する。 我々は、他の全てのパラメータを均一に保ちながら、様々な自己監督技術の性能について研究する。
  論文  参考訳（メタデータ） (2021-10-21T14:13:10Z)
• Distill on the Go: Online knowledge distillation in self-supervised learning [1.1470070927586016]
  最近の研究では、より広範でより深いモデルは、小さなモデルよりも自己監督学習の恩恵を受けることが示されている。 単段階オンライン知識蒸留を用いた自己指導型学習パラダイムであるDistill-on-the-Go(DoGo)を提案する。 以上の結果から,ノイズラベルや限定ラベルの存在下でのパフォーマンス向上がみられた。
  論文  参考訳（メタデータ） (2021-04-20T09:59:23Z)
• Learning Purified Feature Representations from Task-irrelevant Labels [18.967445416679624]
  本稿では,タスク関連ラベルから抽出したタスク関連機能を利用したPurifiedLearningという新しい学習フレームワークを提案する。 本研究は,PurifiedLearningの有効性を実証する,ソリッド理論解析と広範囲な実験に基づいている。
  論文  参考訳（メタデータ） (2021-02-22T12:50:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。