論文の概要: Transfer Learning without Knowing: Reprogramming Black-box Machine Learning Models with Scarce Data and Limited Resources

• arxiv url: http://arxiv.org/abs/2007.08714v2
• Date: Wed, 29 Jul 2020 12:12:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-09 12:55:47.174311
• Title: Transfer Learning without Knowing: Reprogramming Black-box Machine Learning Models with Scarce Data and Limited Resources
• Title（参考訳）: 知識のないトランスファーラーニング:スカースデータと限られたリソースを用いたブラックボックス機械学習モデルの再プログラミング
• Authors: Yun-Yun Tsai and Pin-Yu Chen and Tsung-Yi Ho
• Abstract要約: そこで我々は,ブラックボックス・アタベラル・リプログラミング (BAR) という新しい手法を提案する。 ゼロオーダー最適化とマルチラベルマッピング技術を用いて、BARは入力出力応答のみに基づいてブラックボックスMLモデルをプログラムする。 BARは最先端の手法より優れ、バニラ対逆プログラミング法に匹敵する性能を得る。
• 参考スコア（独自算出の注目度）: 78.72922528736011
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Current transfer learning methods are mainly based on finetuning a pretrained model with target-domain data. Motivated by the techniques from adversarial machine learning (ML) that are capable of manipulating the model prediction via data perturbations, in this paper we propose a novel approach, black-box adversarial reprogramming (BAR), that repurposes a well-trained black-box ML model (e.g., a prediction API or a proprietary software) for solving different ML tasks, especially in the scenario with scarce data and constrained resources. The rationale lies in exploiting high-performance but unknown ML models to gain learning capability for transfer learning. Using zeroth order optimization and multi-label mapping techniques, BAR can reprogram a black-box ML model solely based on its input-output responses without knowing the model architecture or changing any parameter. More importantly, in the limited medical data setting, on autism spectrum disorder classification, diabetic retinopathy detection, and melanoma detection tasks, BAR outperforms state-of-the-art methods and yields comparable performance to the vanilla adversarial reprogramming method requiring complete knowledge of the target ML model. BAR also outperforms baseline transfer learning approaches by a significant margin, demonstrating cost-effective means and new insights for transfer learning.
• Abstract（参考訳）: 現在の伝達学習法は主に、トレーニング済みのモデルをターゲットドメインデータで微調整することに基づいている。 本稿では,データ摂動によるモデル予測を操作可能な機械学習(ML)の技術によって動機付けられ,特にデータ不足や制約のあるリソースの少ないシナリオにおいて,トレーニングされたブラックボックスMLモデル(例えば,予測APIやプロプライエタリソフトウェア)を再利用する,新たなアプローチであるブラックボックス逆プログラム(BAR)を提案する。 その根拠は、高性能だが未知のMLモデルを利用して、トランスファーラーニングの学習能力を得ることである。 ゼロオーダー最適化とマルチラベルマッピング技術を用いて、BARはモデルアーキテクチャやパラメータの変更を知らずに、入力出力応答のみに基づいてブラックボックスMLモデルを書き換えることができる。 さらに重要なことは、自閉症スペクトラム障害分類、糖尿病網膜症検出、メラノーマ検出タスクに関する限られた医療データ設定において、BARは最先端の手法より優れ、ターゲットMLモデルの完全な知識を必要とするバニラ対逆プログラミング手法に匹敵する性能を得る。 BARはまた、ベースライン転送学習アプローチをかなりのマージンで上回り、コスト効率のよい手段とトランスファー学習のための新たな洞察を示す。

関連論文リスト

• Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning Interference with Gradient Projection [56.292071534857946]
  最近のデータプライバシ法は、機械学習への関心を喚起している。 課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。 我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。 トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2023-12-07T07:17:24Z)
• Machine Vision Therapy: Multimodal Large Language Models Can Enhance Visual Robustness via Denoising In-Context Learning [71.0588455785955]
  本稿では,視覚モデルからノイズ予測を補正するマシンビジョンセラピーを提案する。 復調ラベルを微調整することにより、教師なしの方法で学習モデルの性能を高めることができる。
  論文  参考訳（メタデータ） (2023-12-05T07:29:14Z)
• Unlearn What You Want to Forget: Efficient Unlearning for LLMs [92.51670143929056]
  大規模言語モデル(LLM)は、幅広いテキストデータを事前学習し記憶することで大きな進歩を遂げた。 このプロセスはプライバシー問題やデータ保護規則違反に悩まされる可能性がある。 データ削除後のモデル全体を再トレーニングすることなく、LLMを効率的に更新できる効率的なアンラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-31T03:35:59Z)
• Learn to Unlearn: A Survey on Machine Unlearning [29.077334665555316]
  本稿では,最近の機械学習技術,検証機構,潜在的攻撃について概説する。 新たな課題と今後の研究方向性を強調します。 本稿では、プライバシ、エクイティ、レジリエンスをMLシステムに統合するための貴重なリソースの提供を目的としている。
  論文  参考訳（メタデータ） (2023-05-12T14:28:02Z)
• Model Sparsity Can Simplify Machine Unlearning [33.18951938708467]
  最近のデータ規制要件に応えて、マシン・アンラーニング(MU)が重要なプロセスとして登場した。 本研究は,ウェイトプルーニングによるモデルスペーシフィケーションという,新しいモデルベース視点を紹介する。 理論と実践の両方において、モデルスパーシティは、近似アンラーナーのマルチ基準アンラーニング性能を高めることができることを示す。
  論文  参考訳（メタデータ） (2023-04-11T02:12:02Z)
• Masked Autoencoding for Scalable and Generalizable Decision Making [93.84855114717062]
  MaskDPは、強化学習と行動クローンのためのシンプルでスケーラブルな自己教師付き事前学習手法である。 我々は,MaskDPモデルにより,単一ゴールや複数ゴール到達といった新しいBCタスクへのゼロショット転送能力が得られることを発見した。
  論文  参考訳（メタデータ） (2022-11-23T07:04:41Z)
• Distillation to Enhance the Portability of Risk Models Across Institutions with Large Patient Claims Database [12.452703677540505]
  可読性予測モデルのクロスサイト評価によるモデルポータビリティの実現性について検討する。 再帰型ニューラルネットワークを自己注意で拡張し、専門家の特徴とブレンドして、可読性予測モデルを構築する。 実験の結果、ある機関で訓練・試験されたMLモデルの直接適用は、同一施設で訓練・試験されたMLモデルよりも悪い結果が得られた。
  論文  参考訳（メタデータ） (2022-07-06T05:26:32Z)
• Model-Agnostic Multitask Fine-tuning for Few-shot Vision-Language Transfer Learning [59.38343286807997]
  未知タスクの視覚言語モデルのためのモデル非依存型マルチタスクファインチューニング(MAMF)を提案する。 モデルに依存しないメタラーニング(MAML)と比較して、MAMFは二段階最適化を捨て、一階勾配のみを使用する。 MAMFは5つのベンチマークデータセット上で、数ショットの転送学習において古典的な微調整法よりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2022-03-09T17:26:53Z)
• Towards Model-informed Precision Dosing with Expert-in-the-loop Machine Learning [0.0]
  モデル学習ループに人的専門家を取り入れることで、モデル学習を加速し、解釈可能性を向上させるMLフレームワークを検討する。 本稿では,データアノテーションのコストが高い学習問題に対処することを目的とした,新たなヒューマン・イン・ザ・ループMLフレームワークを提案する。 精度測定への応用により,本手法はデータから解釈可能なルールを学習し,専門家の作業負荷を低減できる可能性が示唆された。
  論文  参考訳（メタデータ） (2021-06-28T03:45:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。