論文の概要: Transfer Learning without Knowing: Reprogramming Black-box Machine
Learning Models with Scarce Data and Limited Resources
- arxiv url: http://arxiv.org/abs/2007.08714v2
- Date: Wed, 29 Jul 2020 12:12:30 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-09 12:55:47.174311
- Title: Transfer Learning without Knowing: Reprogramming Black-box Machine
Learning Models with Scarce Data and Limited Resources
- Title（参考訳）: 知識のないトランスファーラーニング:スカースデータと限られたリソースを用いたブラックボックス機械学習モデルの再プログラミング
- Authors: Yun-Yun Tsai and Pin-Yu Chen and Tsung-Yi Ho
- Abstract要約: そこで我々は,ブラックボックス・アタベラル・リプログラミング (BAR) という新しい手法を提案する。
ゼロオーダー最適化とマルチラベルマッピング技術を用いて、BARは入力出力応答のみに基づいてブラックボックスMLモデルをプログラムする。
BARは最先端の手法より優れ、バニラ対逆プログラミング法に匹敵する性能を得る。
- 参考スコア（独自算出の注目度）: 78.72922528736011
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Current transfer learning methods are mainly based on finetuning a pretrained
model with target-domain data. Motivated by the techniques from adversarial
machine learning (ML) that are capable of manipulating the model prediction via
data perturbations, in this paper we propose a novel approach, black-box
adversarial reprogramming (BAR), that repurposes a well-trained black-box ML
model (e.g., a prediction API or a proprietary software) for solving different
ML tasks, especially in the scenario with scarce data and constrained
resources. The rationale lies in exploiting high-performance but unknown ML
models to gain learning capability for transfer learning. Using zeroth order
optimization and multi-label mapping techniques, BAR can reprogram a black-box
ML model solely based on its input-output responses without knowing the model
architecture or changing any parameter. More importantly, in the limited
medical data setting, on autism spectrum disorder classification, diabetic
retinopathy detection, and melanoma detection tasks, BAR outperforms
state-of-the-art methods and yields comparable performance to the vanilla
adversarial reprogramming method requiring complete knowledge of the target ML
model. BAR also outperforms baseline transfer learning approaches by a
significant margin, demonstrating cost-effective means and new insights for
transfer learning.
- Abstract（参考訳）: 現在の伝達学習法は主に、トレーニング済みのモデルをターゲットドメインデータで微調整することに基づいている。
本稿では,データ摂動によるモデル予測を操作可能な機械学習(ML)の技術によって動機付けられ,特にデータ不足や制約のあるリソースの少ないシナリオにおいて,トレーニングされたブラックボックスMLモデル(例えば,予測APIやプロプライエタリソフトウェア)を再利用する,新たなアプローチであるブラックボックス逆プログラム(BAR)を提案する。
その根拠は、高性能だが未知のMLモデルを利用して、トランスファーラーニングの学習能力を得ることである。
ゼロオーダー最適化とマルチラベルマッピング技術を用いて、BARはモデルアーキテクチャやパラメータの変更を知らずに、入力出力応答のみに基づいてブラックボックスMLモデルを書き換えることができる。
さらに重要なことは、自閉症スペクトラム障害分類、糖尿病網膜症検出、メラノーマ検出タスクに関する限られた医療データ設定において、BARは最先端の手法より優れ、ターゲットMLモデルの完全な知識を必要とするバニラ対逆プログラミング手法に匹敵する性能を得る。
BARはまた、ベースライン転送学習アプローチをかなりのマージンで上回り、コスト効率のよい手段とトランスファー学習のための新たな洞察を示す。
関連論文リスト
- Attribute-to-Delete: Machine Unlearning via Datamodel Matching [65.13151619119782]
機械学習 -- 事前訓練された機械学習モデルで、小さな"ターゲットセット"トレーニングデータを効率的に削除する -- は、最近関心を集めている。
最近の研究では、機械学習技術はこのような困難な環境では耐えられないことが示されている。
論文 参考訳（メタデータ） (2024-10-30T17:20:10Z) - How to unlearn a learned Machine Learning model ? [0.0]
機械学習モデルを学習し、その能力を視覚化するためのエレガントなアルゴリズムを提示します。
基礎となる数学的理論を解明し、所望のデータに対する未学習モデルの性能と望ましくないデータに対する無知の両方を評価するための具体的な指標を確立する。
論文 参考訳（メタデータ） (2024-10-13T17:38:09Z) - Learn while Unlearn: An Iterative Unlearning Framework for Generative Language Models [49.043599241803825]
Iterative Contrastive Unlearning (ICU)フレームワークは3つのコアコンポーネントで構成されている。
知識未学習誘導モジュールは、未学習の損失を通じて特定の知識を除去する。
Contrastive Learning Enhancementモジュールは、純粋な未学習の目標に対してモデルの表現力を維持する。
また、特定のデータ片の未学習範囲を動的に評価し、反復的な更新を行う反復未学習リファインメントモジュールも用意されている。
論文 参考訳（メタデータ） (2024-07-25T07:09:35Z) - Verbalized Machine Learning: Revisiting Machine Learning with Language Models [63.10391314749408]
言語化機械学習(VML)の枠組みを紹介する。
VMLはパラメータ空間を人間の解釈可能な自然言語に制限する。
我々は,VMLの有効性を実証的に検証し,VMLがより強力な解釈可能性を実現するためのステップストーンとして機能することを期待する。
論文 参考訳（メタデータ） (2024-06-06T17:59:56Z) - Diffusion-Based Neural Network Weights Generation [80.89706112736353]
D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。
本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。
我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
論文 参考訳（メタデータ） (2024-02-28T08:34:23Z) - Learn to Unlearn: A Survey on Machine Unlearning [29.077334665555316]
本稿では,最近の機械学習技術,検証機構,潜在的攻撃について概説する。
新たな課題と今後の研究方向性を強調します。
本稿では、プライバシ、エクイティ、レジリエンスをMLシステムに統合するための貴重なリソースの提供を目的としている。
論文 参考訳（メタデータ） (2023-05-12T14:28:02Z) - Model Sparsity Can Simplify Machine Unlearning [33.18951938708467]
最近のデータ規制要件に応えて、マシン・アンラーニング(MU)が重要なプロセスとして登場した。
本研究は,ウェイトプルーニングによるモデルスペーシフィケーションという,新しいモデルベース視点を紹介する。
理論と実践の両方において、モデルスパーシティは、近似アンラーナーのマルチ基準アンラーニング性能を高めることができることを示す。
論文 参考訳（メタデータ） (2023-04-11T02:12:02Z) - Distillation to Enhance the Portability of Risk Models Across
Institutions with Large Patient Claims Database [12.452703677540505]
可読性予測モデルのクロスサイト評価によるモデルポータビリティの実現性について検討する。
再帰型ニューラルネットワークを自己注意で拡張し、専門家の特徴とブレンドして、可読性予測モデルを構築する。
実験の結果、ある機関で訓練・試験されたMLモデルの直接適用は、同一施設で訓練・試験されたMLモデルよりも悪い結果が得られた。
論文 参考訳（メタデータ） (2022-07-06T05:26:32Z) - Model-Agnostic Multitask Fine-tuning for Few-shot Vision-Language
Transfer Learning [59.38343286807997]
未知タスクの視覚言語モデルのためのモデル非依存型マルチタスクファインチューニング(MAMF)を提案する。
モデルに依存しないメタラーニング(MAML)と比較して、MAMFは二段階最適化を捨て、一階勾配のみを使用する。
MAMFは5つのベンチマークデータセット上で、数ショットの転送学習において古典的な微調整法よりも一貫して優れていることを示す。
論文 参考訳（メタデータ） (2022-03-09T17:26:53Z) - Towards Model-informed Precision Dosing with Expert-in-the-loop Machine
Learning [0.0]
モデル学習ループに人的専門家を取り入れることで、モデル学習を加速し、解釈可能性を向上させるMLフレームワークを検討する。
本稿では,データアノテーションのコストが高い学習問題に対処することを目的とした,新たなヒューマン・イン・ザ・ループMLフレームワークを提案する。
精度測定への応用により,本手法はデータから解釈可能なルールを学習し,専門家の作業負荷を低減できる可能性が示唆された。
論文 参考訳（メタデータ） (2021-06-28T03:45:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。