論文の概要: Meta Input: How to Leverage Off-the-Shelf Deep Neural Networks
- arxiv url: http://arxiv.org/abs/2210.13186v1
- Date: Fri, 21 Oct 2022 02:11:38 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-25 13:20:10.678597
- Title: Meta Input: How to Leverage Off-the-Shelf Deep Neural Networks
- Title（参考訳）: Meta Input: 市販のディープニューラルネットワークの活用方法
- Authors: Minsu Kim, Youngjoon Yu, Sungjune Park, Yong Man Ro
- Abstract要約: 我々は、エンドユーザーがモデルを変更することなく、独自のテスト環境で事前訓練されたDNNモデルを活用できる新しいアプローチを導入する。
テストデータの分布をトレーニングデータと整合させる追加入力であるtextitmeta 入力を提案する。
その結果、エンドユーザは、トレーニング環境と異なるテスト環境で、よく訓練されたモデルを利用することができる。
- 参考スコア（独自算出の注目度）: 29.975937981538664
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: These days, although deep neural networks (DNNs) have achieved a noticeable
progress in a wide range of research area, it lacks the adaptability to be
employed in the real-world applications because of the environment discrepancy
problem. Such a problem originates from the difference between training and
testing environments, and it is widely known that it causes serious performance
degradation, when a pretrained DNN model is applied to a new testing
environment. Therefore, in this paper, we introduce a novel approach that
allows end-users to exploit pretrained DNN models in their own testing
environment without modifying the models. To this end, we present a
\textit{meta input} which is an additional input transforming the distribution
of testing data to be aligned with that of training data. The proposed meta
input can be optimized with a small number of testing data only by considering
the relation between testing input data and its output prediction. Also, it
does not require any knowledge of the network's internal architecture and
modification of its weight parameters. Then, the obtained meta input is added
to testing data in order to shift the distribution of testing data to that of
originally used training data. As a result, end-users can exploit well-trained
models in their own testing environment which can differ from the training
environment. We validate the effectiveness and versatility of the proposed meta
input by showing the robustness against the environment discrepancy through the
comprehensive experiments with various tasks.
- Abstract（参考訳）: 近年、ディープニューラルネットワーク(DNN)は、幅広い研究領域において顕著な進歩を遂げているが、環境不一致の問題により、現実のアプリケーションで採用される適応性に欠けている。
このような問題は、トレーニング環境とテスト環境の違いに起因しており、事前訓練されたDNNモデルを新しいテスト環境に適用した場合に、重大な性能劣化を引き起こすことが広く知られている。
そこで,本稿では,ユーザが事前学習したDNNモデルを,モデルを変更することなく,独自のテスト環境で活用する手法を提案する。
この目的のために、テストデータの分布をトレーニングデータの分布に変換する追加入力である \textit{meta input} を提案する。
提案するメタ入力は、テスト入力データとその出力予測との関係を考慮してのみ、少数のテストデータで最適化することができる。
また、ネットワークの内部構造や重みパラメータの変更に関する知識は一切必要としない。
そして、テストデータに得られたメタ入力を追加して、テストデータの分布を元々使用されていたトレーニングデータにシフトさせる。
その結果、エンドユーザは、トレーニング環境と異なるテスト環境で、よく訓練されたモデルを利用することができる。
提案するメタ入力の有効性と汎用性を検証するために,様々なタスクを用いた包括的実験を行い,環境格差に対するロバスト性を示す。
関連論文リスト
- Architecture, Dataset and Model-Scale Agnostic Data-free Meta-Learning [119.70303730341938]
データフリーメタトレーニングにおけるePisode cUrriculum inversion(ECI)と、内部ループ後のinvErsion calibRation(ICFIL)を提案する。
ECIは、メタモデルのリアルタイムフィードバックに応じて、擬似エピソードの難易度を適応的に増加させる。
本稿では,ECIを用いたメタトレーニングの最適化過程を,エンド・ツー・エンド方式で近似形式として定式化する。
論文 参考訳（メタデータ） (2023-03-20T15:10:41Z) - Adversarial Learning Networks: Source-free Unsupervised Domain
Incremental Learning [0.0]
非定常環境では、DNNモデルの更新にはパラメータの再トレーニングやモデル微調整が必要である。
DNN分類モデルを更新するための教師なしソースフリー手法を提案する。
既存の手法とは異なり,本手法では過去のトレーニングデータを格納することなく,非定常的なソースとターゲットタスクに対して段階的にDNNモデルを更新することができる。
論文 参考訳（メタデータ） (2023-01-28T02:16:13Z) - Boosted Dynamic Neural Networks [53.559833501288146]
典型的なEDNNは、ネットワークバックボーンの異なる層に複数の予測ヘッドを持つ。
モデルを最適化するために、これらの予測ヘッドとネットワークバックボーンは、トレーニングデータのバッチ毎にトレーニングされる。
トレーニングと2つのフェーズでのインプットの異なるテストは、トレーニングとデータ分散のテストのミスマッチを引き起こす。
EDNNを勾配強化にインスパイアされた付加モデルとして定式化し、モデルを効果的に最適化するための複数のトレーニング手法を提案する。
論文 参考訳（メタデータ） (2022-11-30T04:23:12Z) - A Penalty Approach for Normalizing Feature Distributions to Build
Confounder-Free Models [11.818509522227565]
MetaData Normalization (MDN) は、学習不能なクローズドフォームソリューションに基づいてメタデータと各特徴の線形関係を推定する。
罰則法(PDMN)を適用してMDN法を拡張した。
MDNによるモデル精度の向上とMDN上のMDNを用いた共同設立者からの独立性の向上を示す。
論文 参考訳（メタデータ） (2022-07-11T04:02:12Z) - CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。
本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
論文 参考訳（メタデータ） (2022-06-01T03:02:07Z) - MEMO: Test Time Robustness via Adaptation and Augmentation [131.28104376280197]
テスト時間ロバスト化の問題、すなわちモデルロバスト性を改善するためにテストインプットを用いて検討する。
最近の先行研究ではテスト時間適応法が提案されているが、それぞれ追加の仮定を導入している。
モデルが確率的で適応可能な任意のテスト環境で使用できるシンプルなアプローチを提案する。
論文 参考訳（メタデータ） (2021-10-18T17:55:11Z) - Generalizing Neural Networks by Reflecting Deviating Data in Production [15.498447555957773]
本稿では,DNNに対する予期せぬ実行時入力によるDNNの誤予測を緩和する実行時アプローチを提案する。
我々は,シームズネットワークが学習した距離測定値に基づく分布解析器を用いて,意味的に保存されていない入力を識別する。
我々のアプローチは、これらの予期せぬ入力を、類似のセマンティクスを持つと認識されるトレーニングセットから入力に変換する。
論文 参考訳（メタデータ） (2021-10-06T13:05:45Z) - EARLIN: Early Out-of-Distribution Detection for Resource-efficient
Collaborative Inference [4.826988182025783]
協調推論により、リソース制約のあるエッジデバイスは、入力をサーバにアップロードすることで推論を行うことができる。
このセットアップは、成功した推論のためにコスト効率よく機能するが、モデルがトレーニングされていない入力サンプルに直面すると、非常にパフォーマンスが低下する。
我々は,事前訓練されたCNNモデルの浅い層から重要な特徴を抽出する,新しい軽量OOD検出手法を提案する。
論文 参考訳（メタデータ） (2021-06-25T18:43:23Z) - ALT-MAS: A Data-Efficient Framework for Active Testing of Machine
Learning Algorithms [58.684954492439424]
少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。
ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
論文 参考訳（メタデータ） (2021-04-11T12:14:04Z) - Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。
本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。
4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
論文 参考訳（メタデータ） (2020-02-27T10:22:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。