論文の概要: REST: Performance Improvement of a Black Box Model via RL-based Spatial Transformation

• arxiv url: http://arxiv.org/abs/2002.06610v1
• Date: Sun, 16 Feb 2020 16:15:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-31 17:40:00.954805
• Title: REST: Performance Improvement of a Black Box Model via RL-based Spatial Transformation
• Title（参考訳）: REST: RLベースの空間変換によるブラックボックスモデルのパフォーマンス向上
• Authors: Jae Myung Kim, Hyungjin Kim, Chanwoo Park, and Jungwoo Lee
• Abstract要約: ブラックボックス画像分類器が与えられる特定の条件下での幾何変換に対するロバスト性について検討する。 我々は,入力データをブラックボックスモデルで非分布と見なされるサンプルに変換する学習者,EmphREinforcement Spatial Transform (REST)を提案する。
• 参考スコア（独自算出の注目度）: 15.691668909002892
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, deep neural networks (DNN) have become a highly active area of research, and shown remarkable achievements on a variety of computer vision tasks. DNNs, however, are known to often make overconfident yet incorrect predictions on out-of-distribution samples, which can be a major obstacle to real-world deployments because the training dataset is always limited compared to diverse real-world samples. Thus, it is fundamental to provide guarantees of robustness to the distribution shift between training and test time when we construct DNN models in practice. Moreover, in many cases, the deep learning models are deployed as black boxes and the performance has been already optimized for a training dataset, thus changing the black box itself can lead to performance degradation. We here study the robustness to the geometric transformations in a specific condition where the black-box image classifier is given. We propose an additional learner, \emph{REinforcement Spatial Transform learner (REST)}, that transforms the warped input data into samples regarded as in-distribution by the black-box models. Our work aims to improve the robustness by adding a REST module in front of any black boxes and training only the REST module without retraining the original black box model in an end-to-end manner, i.e. we try to convert the real-world data into training distribution which the performance of the black-box model is best suited for. We use a confidence score that is obtained from the black-box model to determine whether the transformed input is drawn from in-distribution. We empirically show that our method has an advantage in generalization to geometric transformations and sample efficiency.
• Abstract（参考訳）: 近年、ディープニューラルネットワーク(DNN)は研究の活発な領域となり、様々なコンピュータビジョンタスクにおける顕著な成果を示している。 しかし、dnnは、アウトオブディストリビューションのサンプルに対して、自信過剰だが誤った予測をすることが多いことが知られており、トレーニングデータセットは、さまざまな実世界のサンプルと比較して常に制限されているため、実世界のデプロイにとって大きな障害となる可能性がある。 したがって、実際にdnnモデルを構築する場合、トレーニングとテスト時間の分散シフトに対する堅牢性を保証することが基本である。 さらに、多くの場合、ディープラーニングモデルはブラックボックスとしてデプロイされ、すでにトレーニングデータセットに最適化されているため、ブラックボックス自体を変更することでパフォーマンスが低下する可能性がある。 ここでは,ブラックボックス画像分類器が与えられる特定の条件下での幾何学変換に対するロバスト性について検討する。 そこで本研究では, 入力データをブラックボックスモデルにより, 内分布と見なされるサンプルに変換する, 新たな学習器 \emph{reinforcement spatial transform learner (rest)} を提案する。 私たちの仕事は、ブラックボックスの前にRESTモジュールを追加し、オリジナルのブラックボックスモデルをエンドツーエンドでトレーニングすることなく、RESTモジュールのみをトレーニングすることで、堅牢性を向上させることを目的としています。 ブラックボックスモデルから得られた信頼度スコアを用いて,変換された入力が分布から引き出されるかどうかを判定する。 本手法は幾何変換と標本効率の一般化に有利であることを示す。

関連論文リスト

• B-cosification: Transforming Deep Neural Networks to be Inherently Interpretable [53.848005910548565]
  B-コシフィケーション(B-cosification)は、既存の訓練済みモデルを本質的に解釈可能なものにするための新しいアプローチである。 B-コシフィケーションは、解釈可能性の観点から、スクラッチから訓練されたB-コシフィケーションモデルに匹敵するモデルが得られる。
  論文  参考訳（メタデータ） (2024-11-01T16:28:11Z)
• Transferable Post-training via Inverse Value Learning [83.75002867411263]
  別個のニューラルネットワーク(すなわち値ネットワーク)を用いた後学習におけるロジットレベルのモデリング変更を提案する。 このネットワークをデモを使って小さなベースモデルでトレーニングした後、推論中に他のトレーニング済みモデルとシームレスに統合することができる。 得られた値ネットワークは、パラメータサイズの異なる事前学習されたモデル間で広い転送性を有することを示す。
  論文  参考訳（メタデータ） (2024-10-28T13:48:43Z)
• Cross-Domain Transfer Learning with CoRTe: Consistent and Reliable Transfer from Black-Box to Lightweight Segmentation Model [25.3403116022412]
  CoRTeは、ブラックボックスソースモデルから信頼できる知識を抽出する擬似ラベリング関数である。 我々は,2つの合成から現実の環境でCoRTeをベンチマークし,ブラックボックスモデルを用いて目標データ分布の軽量モデルにおける知識を伝達する際,顕著な結果を示した。
  論文  参考訳（メタデータ） (2024-02-20T16:35:14Z)
• Mafin: Enhancing Black-Box Embeddings with Model Augmented Fine-Tuning [13.211063836237468]
  マフィン(Mafin)は、トレーニング可能な埋め込みモデルで強化することで、ブラックボックスの埋め込みモデルを微調整するための新しいアプローチである。 以上の結果から,Mafinは小さな拡張モデルの訓練を必要とせず,ブラックボックス埋め込みの性能を著しく向上させることが示された。
  論文  参考訳（メタデータ） (2024-02-19T14:33:24Z)
• SHAPNN: Shapley Value Regularized Tabular Neural Network [4.587122314291091]
  本稿では,教師あり学習のための新しい深層データモデリングアーキテクチャであるSHAPNNを紹介する。 我々のニューラルネットワークは、標準的な後方伝播最適化手法を用いて訓練され、リアルタイムに推定されたShapley値で正規化される。 我々は,これらの手法を公開データセット上で評価し,最先端のディープニューラルネットワークモデルと比較した。
  論文  参考訳（メタデータ） (2023-09-15T22:45:05Z)
• DREAM: Domain-free Reverse Engineering Attributes of Black-box Model [51.37041886352823]
  ブラックボックス対象モデルの属性をドメインに依存しないリバースエンジニアリングの新しい問題を提案する。 対象のブラックボックスモデルの属性を未知のトレーニングデータで推測するために,ドメインに依存しないモデルを学ぶ。
  論文  参考訳（メタデータ） (2023-07-20T16:25:58Z)
• How to Robustify Black-Box ML Models? A Zeroth-Order Optimization Perspective [74.47093382436823]
  入力クエリと出力フィードバックだけでブラックボックスモデルを堅牢化する方法? 我々は,ブラックボックスモデルに適用可能な防御操作の一般的な概念を提案し,それを復号化スムーシング(DS)のレンズを通して設計する。 我々は,ZO-AE-DSが既存のベースラインよりも精度,堅牢性,クエリの複雑さを向上できることを実証的に示す。
  論文  参考訳（メタデータ） (2022-03-27T03:23:32Z)
• MEMO: Test Time Robustness via Adaptation and Augmentation [131.28104376280197]
  テスト時間ロバスト化の問題、すなわちモデルロバスト性を改善するためにテストインプットを用いて検討する。 最近の先行研究ではテスト時間適応法が提案されているが、それぞれ追加の仮定を導入している。 モデルが確率的で適応可能な任意のテスト環境で使用できるシンプルなアプローチを提案する。
  論文  参考訳（メタデータ） (2021-10-18T17:55:11Z)
• A Novel DNN Training Framework via Data Sampling and Multi-Task Optimization [7.001799696806368]
  DNNモデルをトレーニングするための新しいフレームワークを提案する。 ランダムスプリッティングにより、総合的なトレーニングセットから複数のトレーニングセットと検証セットを生成する。 トレーニングされたすべてのモデルの中で最高のパフォーマンスを出力し、すべてのペアから検証セット全体で全体の最高のパフォーマンスを出力します。
  論文  参考訳（メタデータ） (2020-07-02T10:58:57Z)
• Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
  本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。 そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。 最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
  論文  参考訳（メタデータ） (2020-03-10T03:10:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。