論文の概要: EARLIN: Early Out-of-Distribution Detection for Resource-efficient Collaborative Inference

• arxiv url: http://arxiv.org/abs/2106.13842v2
• Date: Tue, 29 Jun 2021 01:27:49 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-30 11:26:44.611487
• Title: EARLIN: Early Out-of-Distribution Detection for Resource-efficient Collaborative Inference
• Title（参考訳）: EARLIN:資源効率の協調推論のための早期分布検出
• Authors: Sumaiya Tabassum Nimi, Md Adnan Arefeen, Md Yusuf Sarwar Uddin, Yugyung Lee
• Abstract要約: 協調推論により、リソース制約のあるエッジデバイスは、入力をサーバにアップロードすることで推論を行うことができる。 このセットアップは、成功した推論のためにコスト効率よく機能するが、モデルがトレーニングされていない入力サンプルに直面すると、非常にパフォーマンスが低下する。 我々は,事前訓練されたCNNモデルの浅い層から重要な特徴を抽出する,新しい軽量OOD検出手法を提案する。
• 参考スコア（独自算出の注目度）: 4.826988182025783
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Collaborative inference enables resource-constrained edge devices to make inferences by uploading inputs (e.g., images) to a server (i.e., cloud) where the heavy deep learning models run. While this setup works cost-effectively for successful inferences, it severely underperforms when the model faces input samples on which the model was not trained (known as Out-of-Distribution (OOD) samples). If the edge devices could, at least, detect that an input sample is an OOD, that could potentially save communication and computation resources by not uploading those inputs to the server for inference workload. In this paper, we propose a novel lightweight OOD detection approach that mines important features from the shallow layers of a pretrained CNN model and detects an input sample as ID (In-Distribution) or OOD based on a distance function defined on the reduced feature space. Our technique (a) works on pretrained models without any retraining of those models, and (b) does not expose itself to any OOD dataset (all detection parameters are obtained from the ID training dataset). To this end, we develop EARLIN (EARLy OOD detection for Collaborative INference) that takes a pretrained model and partitions the model at the OOD detection layer and deploys the considerably small OOD part on an edge device and the rest on the cloud. By experimenting using real datasets and a prototype implementation, we show that our technique achieves better results than other approaches in terms of overall accuracy and cost when tested against popular OOD datasets on top of popular deep learning models pretrained on benchmark datasets.
• Abstract（参考訳）: 協調推論により、リソース制約のあるエッジデバイスは、重いディープラーニングモデルを実行するサーバ(クラウド)に入力(画像など)をアップロードすることで、推論を行うことができる。 このセットアップは、成功した推論のためにコスト効率よく機能するが、モデルがトレーニングされていない入力サンプル(OOD(Out-of-Distribution)サンプル)に直面すると、非常にパフォーマンスが低下する。 エッジデバイスが少なくとも、入力サンプルがOODであることを検出できれば、推論ワークロードのためにこれらの入力をサーバにアップロードしないことで、通信と計算リソースを節約できる可能性がある。 本稿では,事前学習したCNNモデルの浅い層から重要な特徴を抽出し,縮小した特徴空間上に定義された距離関数に基づいて,入力サンプルをID(In-Distribution)またはOODとして検出する,新しい軽量なOOD検出手法を提案する。 提案手法(a)は,事前学習したモデルに対して,それらのモデルの再トレーニングを伴わずに動作し,(b)任意のOODデータセットに自身を公開しない(すべての検出パラメータはIDトレーニングデータセットから得られる)。 この目的のために、事前訓練されたモデルを用いて、OOD検出層でモデルを分割し、エッジデバイスとその他をクラウド上に展開するEARLIN(EARLy OOD Detection for Collaborative Inference)を開発した。 実際のデータセットとプロトタイプの実装を用いて実験することにより,ベンチマークデータセットで事前学習された一般的なディープラーニングモデル上で,一般的なoodデータセットに対してテストした場合の全体的な精度とコストの観点から,他のアプローチよりも優れた結果が得られることを示す。

関連論文リスト

• Can OOD Object Detectors Learn from Foundation Models? [56.03404530594071]
  アウト・オブ・ディストリビューション(OOD)オブジェクト検出は、オープンセットのOODデータがないため、難しい課題である。 テキストから画像への生成モデルの最近の進歩に触発されて,大規模オープンセットデータを用いて訓練された生成モデルがOODサンプルを合成する可能性について検討した。 SyncOODは,大規模基盤モデルの能力を活用するシンプルなデータキュレーション手法である。
  論文  参考訳（メタデータ） (2024-09-08T17:28:22Z)
• Can Pre-trained Networks Detect Familiar Out-of-Distribution Data? [37.36999826208225]
  PT-OODが事前学習ネットワークのOOD検出性能に及ぼす影響について検討した。 特徴空間におけるPT-OODの低線形分離性はPT-OOD検出性能を著しく低下させることがわかった。 本稿では,大規模事前学習モデルに対する一意な解を提案する。
  論文  参考訳（メタデータ） (2023-10-02T02:01:00Z)
• Exploring the Effectiveness of Dataset Synthesis: An application of Apple Detection in Orchards [68.95806641664713]
  本研究では,リンゴ樹の合成データセットを生成するための安定拡散2.1-baseの有用性について検討する。 我々は、現実世界のリンゴ検出データセットでリンゴを予測するために、YOLOv5mオブジェクト検出モデルを訓練する。 その結果、実世界の画像でトレーニングされたベースラインモデルと比較して、生成データでトレーニングされたモデルはわずかに性能が劣っていることがわかった。
  論文  参考訳（メタデータ） (2023-06-20T09:46:01Z)
• Unleashing Mask: Explore the Intrinsic Out-of-Distribution Detection Capability [70.72426887518517]
  Out-of-Distribution(OOD)検出は、機械学習モデルを現実世界のアプリケーションにデプロイする際に、セキュアAIの必須の側面である。 本稿では,IDデータを用いた学習モデルのOOD識別能力を復元する新しい手法であるUnleashing Maskを提案する。 本手法では, マスクを用いて記憶した非定型サンプルを抽出し, モデルを微調整するか, 導入したマスクでプルーする。
  論文  参考訳（メタデータ） (2023-06-06T14:23:34Z)
• Using Semantic Information for Defining and Detecting OOD Inputs [3.9577682622066264]
  アウト・オブ・ディストリビューション(OOD)検出は近年注目されている。 現在の検出器がトレーニングデータセットのバイアスを継承していることを示します。 これにより、現在のOOD検出器はトレーニング分布の外にある入力に不透過であり、同じ意味情報を持つことができる。 我々は,MNISTおよびCOCOデータセットのトレーニングデータから抽出した意味情報に基づいてOOD検出を行う。
  論文  参考訳（メタデータ） (2023-02-21T21:31:20Z)
• Energy-based Out-of-Distribution Detection for Graph Neural Networks [76.0242218180483]
  我々は,GNNSafeと呼ばれるグラフ上での学習のための,シンプルで強力で効率的なOOD検出モデルを提案する。 GNNSafeは、最先端技術に対するAUROCの改善を最大17.0%で達成しており、そのような未開発領域では単純だが強力なベースラインとして機能する可能性がある。
  論文  参考訳（メタデータ） (2023-02-06T16:38:43Z)
• Pseudo-OOD training for robust language models [78.15712542481859]
  OOD検出は、あらゆる産業規模のアプリケーションに対する信頼性の高い機械学習モデルの鍵となるコンポーネントである。 In-distribution(IND)データを用いて擬似OODサンプルを生成するPOORE-POORE-POSthoc pseudo-Ood Regularizationを提案する。 我々は3つの現実世界の対話システムに関する枠組みを広く評価し、OOD検出における新たな最先端技術を実現した。
  論文  参考訳（メタデータ） (2022-10-17T14:32:02Z)
• How Useful are Gradients for OOD Detection Really? [5.459639971144757]
  Out of Distribution(OOD)検出は、リアルタイムアプリケーションに高性能な機械学習モデルをデプロイする上で重要な課題である。 OOD検出のための勾配法を詳細に解析し,比較する。 本稿では,OOD検出における性能と計算効率の両面において,従来のベースラインよりも向上した汎用的,非段階的なOOD検出手法を提案する。
  論文  参考訳（メタデータ） (2022-05-20T21:10:05Z)
• Igeood: An Information Geometry Approach to Out-of-Distribution Detection [35.04325145919005]
  Igeoodは, オフ・オブ・ディストリビューション(OOD)サンプルを効果的に検出する手法である。 Igeoodは任意のトレーニング済みニューラルネットワークに適用され、機械学習モデルにさまざまなアクセス権を持つ。 Igeoodは、さまざまなネットワークアーキテクチャやデータセットにおいて、競合する最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-03-15T11:26:35Z)
• ALT-MAS: A Data-Efficient Framework for Active Testing of Machine Learning Algorithms [58.684954492439424]
  少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。 ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
  論文  参考訳（メタデータ） (2021-04-11T12:14:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。