論文の概要: Towards Optimal Feature-Shaping Methods for Out-of-Distribution
Detection
- arxiv url: http://arxiv.org/abs/2402.00865v1
- Date: Thu, 1 Feb 2024 18:59:22 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-02 13:51:09.441644
- Title: Towards Optimal Feature-Shaping Methods for Out-of-Distribution
Detection
- Title(参考訳): 分布外検出のための最適特徴整形法に向けて
- Authors: Qinyu Zhao, Ming Xu, Kartik Gupta, Akshay Asthana, Liang Zheng,
Stephen Gould
- Abstract要約: 特徴整形(英: Feature shaping)とは、オフ・オブ・ディストリビューション(OOD)検出のための最先端性能を示す手法の一群である。
簡単な一方向の定形化機能を持つフレームワークの具体的な削減を提案する。
提案手法は,OOD検出の多種多様なデータセットに対する一般化能力を向上することを示す。
- 参考スコア(独自算出の注目度): 36.316424348556154
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Feature shaping refers to a family of methods that exhibit state-of-the-art
performance for out-of-distribution (OOD) detection. These approaches
manipulate the feature representation, typically from the penultimate layer of
a pre-trained deep learning model, so as to better differentiate between
in-distribution (ID) and OOD samples. However, existing feature-shaping methods
usually employ rules manually designed for specific model architectures and OOD
datasets, which consequently limit their generalization ability. To address
this gap, we first formulate an abstract optimization framework for studying
feature-shaping methods. We then propose a concrete reduction of the framework
with a simple piecewise constant shaping function and show that existing
feature-shaping methods approximate the optimal solution to the concrete
optimization problem. Further, assuming that OOD data is inaccessible, we
propose a formulation that yields a closed-form solution for the piecewise
constant shaping function, utilizing solely the ID data. Through extensive
experiments, we show that the feature-shaping function optimized by our method
improves the generalization ability of OOD detection across a large variety of
datasets and model architectures.
- Abstract(参考訳): 特徴整形とは、オフ・オブ・ディストリビューション(OOD)検出の最先端性能を示す一連の手法を指す。
これらのアプローチは、通常、トレーニング済みのディープラーニングモデルの最後層から特徴表現を操作し、分散内(ID)とOODサンプルをよりよく区別する。
しかしながら、既存の機能形成手法では、通常、特定のモデルアーキテクチャやOODデータセット用に手動で設計されたルールを使用し、その結果、一般化能力が制限される。
このギャップに対処するために,まず特徴形成法を研究するための抽象最適化フレームワークを定式化した。
そこで本研究では,簡易な定形化関数によるフレームワークの具体的削減を提案し,既存の特徴形化手法が具体的最適化問題に対する最適解を近似することを示す。
さらに、OODデータがアクセス不能であると仮定し、IDデータのみを利用して、一括定形化関数の閉形式解を生成する定式化を提案する。
提案手法により最適化された特徴整形関数は,多様なデータセットやモデルアーキテクチャをまたいだOOD検出の一般化能力を向上することを示す。
関連論文リスト
- Comprehensive OOD Detection Improvements [46.46252643210326]
このタスクのために、アウト・オブ・ディストリビューション(OOD)検出手法が作成されている。
我々は,時間的高速化と性能向上の両面において,特徴埋め込みの次元的削減を表現ベース手法に適用する。
提案手法の有効性を,OpenOODv1.5ベンチマークフレームワーク上で実証する。
論文 参考訳(メタデータ) (2024-01-18T18:05:35Z) - From Function to Distribution Modeling: A PAC-Generative Approach to
Offline Optimization [30.689032197123755]
本稿では、オフラインデータ例の集合を除いて目的関数が不明なオフライン最適化の問題について考察する。
未知の目的関数を学習して最適化するのではなく、より直感的で直接的な視点で、最適化は生成モデルからサンプリングするプロセスと考えることができる。
論文 参考訳(メタデータ) (2024-01-04T01:32:50Z) - Embedded feature selection in LSTM networks with multi-objective
evolutionary ensemble learning for time series forecasting [49.1574468325115]
本稿では,Long Short-Term Memory Networkに埋め込まれた特徴選択手法を提案する。
本手法はLSTMの重みと偏りを分割的に最適化する。
イタリアとスペイン南東部の大気質時系列データの実験的評価により,従来のLSTMの能力一般化が著しく向上することが確認された。
論文 参考訳(メタデータ) (2023-12-29T08:42:10Z) - Hierarchical Ensemble-Based Feature Selection for Time Series
Forecasting [0.0]
非定常性のための階層的積み重ねに基づく特徴選択のための新しいアンサンブルアプローチを導入する。
当社のアプローチでは,階層構造を用いた機能間の共依存を利用しています。
このアプローチの有効性は、合成およびよく知られた実生活データセット上で実証される。
論文 参考訳(メタデータ) (2023-10-26T16:40:09Z) - A General Framework for Sample-Efficient Function Approximation in
Reinforcement Learning [132.45959478064736]
モデルベースとモデルフリー強化学習を統合した汎用フレームワークを提案する。
最適化に基づく探索のための分解可能な構造特性を持つ新しい推定関数を提案する。
本フレームワークでは,OPERA (Optimization-based Exploration with Approximation) という新しいサンプル効率アルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-09-30T17:59:16Z) - Model-Based Deep Learning: On the Intersection of Deep Learning and
Optimization [101.32332941117271]
決定アルゴリズムは様々なアプリケーションで使われている。
数理モデルに頼らずにデータから調整された高度パラメトリックアーキテクチャを使用するディープラーニングアプローチが、ますます人気が高まっている。
モデルに基づく最適化とデータ中心のディープラーニングは、しばしば異なる規律とみなされる。
論文 参考訳(メタデータ) (2022-05-05T13:40:08Z) - Learning Distributionally Robust Models at Scale via Composite
Optimization [45.47760229170775]
DROの異なる変種が、スケーラブルな方法を提供する有限サム合成最適化の単なる例であることを示す。
また、非常に大規模なデータセットからロバストなモデルを学ぶために、先行技術に関して提案アルゴリズムの有効性を示す実験結果も提供する。
論文 参考訳(メタデータ) (2022-03-17T20:47:42Z) - Conservative Objective Models for Effective Offline Model-Based
Optimization [78.19085445065845]
計算設計の問題は、合成生物学からコンピュータアーキテクチャまで、様々な場面で発生している。
本研究では,分布外入力に対する接地的目標の実際の値を低くする目的関数のモデルを学習する手法を提案する。
COMは、様々なMBO問題に対して、既存のメソッドの実装と性能の面では単純である。
論文 参考訳(メタデータ) (2021-07-14T17:55:28Z) - Deep Magnification-Flexible Upsampling over 3D Point Clouds [103.09504572409449]
本稿では,高密度点雲を生成するためのエンドツーエンド学習ベースのフレームワークを提案する。
まずこの問題を明示的に定式化し、重みと高次近似誤差を判定する。
そこで我々は,高次改良とともに,統一重みとソート重みを適応的に学習する軽量ニューラルネットワークを設計する。
論文 参考訳(メタデータ) (2020-11-25T14:00:18Z) - Deep Keypoint-Based Camera Pose Estimation with Geometric Constraints [80.60538408386016]
連続するフレームから相対的なカメラのポーズを推定することは、視覚計測の基本的な問題である。
本稿では,検出,特徴抽出,マッチング,外乱除去のための学習可能なモジュールで構成されるエンドツーエンドのトレーニング可能なフレームワークを提案する。
論文 参考訳(メタデータ) (2020-07-29T21:41:31Z) - IVFS: Simple and Efficient Feature Selection for High Dimensional
Topology Preservation [33.424663018395684]
本稿では,サンプル類似性保存を向上する簡易かつ効果的な特徴選択アルゴリズムを提案する。
提案アルゴリズムは、全データの対距離と位相パターンを適切に保存することができる。
論文 参考訳(メタデータ) (2020-04-02T23:05:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。