論文の概要: ALTBI: Constructing Improved Outlier Detection Models via Optimization of Inlier-Memorization Effect
- arxiv url: http://arxiv.org/abs/2408.09791v1
- Date: Mon, 19 Aug 2024 08:40:53 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-20 17:04:37.436366
- Title: ALTBI: Constructing Improved Outlier Detection Models via Optimization of Inlier-Memorization Effect
- Title（参考訳）: ALTBI:inlier-memorization効果の最適化による改善された外乱検出モデルの構築
- Authors: Seoyoung Cho, Jaesung Hwang, Kwan-Young Bak, Dongha Kim,
- Abstract要約: 外乱検出(英: Outlier detection, OD)とは、特定のデータや今後のデータから異常な観測(または外乱)を識別するタスクである。
Inlier-memorization (IM) 効果は、生成モデルが初期の学習段階において、アウトリーチよりも前のインリーチを記憶することを示唆している。
IM効果を最大限に活用し,UODタスクに対処する理論的原理的手法を提案する。
- 参考スコア（独自算出の注目度）: 2.3961612657966946
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Outlier detection (OD) is the task of identifying unusual observations (or outliers) from a given or upcoming data by learning unique patterns of normal observations (or inliers). Recently, a study introduced a powerful unsupervised OD (UOD) solver based on a new observation of deep generative models, called inlier-memorization (IM) effect, which suggests that generative models memorize inliers before outliers in early learning stages. In this study, we aim to develop a theoretically principled method to address UOD tasks by maximally utilizing the IM effect. We begin by observing that the IM effect is observed more clearly when the given training data contain fewer outliers. This finding indicates a potential for enhancing the IM effect in UOD regimes if we can effectively exclude outliers from mini-batches when designing the loss function. To this end, we introduce two main techniques: 1) increasing the mini-batch size as the model training proceeds and 2) using an adaptive threshold to calculate the truncated loss function. We theoretically show that these two techniques effectively filter out outliers from the truncated loss function, allowing us to utilize the IM effect to the fullest. Coupled with an additional ensemble strategy, we propose our method and term it Adaptive Loss Truncation with Batch Increment (ALTBI). We provide extensive experimental results to demonstrate that ALTBI achieves state-of-the-art performance in identifying outliers compared to other recent methods, even with significantly lower computation costs. Additionally, we show that our method yields robust performances when combined with privacy-preserving algorithms.
- Abstract（参考訳）: 外乱検出(英: Outlier detection, OD)とは、異常な観測(または外乱)を、通常の観測(または外乱)のユニークなパターンを学習することによって、与えられたデータから特定するタスクである。
近年の研究では、非教師なしOD(UOD)ソルバを導入し、Irlier-memorization(IM)エフェクトと呼ばれる、深層生成モデルの新たな観測を行った。
本研究では, IM 効果を最大限に活用して, UOD 課題に対処する理論的原理的手法を開発することを目的とする。
まず,トレーニングデータに外れ値が少ない場合に,IM効果をより明確に観察することから始める。
この結果は、損失関数を設計する際、ミニバッチからアウトリーチを効果的に排除できる場合、UOD体制におけるIM効果を高める可能性を示している。
この目的のために、我々は2つの主要なテクニックを紹介します。
1)モデルトレーニングが進むにつれてミニバッチサイズが大きくなる。
2) 適応しきい値を用いて乱れた損失関数を計算する。
理論的には、これらの2つの手法は、停止した損失関数から外れ値を効果的にフィルタリングし、IM効果を最大限活用できることが示される。
追加のアンサンブル戦略と組み合わさって,Aaptive Loss Truncation with Batch Increment (ALTBI) と呼ぶ手法を提案する。
ALTBIは,計算コストを著しく低減しつつも,最近の手法と比較して,外れ値の同定において最先端の性能を達成できることを実証するために,広範な実験結果を提供する。
さらに,プライバシ保存アルゴリズムと組み合わせることで,ロバストな性能が得られることを示す。
関連論文リスト
- Attribute-to-Delete: Machine Unlearning via Datamodel Matching [65.13151619119782]
機械学習 -- 事前訓練された機械学習モデルで、小さな"ターゲットセット"トレーニングデータを効率的に削除する -- は、最近関心を集めている。
最近の研究では、機械学習技術はこのような困難な環境では耐えられないことが示されている。
論文 参考訳（メタデータ） (2024-10-30T17:20:10Z) - Enhancing Training Data Attribution for Large Language Models with Fitting Error Consideration [74.09687562334682]
Debias and Denoise Attribution (DDA) と呼ばれる新しいトレーニングデータ属性法を導入する。
提案手法は既存のアプローチよりも優れており,平均91.64%のAUCを実現している。
DDAは、様々なソースとLLaMA2、QWEN2、Mistralのような異なるスケールのモデルに対して、強力な汎用性とスケーラビリティを示す。
論文 参考訳（メタデータ） (2024-10-02T07:14:26Z) - Class Incremental Learning for Adversarial Robustness [17.06592851567578]
アドリラルトレーニングは、モデルトレーニング中の敵の例を統合して、堅牢性を高める。
直感的な対人訓練と漸進的な学習を組み合わせることで、頑健さが失われることが容易に分かる。
本稿では, 対向型とクリーン型との出力差を生かしたFPD損失を提案する。
論文 参考訳（メタデータ） (2023-12-06T04:38:02Z) - PREM: A Simple Yet Effective Approach for Node-Level Graph Anomaly
Detection [65.24854366973794]
ノードレベルのグラフ異常検出(GAD)は、医学、ソーシャルネットワーク、eコマースなどの分野におけるグラフ構造化データから異常ノードを特定する上で重要な役割を果たす。
本稿では,GADの効率を向上させるために,PREM (preprocessing and Matching) という簡単な手法を提案する。
我々のアプローチは、強力な異常検出機能を維持しながら、GADを合理化し、時間とメモリ消費を削減します。
論文 参考訳（メタデータ） (2023-10-18T02:59:57Z) - Quantile-based Maximum Likelihood Training for Outlier Detection [5.902139925693801]
我々は,推定時の外乱分離を改善するために,不整合分布を学習するための量子化に基づく最大極大目標を提案する。
本手法は, 事前学習した識別特徴に正規化フローを適合させ, 評価されたログ類似度に応じて異常値を検出する。
論文 参考訳（メタデータ） (2023-08-20T22:27:54Z) - ODIM: Outlier Detection via Likelihood of Under-Fitted Generative Models [4.956259629094216]
Unsupervised Outlier Detection (UOD) とは、非教師付き外乱検出(unsupervised outlier detection, UOD)問題である。
我々は、IM効果(ODIM)による外れ検知と呼ばれる新しい手法を開発した。
注目すべきなのは、ODIMはほんの数回の更新しか必要とせず、計算効率が他のディープラーニングベースのアルゴリズムの何倍も高速であることだ。
論文 参考訳（メタデータ） (2023-01-11T01:02:27Z) - Temporal Output Discrepancy for Loss Estimation-based Active Learning [65.93767110342502]
ラベルのないサンプルが高損失を伴っていると信じられている場合に,データアノテーションのオラクルに問い合わせる,新しいディープラーニングアプローチを提案する。
本手法は,画像分類やセマンティックセグメンテーションタスクにおける最先端の能動学習手法よりも優れた性能を実現する。
論文 参考訳（メタデータ） (2022-12-20T19:29:37Z) - DEALIO: Data-Efficient Adversarial Learning for Imitation from
Observation [57.358212277226315]
観察ifoからの模倣学習において、学習エージェントは、実演者の生成した制御信号にアクセスせずに、実演行動の観察のみを用いて実演エージェントを模倣しようとする。
近年、逆模倣学習に基づく手法は、ifO問題に対する最先端のパフォーマンスをもたらすが、データ非効率でモデルなしの強化学習アルゴリズムに依存するため、サンプルの複雑さに悩まされることが多い。
この問題は、サンプルの収集が時間、エネルギー、およびリスクの面で高いコストを被る可能性がある現実世界の設定に展開することは非現実的です。
よりデータ効率の高いifOアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-03-31T23:46:32Z) - A Simple but Tough-to-Beat Data Augmentation Approach for Natural
Language Understanding and Generation [53.8171136907856]
カットオフと呼ばれる、シンプルで効果的なデータ拡張戦略のセットを紹介します。
カットオフはサンプリング一貫性に依存しているため、計算オーバーヘッドが少なくなる。
cutoffは、敵のトレーニングを一貫して上回り、IWSLT2014 German- English データセットで最先端の結果を達成する。
論文 参考訳（メタデータ） (2020-09-29T07:08:35Z) - Hierarchical and Efficient Learning for Person Re-Identification [19.172946887940874]
階層的大域的, 部分的, 回復的特徴を複数の損失結合の監督の下で学習する, 階層的, 効率的なネットワーク(HENet)を提案する。
また,RPE (Random Polygon Erasing) と呼ばれる新しいデータセット拡張手法を提案する。
論文 参考訳（メタデータ） (2020-05-18T15:45:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。