論文の概要: What Drives the Inlier-Memorization Effect? A Theory of Outlier Detection via Early Training Dynamics
- arxiv url: http://arxiv.org/abs/2606.29791v1
- Date: Mon, 29 Jun 2026 05:09:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-30 18:07:16.057282
- Title: What Drives the Inlier-Memorization Effect? A Theory of Outlier Detection via Early Training Dynamics
- Title（参考訳）: 慣性覚醒効果を駆動する要因 : 早期トレーニングダイナミクスによる外乱検出の理論
- Abstract要約: 外乱検出は、正常データ(インレーサ)の構造を学習することで異常なインスタンスを識別することを目的としている
近年の進歩は、深部モデルが不整形パターンを不整形パターンよりも早く記憶する現象である不整形記憶(IM)効果を活用している。
簡単なオートエンコーダは、早期訓練の特定の段階において、不整合を覚えることなく、不整合を覚えることが可能であることを示す。
- 参考スコア（独自算出の注目度）: 7.78867825272241
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Outlier detection (OD) aims to identify anomalous instances by learning the underlying structure of normal data (inliers), and is particularly challenging in fully unsupervised settings where no information about anomalies is available during training. Recent advances have leveraged the inlier-memorization (IM) effect, a phenomenon in which deep models memorize inlier patterns earlier than those of outliers, as a powerful signal for distinguishing outliers. However, despite its empirical success, the theoretical understanding of the IM effect remains limited. In this work, we present a theoretical study of the IM effect. Focusing on a simple autoencoder, we show that, under mild assumptions, the model can successfully memorize inliers while failing to memorize outliers during certain stages of early training. In particular, we characterize not only the emergence of the IM effect, but also its strength and persistence, and analyze how these properties depend on the data distribution and parameter initialization. In addition, building on these insights, we derive simple yet practical guidelines for enhancing the IM effect, including data preprocessing and parameter initialization schemes, achieving state-of-the-art performance on the ADBench datasets. Our findings provide a theoretical foundation for the IM effect and offer actionable directions for improving IM-based outlier detection methods.
- Abstract（参考訳）: 外乱検出(OD)は、通常のデータ(インレーサ)の構造を学習することで異常なインスタンスを識別することを目的としており、トレーニング中に異常に関する情報が得られない完全に教師なしの環境では特に困難である。
近年の進歩は、深部モデルが不整形パターンを不整形パターンよりも早く記憶する現象である不整形記憶(IM)効果を、外整形パターンを識別するための強力な信号として活用している。
しかし、その実証的な成功にもかかわらず、IM効果の理論的理解は依然として限られている。
本稿では,IM効果に関する理論的研究について述べる。
簡単なオートエンコーダに着目して、軽微な仮定で、モデルが初期訓練の特定の段階において不整合を覚えることなく、不整合を覚えることが可能であることを示す。
特に,IM効果の出現だけでなく,その強度や持続性も特徴付けるとともに,これらの特性がデータ分布やパラメータの初期化にどのように依存するかを分析する。
さらに,これらの知見に基づいて,データ前処理やパラメータ初期化スキーム,ADBenchデータセットの最先端性能など,IM効果を高めるための簡易かつ実用的なガイドラインを導出する。
本研究は、IM効果の理論的基盤を提供し、IMに基づくアウトリア検出法を改善するための実用的な方向を提供する。
関連論文リスト
- Imperfect Influence, Preserved Rankings: A Theory of TRAK for Data Attribution [10.662938465357158]
本稿では、TRAKアルゴリズムの理論的解析を行い、その性能を特徴付け、手法が依存する近似による誤差を定量化する。
この近似は大きな誤差を生じるが、TRAKの推定値の影響はもともとの影響と強く相関しており、したがってデータポイントの相対的なランクを保っている。
論文 参考訳（メタデータ） (2026-02-01T16:11:49Z) - Memorize Early, Then Query: Inlier-Memorization-Guided Active Outlier Detection [5.34972604411447]
Inlier-memorization (IM) 効果は、外れ値の識別に有望な信号を与える。
IM効果のみに依存する既存の教師なしのアプローチは、インレーヤとアウトレーヤが十分に分離されていない場合に依然として苦戦している。
本稿では, IM効果を明示的に強化し, 異常検出を改善する新しいフレームワークであるIMBoostを提案する。
論文 参考訳（メタデータ） (2026-01-16T04:55:46Z) - What Do Learning Dynamics Reveal About Generalization in LLM Reasoning? [83.83230167222852]
モデルの一般化動作は,事前記憶列車の精度と呼ばれるトレーニング指標によって効果的に特徴づけられることがわかった。
モデルの学習行動と一般化を結びつけることで、トレーニング戦略に目標とする改善を導くことができる。
論文 参考訳（メタデータ） (2024-11-12T09:52:40Z) - ALTBI: Constructing Improved Outlier Detection Models via Optimization of Inlier-Memorization Effect [2.3961612657966946]
外乱検出(英: Outlier detection, OD)とは、特定のデータや今後のデータから異常な観測(または外乱)を識別するタスクである。
Inlier-memorization (IM) 効果は、生成モデルが初期の学習段階において、アウトリーチよりも前のインリーチを記憶することを示唆している。
IM効果を最大限に活用し,UODタスクに対処する理論的原理的手法を提案する。
論文 参考訳（メタデータ） (2024-08-19T08:40:53Z) - Impact of Noisy Supervision in Foundation Model Learning [91.56591923244943]
本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。
雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
論文 参考訳（メタデータ） (2024-03-11T16:22:41Z) - Data Attribution for Diffusion Models: Timestep-induced Bias in Influence Estimation [53.27596811146316]
拡散モデルは、以前の文脈における瞬間的な入出力関係ではなく、一連のタイムステップで操作する。
本稿では、この時間的ダイナミクスを取り入れた拡散トラクInについて、サンプルの損失勾配ノルムが時間ステップに大きく依存していることを確認する。
そこで我々はDiffusion-ReTracを再正規化適応として導入し、興味のあるサンプルを対象にしたトレーニングサンプルの検索を可能にする。
論文 参考訳（メタデータ） (2024-01-17T07:58:18Z) - PREM: A Simple Yet Effective Approach for Node-Level Graph Anomaly
Detection [65.24854366973794]
ノードレベルのグラフ異常検出(GAD)は、医学、ソーシャルネットワーク、eコマースなどの分野におけるグラフ構造化データから異常ノードを特定する上で重要な役割を果たす。
本稿では,GADの効率を向上させるために,PREM (preprocessing and Matching) という簡単な手法を提案する。
我々のアプローチは、強力な異常検出機能を維持しながら、GADを合理化し、時間とメモリ消費を削減します。
論文 参考訳（メタデータ） (2023-10-18T02:59:57Z) - Understanding and Mitigating the Label Noise in Pre-training on
Downstream Tasks [91.15120211190519]
本稿では、事前学習データセットにおけるノイズの性質を理解し、下流タスクへの影響を軽減することを目的とする。
雑音の悪影響を軽減するために特徴空間に適応する軽量ブラックボックスチューニング法(NMTune)を提案する。
論文 参考訳（メタデータ） (2023-09-29T06:18:15Z) - ODIM: Outlier Detection via Likelihood of Under-Fitted Generative Models [4.956259629094216]
Unsupervised Outlier Detection (UOD) とは、非教師付き外乱検出(unsupervised outlier detection, UOD)問題である。
我々は、IM効果(ODIM)による外れ検知と呼ばれる新しい手法を開発した。
注目すべきなのは、ODIMはほんの数回の更新しか必要とせず、計算効率が他のディープラーニングベースのアルゴリズムの何倍も高速であることだ。
論文 参考訳（メタデータ） (2023-01-11T01:02:27Z) - Ultra-marginal Feature Importance: Learning from Data with Causal Guarantees [1.2289361708127877]
データ間の関係を定量化するためにMCI(Marginal contribute feature importance)が開発された。
本稿では,AIフェアネス文学からの依存除去手法を基盤として,ウルトラマージナル特徴重要度(UMFI)を導入する。
UMFIがMCIよりも優れている実データやシミュレーションデータについて,特に相互関係や非関連性の存在下で述べる。
論文 参考訳（メタデータ） (2022-04-21T07:54:58Z) - Provably Efficient Causal Reinforcement Learning with Confounded
Observational Data [135.64775986546505]
オフラインで収集されたデータセット(観測データ)を組み込んで、オンライン環境でのサンプル効率を改善する方法について検討する。
提案手法は,観測データを効率よく組み込んだ,分解された楽観的値反復 (DOVI) アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-06-22T14:49:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。