論文の概要: When Less Compute Is More: Adaptive Early Exit Improves Pretrained Outlier Detection

• arxiv url: http://arxiv.org/abs/2609.32898v1
• Date: Sat, 26 Sep 2026 19:37:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 12:09:37.179459
• Title: When Less Compute Is More: Adaptive Early Exit Improves Pretrained Outlier Detection
• Title（参考訳）: より少ない計算:Adaptive Early Exitが事前トレーニングされたアウトリーチ検出を改善した
• Abstract要約: 事前訓練された基礎モデルは、データセットのサイズに応じて推論コストが増大し、すべてのデータセットを一定の深さで処理する。 本稿では,事前学習した外乱検出モデルに対する深度適応型早期退避に関する最初の研究について述べる。 最適中間層での終了はまた、様々な実世界のベンチマークにおける検出性能を平均4.7-7.3%向上させることができる。
• 参考スコア（独自算出の注目度）: 16.20906921248896
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pretrained tabular foundation models process every dataset at a fixed depth, with inference costs growing with dataset size. To address this, we present the first study of depth-adaptive early-exit for pretrained outlier detection models. While early-exit is typically motivated by efficiency, we uncover a surprising benefit: exiting at the optimal intermediate layer can also improve detection performance on diverse real-world benchmarks by 4.7-7.3% on average, consistent across three distinct foundation models. First, we investigate the factors driving these gains, and identify a key mechanism: context pollution, i.e., the presence of outliers among in-context samples. Our analysis reveals that nearby in-context samples exert increasing influence on query predictions at greater depths, consistent with a retrieval-based view of these models. In effect, early-exit alleviates the adverse effects of retrieving accurate-yet-polluted neighbors, with gains of 13-21% when context pollution matches the natural outlier rate. Motivated by these findings, we pretrain a plug-in router to select a dataset-specific exit layer, using query outlier labels as privileged information available only during router training. The router operates post hoc, leaving the base model parameters and prediction head unchanged. Experiments on three large real-world benchmarks show that, on clean context, the router recovers up to 45% of the oracle gain with up to 1.8x speedup across three pretrained backbones, with larger gains as context pollution increases.
• Abstract（参考訳）: 事前トレーニングされた表形式の基盤モデルは、データセットのサイズに応じて推論コストが増大し、すべてのデータセットを一定の深さで処理する。 そこで本研究では,事前学習した外乱検出モデルに対する深度適応型早期退避に関する最初の研究について述べる。 最適中間層での終了は、様々な実世界のベンチマークにおける検出性能を平均4.7-7.3%改善し、3つの異なる基礎モデル間で一貫性がある。 まず、これらの利得を駆動する要因を調査し、文脈汚染、すなわち、文脈内サンプルにおけるアウトリーチの存在という重要なメカニズムを同定する。 分析の結果,付近のコンテキスト内サンプルは,これらのモデルの検索ベースビューと一致して,より深い深度でのクエリ予測に影響を及ぼすことが判明した。 事実、早期退避は、環境汚染が自然の流出率と一致した場合、13-21%の上昇率で、正確なイット汚染された隣人を回収する悪影響を緩和する。 これらの知見により,我々は,ルータトレーニング時にのみ利用できる特権情報として,クエリアウトレーヤラベルを用いて,データセット固有の出口層を選択するために,プラグインルータを事前訓練する。 ルータはポストホックで動作し、ベースモデルパラメータと予測ヘッドは変わらない。 3つの大規模な実世界のベンチマークの実験では、クリーンな状況下では、ルータは3つの事前訓練されたバックボーンで最大1.8倍のスピードアップでオラクルゲインの45%を回復する。

関連論文リスト

• Modular Deep Learning Mechanisms for Auditable Next-Day Wildfire Spread Prediction [1.3459501570213257]
  翌日の山火事の予測には、その計算に使用される仮定や歴史的証拠と共に予測を評価できるモデルが必要である。 本研究は次のアクティブファイア予測のための3つのモジュラ拡張について検討する。
  論文  参考訳（メタデータ） (2026-09-15T19:12:06Z)
• OPUS: Occupancy Prediction Using a Sparse Set [64.60854562502523]
  学習可能なクエリの集合を用いて、占有された場所とクラスを同時に予測するフレームワークを提案する。 OPUSには、モデルパフォーマンスを高めるための非自明な戦略が組み込まれている。 最も軽量なモデルではOcc3D-nuScenesデータセットの2倍 FPS に優れたRayIoUが得られる一方、最も重いモデルは6.1 RayIoUを上回ります。
  論文  参考訳（メタデータ） (2024-09-14T07:44:22Z)
• Impact of Comprehensive Data Preprocessing on Predictive Modelling of COVID-19 Mortality [0.0]
  本研究では、新型コロナウイルスの死亡率を予測する10の機械学習モデルに対する、カスタムデータ前処理パイプラインの影響を評価する。 私たちのパイプラインは、標準的な前処理パイプラインと4つの重要なステップで異なります。
  論文  参考訳（メタデータ） (2024-08-15T13:23:59Z)
• DRoP: Distributionally Robust Data Pruning [11.930434318557156]
  我々は、訓練されたモデルの分類バイアスにデータプルーニングが与える影響について、最初の系統的研究を行う。 そこで我々はDRoPを提案する。DRoPは,標準的なコンピュータビジョンベンチマークにおいて,その性能を実証的に実証し,分散的に頑健な手法である。
  論文  参考訳（メタデータ） (2024-04-08T14:55:35Z)
• Impact of Noisy Supervision in Foundation Model Learning [91.56591923244943]
  本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。 雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2024-03-11T16:22:41Z)
• A Meta-Learning Approach to Predicting Performance and Data Requirements [163.4412093478316]
  本稿では,モデルが目標性能に達するために必要なサンプル数を推定する手法を提案する。 モデル性能を推定するデファクト原理であるパワー法則が,小さなデータセットを使用する場合の誤差が大きいことが判明した。 本稿では,2つのデータを異なる方法で処理するPPL法について紹介する。
  論文  参考訳（メタデータ） (2023-03-02T21:48:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。