論文の概要: Scale-invariant Optimal Sampling for Rare-events Data with Sparse Models

• arxiv url: http://arxiv.org/abs/2608.22597v1
• Date: Sun, 23 Aug 2026 21:03:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-25 13:29:43.799758
• Title: Scale-invariant Optimal Sampling for Rare-events Data with Sparse Models
• Title（参考訳）: スパースモデルによる希少値データのスケール不変な最適サンプリング
• Abstract要約: サブサンプリングは、稀な事象を伴う大量のデータに対する計算上の課題に取り組むのに有効である。 既存の最適なサブサンプリング確率はデータスケールに依存し、いくつかのスケーリング変換は非効率なサブサンプルをもたらす可能性がある。 この課題に取り組み、スパースモデルの文脈でスケール不変な最適サブサンプリング関数を導入する。
• 参考スコア（独自算出の注目度）: 9.971349070438356
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Subsampling is effective in tackling computational challenges for massive data with rare events. Overly aggressive subsampling may adversely affect estimation efficiency, and optimal subsampling is essential to mitigate the information loss. However, existing optimal subsampling probabilities depend on data scales, and some scaling transformations may result in inefficient subsamples. This problem is more significant when there are inactive features, because their influence on the subsampling probabilities can be arbitrarily magnified by inappropriate scaling transformations. We tackle this challenge and introduce a scale-invariant optimal subsampling function in the context of sparse models, where inactive features are commonly assumed. Instead of focusing on estimating model parameters, we define an optimal subsampling function to minimize the prediction error, using adaptive lasso to outline the estimation procedure and study its theoretical guarantee. We first introduce the adaptive lasso estimator for rare-events data and establish its oracle properties, thereby validating the use of subsampling. Then we derive a scale-invariant optimal subsampling function that minimizes the prediction error of the inverse probability weighted (IPW) adaptive lasso. Finally, we present an estimator based on the maximum sampled conditional likelihood (MSCL) to further improve the estimation efficiency. We conduct numerical experiments using both simulated and real-world data sets to demonstrate the performance of the proposed methods.
• Abstract（参考訳）: サブサンプリングは、稀な事象を伴う大量のデータに対する計算上の課題に取り組むのに有効である。 過度に攻撃的なサブサンプリングは推定効率に悪影響を及ぼす可能性があり、情報の損失を軽減するために最適なサブサンプリングが不可欠である。 しかし、既存の最適なサブサンプリング確率はデータスケールに依存し、いくつかのスケーリング変換は非効率なサブサンプルをもたらす可能性がある。 この問題は、不活性な特徴がある場合、不適切なスケーリング変換によってサブサンプリング確率への影響を任意に拡大できるため、より重要である。 この課題に取り組み、不活性な特徴が一般的に仮定されるスパースモデルにおいて、スケール不変な最適サブサンプリング関数を導入する。 モデルパラメータを推定する代わりに、アダプティブラッソを用いて予測誤差を最小限に抑える最適なサブサンプリング関数を定義し、その推定手順の概要と理論的保証について検討する。 まず,レアイベントデータに対する適応型ラッソ推定器を導入し,そのオラクル特性を確立することにより,サブサンプリングの利用を検証した。 次に、逆確率重み付け(IPW)適応ラッソの予測誤差を最小限に抑えるスケール不変な最適サブサンプリング関数を導出する。 最後に,MSCL(Maxum sampled Conditional chance)に基づく推定器を提案し,推定効率をさらに向上させる。 シミュレーションと実世界の両方のデータセットを用いて数値実験を行い,提案手法の性能を実証する。

関連論文リスト

• Robust Spatiotemporal Epidemic Modeling with Integrated Adaptive Outlier Detection [7.5504472850103435]
  疫病モデルでは、アウトレーヤはパラメータ推定を歪め、公衆衛生上の判断を誤ったものにすることができる。 本稿では、この歪みを軽減するために、ロバストな一般化加法モデル(RST-GAM)を導入する。 アメリカ合衆国における郡レベルのCOVID-19感染データを解析し,RTT-GAMの実用性を実証した。
  論文  参考訳（メタデータ） (2025-07-12T19:23:25Z)
• Hybrid least squares for learning functions from highly noisy data [7.096701481970196]
  大量の汚染データを用いた最小二乗関数近似問題を考える。 大きなノイズが存在する場合、小さなノイズレシエーションにおいて強力な既存の手法は最適以下である。 提案アルゴリズムは,サンプル点生成とノイズモリゼーションの両方に対して,適切な最適性を有することを示す。
  論文  参考訳（メタデータ） (2025-07-03T00:31:29Z)
• Optimal Sampling for Generalized Linear Model under Measurement Constraint with Surrogate Variables [3.5903555216741405]
  場合によっては、代理変数はデータセット全体を通してアクセスでき、真の応答変数の近似として機能する。 本稿では,サロゲート変数から得られる情報を効果的に活用する最適なサンプリング戦略を提案する。
  論文  参考訳（メタデータ） (2025-01-01T22:41:52Z)
• Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
  凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。 このような問題は医学、物理学、機械学習で発生する。 両種類の雑音下で提案アルゴリズムの収束保証を行う。
  論文  参考訳（メタデータ） (2024-11-21T10:26:17Z)
• Risk-Sensitive Diffusion: Robustly Optimizing Diffusion Models with Noisy Samples [58.68233326265417]
  非画像データは実際のアプリケーションで広く使われており、ノイズが多い傾向にある。 リスク感受性SDEは、リスクベクトルによってパラメータ化された微分方程式(SDE)の一種である。 我々はガウス雑音分布と非ガウス雑音分布の両方について系統的研究を行う。
  論文  参考訳（メタデータ） (2024-02-03T08:41:51Z)
• Self-Supervised Dataset Distillation for Transfer Learning [77.4714995131992]
  ラベルなしデータセットを、効率的な自己教師付き学習(SSL)のための小さな合成サンプル群に蒸留する新しい問題を提案する。 両レベル最適化におけるSSL目標に対する合成サンプルの勾配は、データ拡張やマスキングから生じるランダム性から、テキストバイアスを受けていることを最初に証明する。 転送学習を含む様々な応用における本手法の有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2023-10-10T10:48:52Z)
• Fine-grained Retrieval Prompt Tuning [149.9071858259279]
  微粒な検索プロンプトチューニングは, サンプルプロンプトと特徴適応の観点から, きめの細かい検索タスクを実行するために, 凍結した事前学習モデルを操る。 学習可能なパラメータが少ないFRPTは、広く使われている3つの細粒度データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-07-29T04:10:04Z)
• Variational Inference with NoFAS: Normalizing Flow with Adaptive Surrogate for Computationally Expensive Models [7.217783736464403]
  マルコフ連鎖モンテカルロのようなサンプリングに基づくアプローチの使用は、それぞれの可能性評価が計算的に高価であるときに難解になる可能性がある。 変分推論と正規化フローを組み合わせた新しいアプローチは、潜在変数空間の次元と線形にしか成長しない計算コストによって特徴づけられる。 本稿では,ニューラルネットワークサロゲートモデルの正規化フローパラメータと重みを代わりに更新する最適化戦略である,適応サロゲートを用いた正規化フロー(NoFAS)を提案する。
  論文  参考訳（メタデータ） (2021-08-28T14:31:45Z)
• Scalable Marginal Likelihood Estimation for Model Selection in Deep Learning [78.83598532168256]
  階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。 本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
  論文  参考訳（メタデータ） (2021-04-11T09:50:24Z)
• Maximum sampled conditional likelihood for informative subsampling [4.708378681950648]
  サブサンプリングは、計算資源が限られているときに大量のデータセットから情報を抽出する、計算学的に効果的な手法である。 そこで本研究では,サンプルデータに基づく最大条件付き確率推定器(MSCLE)を提案する。
  論文  参考訳（メタデータ） (2020-11-11T16:01:17Z)
• Slice Sampling for General Completely Random Measures [74.24975039689893]
  本稿では, 後続推定のためのマルコフ連鎖モンテカルロアルゴリズムについて, 補助スライス変数を用いてトランケーションレベルを適応的に設定する。 提案アルゴリズムの有効性は、いくつかの一般的な非パラメトリックモデルで評価される。
  論文  参考訳（メタデータ） (2020-06-24T17:53:53Z)
• Optimal Distributed Subsampling for Maximum Quasi-Likelihood Estimators with Massive Data [20.79270369203348]
  既存の手法は主に高い計算効率のために置換されたサブサンプリングに焦点を当てている。 まず,準類似度推定の文脈で最適なサブサンプリング確率を導出する。 我々は,分散サブサンプリングフレームワークを開発し,全データの小さなパーティションで統計を同時に計算する。
  論文  参考訳（メタデータ） (2020-05-21T02:46:56Z)
• SUMO: Unbiased Estimation of Log Marginal Probability for Latent Variable Models [80.22609163316459]
  無限級数のランダム化トランケーションに基づく潜在変数モデルに対して、ログ境界確率の非バイアス推定器とその勾配を導入する。 推定器を用いてトレーニングしたモデルは、同じ平均計算コストに対して、標準的な重要度サンプリングに基づくアプローチよりも優れたテストセット確率を与えることを示す。
  論文  参考訳（メタデータ） (2020-04-01T11:49:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。