論文の概要: LOCO-AdaMP: Built-in LOCO Inference for Adaptive Minipatch Ensembles with Enhanced Prediction
- arxiv url: http://arxiv.org/abs/2609.36396v1
- Date: Mon, 28 Sep 2026 23:52:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:47.057123
- Title: LOCO-AdaMP: Built-in LOCO Inference for Adaptive Minipatch Ensembles with Enhanced Prediction
- Title（参考訳）: LOCO-AdaMP: 拡張予測付き適応型ミニパッチアンサンブルのためのLOCO推論
- Abstract要約: 最近のアンサンブルフレームワークであるLOCO-MPは、観察と特徴の両方をサブサンプリングするミニパッチを使用してこれらの課題に対処している。
そこで我々はLOCO-AdaMPを提案する。
- 参考スコア（独自算出の注目度）: 2.6426981014417046
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As black-box machine learning models become increasingly common, extracting interpretations with uncertainty quantification has become a critical challenge. One popular type of interpretation is leave-one-covariate-out (LOCO) feature importance, while prior LOCO inference methods often require data-splitting or model-refitting. A recent ensemble framework, LOCO-MP, addresses these challenges using minipatches that subsample both observations and features, but massive feature subsampling can hurt prediction in high-dimensional sparse settings. Motivated by this limitation, we consider minipatch ensembles with adaptive feature sampling guided by LOCO importance, and propose LOCO-AdaMP, which enables free LOCO inference for the resulting adaptive minipatch ensemble. We show that LOCO-AdaMP yields substantially improved predictive models while retaining asymptotically valid feature importance inference without data-splitting, despite the complex dependence between the adaptive sampling distribution and the LOCO importance statistics. Our analysis relies on a careful leave-two-out perturbation bound for the iteratively updated sampling probabilities together with the stability of LOCO scores induced by observation subsampling. Empirical results on synthetic and real datasets demonstrate advantages of LOCO-AdaMP over existing methods in predictive performance, inferential power, and stability. Overall, LOCO-AdaMP provides a flexible ensemble framework (agnostic to base models) that delivers both strong predictive performance and asymptotically valid, powerful feature importance inference for regression.
- Abstract（参考訳）: ブラックボックス機械学習モデルが一般化するにつれて、不確実な定量化を伴う解釈を抽出することが重要な課題となっている。
一般的な解釈の1つはLOCO(Leave-one-covariate-out)の特徴である。
最近のアンサンブルフレームワークであるLOCO-MPは、観察と特徴の両方をサブサンプリングするミニパッチを使用してこれらの課題に対処している。
この制限により、LOCO重要度に導かれる適応的特徴サンプリングによるミニパッチアンサンブルを考察し、その結果の適応的ミニパッチアンサンブルに対して自由なLOCO推論を可能にするLOCO-AdaMPを提案する。
LOCO-AdaMPは,適応サンプリング分布とLOCO重要度統計との複雑な依存にもかかわらず,データ分割なしに漸近的に有効な特徴重要度推論を保ちながら,予測モデルを大幅に改善することを示す。
本分析は,反復的に更新されたサンプリング確率と,観察サブサンプリングにより誘導されるLOCOスコアの安定性に係わる注意的残留2次摂動に依存した。
合成データセットと実データセットの実証結果は、予測性能、推論能力、安定性における既存の手法よりも、LOCO-AdaMPの利点を示している。
全体として、LOCO-AdaMPは柔軟なアンサンブルフレームワーク(ベースモデルに依存しない)を提供する。
関連論文リスト
- Model-Agnostic Feature Selection via LOCO-Guided Adaptive Minipatch Sampling [12.328236355971638]
LOCO-Guided Adaptive Minipatch Smpling (LAMPS)は、ブラックボックス回帰アルゴリズムをベース学習者として使用するモデルに依存しないアンサンブルフレームワークである。
LAMPSは、観察と特徴の両方をサブサンプリングするミニパッチアンサンブルフレームワーク内で動作する。
合成および実データを用いた実験により、LAMPSは最先端の特徴選択法より優れていることが示された。
論文 参考訳（メタデータ） (2026-09-21T05:29:00Z) - Clipping Bottleneck: Stabilizing RLVR via Stochastic Recovery of Near-Boundary Signals [83.0127582612634]
Near-boundary Rescue (NSR) は最小限のプラグ・アンド・プレイの修正であり、失った信号を回復するために、アウト・オブ・バウンドトークンを保持する。
NSRはトレーニングの安定性を大幅に改善し、DAPOやGSPOといった強力なベースライン上で一貫したゲインを提供する。
論文 参考訳（メタデータ） (2026-05-21T16:45:31Z) - Sparse but Critical: A Token-Level Analysis of Distributional Shifts in RLVR Fine-Tuning of LLMs [65.76530158565903]
検証可能な報酬(RLVR)による強化学習は、大規模言語モデル(LLM)における推論を大幅に改善した。
本研究は,RLVRの分布効果に関する系統的研究である。
RLファインチューニングは, 基数とRLポリシーの間に有意なばらつきを示すトークン分布のごく一部で, 高度にスパースかつ目標となる変化を誘発することがわかった。
論文 参考訳（メタデータ） (2026-03-23T18:17:15Z) - Amortized Variational Inference for Logistic Regression with Missing Covariates [4.027766797152636]
Amortized Variational Inference for Logistic Regression (AV-LR) は、バイナリロジスティック回帰のための統一されたエンドツーエンドフレームワークである。
AV-LRは、確率的生成モデルと単純な償却推論ネットワークを統合する。
計算コストを大幅に削減し、最先端のEMライクなアルゴリズムと同等かそれ以上の精度で推定できる。
論文 参考訳（メタデータ） (2026-03-22T14:00:59Z) - xplainfi: Feature Importance and Statistical Inference for Machine Learning in R [12.35431733807122]
我々はmlr3エコシステム上に構築されたRパッケージであるxplainfiを紹介した。
xplainfiは、複数のシミュレーション設定と学習者タイプにまたがる既存の実装と一致した重要なスコアを生成する。
論文 参考訳（メタデータ） (2026-03-16T14:04:48Z) - Sharp Convergence Rates for Masked Diffusion Models [53.117058231393834]
制約を克服するオイラー法に対する全変分に基づく解析法を開発した。
その結果、スコア推定の仮定を緩和し、パラメータ依存性を改善し、収束保証を確立する。
全体としては,CTMC軌道に沿った直接テレビによる誤り分解と,FHSのためのデカップリングに基づく経路解析を導入している。
論文 参考訳（メタデータ） (2026-02-26T00:47:51Z) - Learning Causality for Longitudinal Data [1.2691047660244335]
この論文は、高次元の時間変化データにおける因果推論と因果表現学習の手法を開発する。
最初のコントリビューションは、個別処理効果(ITE)を推定するモデルであるCDVAE(Causal Dynamic Variational Autoencoder)の導入である。
第2のコントリビューションでは,Contrastive Predictive Coding (CPC) とInfoMaxによって強化された RNN に基づく長期的反事実回帰のための効率的なフレームワークを提案する。
第3のコントリビューションは、潜伏が観察された変数にどのように現れるかに対処することでCRLを前進させる。
論文 参考訳（メタデータ） (2025-12-04T16:51:49Z) - RI-Loss: A Learnable Residual-Informed Loss for Time Series Forecasting [13.117430904377905]
時系列予測は、過去のデータから将来の値を予測することに依存する。
MSEには2つの根本的な弱点がある:そのポイントワイドエラーは時間的関係を捉えるのに失敗し、データに固有のノイズを考慮しない。
我々は,Hilbert-Schmidt Independence Criterion(HSIC)に基づく新たな目的関数であるResidual-Informed Loss(RI-Loss)を紹介する。
論文 参考訳（メタデータ） (2025-11-13T09:36:00Z) - Drift No More? Context Equilibria in Multi-Turn LLM Interactions [58.69551510148673]
コンテキストドリフト(Contexts drift)とは、ターン間のゴール一貫性のある振る舞いからモデルが出力する出力の段階的なばらつきである。
シングルターンエラーとは異なり、ドリフトは時間的に展開し、静的な評価指標では捉えにくい。
マルチターンドリフトは、避けられない崩壊というよりも、制御可能な平衡現象として理解できることを示す。
論文 参考訳（メタデータ） (2025-10-09T04:48:49Z) - Revisiting Multivariate Time Series Forecasting with Missing Values [65.30332997607141]
現実の時系列では欠落値が一般的である。
現在のアプローチでは、計算モジュールを使用して、不足した値を補う、計算済みの予測フレームワークが開発されている。
このフレームワークは、致命的な問題を見落としている: 欠落した値に対して基礎的な真理は存在せず、予測精度を劣化させる可能性のあるエラーの影響を受けやすいようにしている。
本稿では,Information Bottleneck原則に基づく新しいフレームワークであるConsistency-Regularized Information Bottleneck(CRIB)を紹介する。
論文 参考訳（メタデータ） (2025-09-27T20:57:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。