論文の概要: Black-Box Assisted Regression: Phase Transitions and Minimax Optimality
- arxiv url: http://arxiv.org/abs/2606.25743v1
- Date: Wed, 24 Jun 2026 12:11:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-25 17:05:30.322409
- Title: Black-Box Assisted Regression: Phase Transitions and Minimax Optimality
- Title（参考訳）: Black-Box Assisted Regression: Phase transitions and Minimax Optimality
- Abstract要約: ファンデーションモデルは、ラベル付きデータに制限のある下流タスクのための固定されたブラックボックス予測器としてしばしば使用される。
有限サンプルのミニマックス特徴づけを$_c(n) asymp n-/(2+d)$で表し、主要なリスクは$min2, n-2/(2+d)$である。
Safe Residual Estimatorを解析し、$f_0$あたりの補正を学習し、残留ヘッドを0で初期化し、初期予測器が$f_0$に等しいようにし、ホールドアウト選択を使用する。
- 参考スコア（独自算出の注目度）: 13.030603690976202
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Foundation models are often used as fixed black-box predictors for downstream tasks with limited labeled data, but their predictions may be biased and unsafe to trust blindly. We study this setting through black-box assisted nonparametric regression: a learner observes labeled samples and can query a fixed predictor $f_0$, while the target $f^*$ is close to $f_0$ in $L_2(P_X)$ up to an unknown radius $δ$. We give a finite-sample minimax characterization showing a phase transition at $δ_c(n) \asymp n^{-β/(2β+d)}$, with leading risk $\min\{δ^2, n^{-2β/(2β+d)}\}$. We then analyze a Safe Residual Estimator: it learns a correction around $f_0$, initializes the residual head at zero so the initial predictor equals $f_0$, and uses holdout selection to revert to $f_0$ when the learned correction is not supported by validation data. Here, "safe" means avoiding negative transfer, i.e., performing worse than the black-box predictor alone. The estimator matches the leading minimax term up to an additive validation-selection cost. Synthetic regression experiments verify the predicted phase transition, while CIFAR-100 with CLIP and AG News with Qwen3-8B provide practice-facing evidence that the same residual-correction tradeoff is useful beyond the formal squared-loss regression setting.
- Abstract（参考訳）: ファンデーションモデルは、ラベル付きデータを限定した下流タスクの固定されたブラックボックス予測器としてしばしば使用されるが、それらの予測はバイアスがあり、盲目的に信頼できない。
学習者はラベル付きサンプルを観察して固定予測子$f_0$を問い合わせるが、対象の$f^*$は未知の半径$δ$まで$f_0$ in $L_2(P_X)$に近い。
有限サンプルのミニマックス特性を$δ_c(n) \asymp n^{-β/(2β+d)}$で表し、主要なリスクは$\min\{δ^2, n^{-2β/(2β+d)}\}$とする。
次に、セーフ残差推定器を解析し、その補正を$f_0$前後で学習し、残差ヘッドを0で初期化し、初期予測器が$f_0$に等しいようにし、学習した補正がバリデーションデータでサポートされない場合に、ホールドアウト選択を使用して$f_0$に戻す。
ここで「安全」とは、負の転送を避けること、すなわちブラックボックスの予測器単独よりもパフォーマンスが悪くなることを意味する。
推定器は、先行するミニマックス項と加算検証選択コストとを一致させる。
CIFAR-100とCLIP、AG NewsとQwen3-8Bは、同じ残差補正トレードオフが正方形偏差回帰設定を超えて有用であることを示す実践的な証拠を提示する。
関連論文リスト
- Sample-Adaptive Latent Rewards for Uncertainty-Guided Diffusion Post-Training [51.18425726646089]
我々は、画像とビデオの拡散モデルのための統合潜在空間フレームワークであるtextscSUREを提案する。
報酬分布を学習し、信頼性を直接利用して、密集したポストトレーニングをガイドする。
textscSURE-REFLは評価手法の中で最も高いVBench品質、セマンティック、総得点を達成する。
論文 参考訳（メタデータ） (2026-08-06T14:55:42Z) - Optimal use of a black-box learner in semiparametric estimation [2.8597160727750564]
提案手法は, ブラックボックス回帰推定による重みの編集を行うためのトランスダクティブ・アディショナル・モーメント・エディティング(TAME)を提案する。
TAMEは初期ブラックボックスの推定値と組み合わせることができ、ニュアンス障害が校正された場合のDML保証を厳密に改善することができる。
論文 参考訳（メタデータ） (2026-07-23T17:26:17Z) - Is Spurious Correlation Removal Always Learnable? [56.28155520961125]
不変学習は、構造が統計的に識別可能であっても失敗することがある。
ブラックボックスサンプリング可能な教師付きスパースリカバリプリミティブの下では、実証可能な多次元環境が存在する。
合成および実際のデータセットは、予測されたギャップと遷移を示し、単純な多様性診断を動機付ける。
論文 参考訳（メタデータ） (2026-06-11T05:49:43Z) - How Neural Reward Models Learn Features for Policy Optimization: A Single-Index Analysis [53.063298916923976]
r*(x) = *(langle *, xrangle)$ と $x sim N(0, I_d)$ でガウスの単一インデックスモデルでフィードバックを研究する。
まず、報酬重み付きサンプルから隠れた方向を*$で学習し、次に重み付きリッジ回帰により読み出し層に適合する2段階のニューラル報酬モデルを分析する。
論文 参考訳（メタデータ） (2026-05-23T22:00:38Z) - Bandit Convex Optimization with Gradient Prediction Adaptivity [56.816177049016794]
本研究では, 楽観的な勾配予測が, 最悪の後悔の保証を予測順応的に改善できるかどうかを考察する。
鍵となるアイデアは、分散が勾配ノルムではなく予測誤差でスケールする、新しい分散還元勾配推定器である。
我々は、$(sqrtmathbbE[S_T])$としてスケールする情報理論の下限を確立し、最も達成可能な予測適応的後悔の基本的な特徴を提供する。
論文 参考訳（メタデータ） (2026-05-21T08:57:38Z) - When to Trust Confidence Thresholding: Calibration Diagnostics for Pseudo-Labelled Regression [1.14219428942199]
標準的なプラクティスは、信頼性カットオフで校正されたスコアをしきい値にし、ハードラベルを真実として扱うことである。
疑似ラベリングパイプラインのためのキャリブレーション対応診断装置を開発した。
我々は、下流回帰係数において信頼しきい値が誘導する減衰バイアスの閉形式式を導出する。
論文 参考訳（メタデータ） (2026-05-12T21:49:11Z) - Regression-Based Estimation of Causal Effects in the Presence of Selection Bias and Confounding [52.1068936424622]
治療が介入によって設定された場合、対象変数$Y$に対して、予測因果効果$E[Y|do(X)]$を推定する問題を考える。
選択バイアスや欠点のない設定では、$E[Y|do(X)] = E[Y|X]$ となる。
選択バイアスとコンバウンディングの両方を組み込んだフレームワークを提案する。
論文 参考訳（メタデータ） (2025-03-26T13:43:37Z) - Decision from Suboptimal Classifiers: Excess Risk Pre- and Post-Calibration [52.70324949884702]
バッチ二分決定における近似的後続確率を用いた余剰リスクの定量化を行う。
我々は、再校正のみが後悔のほとんどに対処する体制と、後悔が集団的損失に支配される体制を識別する。
NLP実験では、これらの量によって、より高度なポストトレーニングの期待値が運用コストに値するかどうかが分かる。
論文 参考訳（メタデータ） (2025-03-23T10:52:36Z) - SLOE: A Faster Method for Statistical Inference in High-Dimensional
Logistic Regression [68.66245730450915]
実用データセットに対する予測の偏見を回避し、頻繁な不確実性を推定する改善された手法を開発している。
私たちの主な貢献は、推定と推論の計算時間をマグニチュードの順序で短縮する収束保証付き信号強度の推定器SLOEです。
論文 参考訳（メタデータ） (2021-03-23T17:48:56Z) - Outlier-robust sparse/low-rank least-squares regression and robust
matrix completion [1.0878040851637998]
ヘテロジニアス雑音を伴う統計的学習フレームワークにおける高次元最小二乗回帰について検討する。
また, 製品プロセスの新たな応用に基づいて, 行列分解を伴う新しいトレーサリグレス理論を提案する。
論文 参考訳（メタデータ） (2020-12-12T07:42:47Z) - Computationally and Statistically Efficient Truncated Regression [36.3677715543994]
計算的かつ統計的に効率的な線形回帰の古典的問題に対する推定器を提供する。
提案手法では, トランキャット標本の負の対数類似度に代わることなく, プロジェクテッド・Descent Gradient (PSGD) を用いて推定する。
本稿では,SGDが単一層ニューラルネットワークの雑音活性化関数のパラメータを学習することを示す。
論文 参考訳（メタデータ） (2020-10-22T19:31:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。