論文の概要: Beyond Second-Order Information: Paid Logistic Regression with Noisy Features
- arxiv url: http://arxiv.org/abs/2610.12919v1
- Date: Fri, 09 Oct 2026 03:09:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-13 04:06:29.36792
- Title: Beyond Second-Order Information: Paid Logistic Regression with Noisy Features
- Title(参考訳): 2次情報を超えて - ノイズのある機能を備えたペイドロジスティック回帰
- Abstract要約: オンラインのバイナリ予測と有償機能について検討し、学習者は基礎となる特徴をよりよく観察するためにリソースを費やすことができる。
学習者の目標は、予測損失と獲得コストを共同制御することである。
- 参考スコア(独自算出の注目度): 39.31461810814064
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We consider online binary prediction with paid stochastic features, where the learner can spend resources to obtain better observations of the underlying features. This setting is motivated by applications such as medical testing, where additional cost can provide more precise measurements of patient's features for predicting a binary outcome. At each round, a latent feature is drawn i.i.d., the response is generated through a logistic model, and the learner chooses how much to pay before observing a noisy version of the feature. The goal of learner is to jointly control prediction loss and acquisition cost. In contrast to the former result on the online linear regression with paid features, covariance information alone is no longer sufficient: two noise distributions with the same covariance may induce different optimal logistic losses, and lower variance can even lead to higher loss. Under a structural ordering in which larger payments yield better observations by removing independent noise, we obtain $\widetilde O(\sqrt{T})$ regret when the noise structure is known and $\widetilde O(T^{2/3})$ regret when it is unknown, with matching lower bounds up to logarithmic factors.
- Abstract(参考訳): オンライン二分予測と有償確率的特徴について検討し、学習者は基礎となる特徴をよりよく観察するためにリソースを費やすことができる。
この設定は、医療検査のようなアプリケーションによって動機付けられており、追加のコストは、バイナリー結果を予測するための患者の特徴をより正確に測定することができる。
各ラウンドにおいて、潜伏した特徴、すなわち、ロジスティックモデルにより応答が生成され、学習者は、その特徴のうるさいバージョンを見る前に、いくら払うかを選択する。
学習者の目標は、予測損失と獲得コストを共同制御することである。
有償特徴を持つオンライン線形回帰に関する以前の結果とは対照的に、共分散情報だけでは十分ではない:同じ共分散を持つ2つのノイズ分布は、最適なロジスティック損失を誘発し、より低い分散は、より高い損失をもたらす。
独立雑音を除去することによってより大きな支払いがよりよく観測される構造的順序の下では、ノイズ構造が分かっているときに$\widetilde O(\sqrt{T})$後悔し、未知の場合には$\widetilde O(T^{2/3})$後悔し、対数的要因まで下限を一致させる。
関連論文リスト
- Learning to Fluctuate: Statistical Foundations for Causal Tabular Pretraining [8.401473551081748]
本研究では,固定配置人口に必要となる繰り返しサンプル応答を符号化した揺らぎ制御事前訓練(FSP)を導入する。
FSPは、温かいワンスレッドベンチマークでテーブル毎の11.6Times$高速にデプロイします。
2つのランダム化されたスタディ評価は、低いRMSEが残留減衰と共存できることを示している。
論文 参考訳(メタデータ) (2026-09-22T12:03:30Z) - Caliber: Cross-Architecture Extraction-Cost Control for Score-Returning APIs [27.21644231867863]
Caliberは、キャリブレーション問題としてノイズ選択を定式化するモデル抽出に対する防御である。
知識蒸留に返却されたスコアを使用する攻撃者に対して、Caliberは独立して同一に分散したガウスノイズを内部ロジットに追加する。
Caliberは、正方形中央2対数辺による雑音分散を正規化し、その結果の雑音効用関係をロジスティック曲線に適合させる。
論文 参考訳(メタデータ) (2026-08-02T05:58:00Z) - How Neural Reward Models Learn Features for Policy Optimization: A Single-Index Analysis [53.063298916923976]
r*(x) = *(langle *, xrangle)$ と $x sim N(0, I_d)$ でガウスの単一インデックスモデルでフィードバックを研究する。
まず、報酬重み付きサンプルから隠れた方向を*$で学習し、次に重み付きリッジ回帰により読み出し層に適合する2段階のニューラル報酬モデルを分析する。
論文 参考訳(メタデータ) (2026-05-23T22:00:38Z) - Optimal Unconstrained Self-Distillation in Ridge Regression: Strict Improvements, Precise Asymptotics, and One-Shot Tuning [61.07540493350384]
自己蒸留(英: Self-distillation, SD)とは、教師自身の予測と地道の混合で学生を訓練する過程である。
任意の予測リスクに対して、各正規化レベルにおいて、最適に混合された学生がリッジ教師に改善されることが示される。
本稿では,グリッド探索やサンプル分割,再構成なしに$star$を推定する一貫したワンショットチューニング手法を提案する。
論文 参考訳(メタデータ) (2026-02-19T17:21:15Z) - Online Linear Regression with Paid Stochastic Features [30.17994138589359]
本研究では,観測された特徴ベクトルが雑音によって劣化し,学習者がノイズレベルを低減するために支払うことができるオンライン線形回帰設定について検討する。
本研究では,線形予測器に対する学習者の後悔度を,予測誤差と支払量を組み合わせた損失の概念を最小化する。
論文 参考訳(メタデータ) (2025-11-11T10:19:24Z) - Rejection via Learning Density Ratios [50.91522897152437]
拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。
そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。
私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
論文 参考訳(メタデータ) (2024-05-29T01:32:17Z) - Retire: Robust Expectile Regression in High Dimensions [3.9391041278203978]
ペナル化量子化法と期待回帰法は、高次元データの異方性検出に有用な手段を提供する。
我々は,頑健な期待回帰(退職)を提案し,研究する。
提案手法は半平滑なニュートン座標降下アルゴリズムにより効率よく解けることを示す。
論文 参考訳(メタデータ) (2022-12-11T18:03:12Z) - Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。
ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。
本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
論文 参考訳(メタデータ) (2021-06-06T19:08:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。