論文の概要: Feature Priming in Online Linear Regression: Sparse-Regret Lower Bounds and a Tight Univariate Rate

• arxiv url: http://arxiv.org/abs/2608.17573v1
• Date: Tue, 18 Aug 2026 09:32:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-19 21:40:53.294431
• Title: Feature Priming in Online Linear Regression: Sparse-Regret Lower Bounds and a Tight Univariate Rate
• Title（参考訳）: オンライン線形回帰における特徴プライミング:スパースレグレトな下界とわずか一変量率
• Abstract要約: 高次元のオンライン予測では、最良の予測子はいくつかの機能にのみ依存する可能性があるため、後悔は周囲の次元ではなく、疎らさでスケールすべきである。 WarmuthとAmidはCOLT 2023で、これらの3つのルールのいずれかが競合するオンライン後悔の保証を認めているかどうかを尋ねた。 安価なニュアンスは、リフィットが真の予測座標を過度に重くする原因となる。
• 参考スコア（独自算出の注目度）: 47.36630149538994
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: In high-dimensional online prediction, the best predictor may depend on only a few features, so regret should scale with sparsity rather than the ambient dimension. Feature priming pursues this goal by estimating feature weights from past data and refitting a minimum-norm predictor on the rescaled design. Warmuth and Amid asked at COLT 2023 whether any of three such rules admits a competitive online regret guarantee. Using the natural Moore--Penrose protocol based only on past data, we give a negative answer to the sparse-logarithmic form of this COLT open problem. Our analysis identifies a common obstruction: cheap nuisance interpolation causes the refit to underweight the truly predictive coordinate. An exact target-mass identity and a two-sign argument turn this effect into clipped prediction loss. Hadamard constructions force $Ω(\min\{T,\sqrt{d}\})$ regret for all three rules against a zero-loss one-sparse comparator, with extensions to fixed prime powers and selectors among the rules. Conversely, regret is controlled by data rank, and a Euclidean-normalized triangular construction matches this dependence for powered univariate priming, even under nonnegative second-stage ridge regularization; a paired ridge construction also covers all three powered rules. Exploratory diagnostics on frozen language-model activations exhibit the same relation among nuisance interpolation, target weight, and loss. The exact multivariate and Pearson frontiers remain open.
• Abstract（参考訳）: 高次元のオンライン予測では、最良の予測子はいくつかの機能にのみ依存する可能性があるため、後悔は周囲の次元ではなく、疎らさでスケールすべきである。 機能プライミングは、過去のデータから機能重みを推定し、再スケールした設計に最小限のノーム予測器を適合させることによって、この目標を追求する。 WarmuthとAmidはCOLT 2023で、これらの3つのルールのいずれかが競合するオンライン後悔の保証を認めているかどうかを尋ねた。 過去のデータのみに基づく自然なムーア-ペンローズプロトコルを用いて、このCOLT開問題のスパース対数問題に対する負の答えを与える。 安価なニュアンス補間により、リフィットは真の予測座標を過小評価する。 正確なターゲット質量の同一性と2信号の引数は、この効果をクリップされた予測損失に変換する。 アダマール構成は、固定された素数やセレクタに拡張されたゼロロス1スパースコンパレータに対して、すべての3つの規則に対して、$Ω(\min\{T,\sqrt{d}\})$後悔を強いる。 逆に、後悔はデータランクによって制御され、ユークリッド正規化三角構造は、非負の第二段尾根の正則化の下でも、パワード・ユニバリケートプライミングに対するこの依存に一致する。 凍結言語モデルアクティベーションの探索診断は、ニュアンス補間、目標重み、損失と同一の関係を示す。 正確な多変量体とピアソンフロンティアは未開のままである。

関連論文リスト

• Constrained Online Learning with Noisy Constraint Values [55.29259818039367]
  一般的な実現可能性の下では、我々のLEDGERアルゴリズムは、期待される損失$O(sqrt T)と期待される予算違反$O(sqrtTlog(eT))を達成します。 スレーター条件、フィードバックチャネル間の独立性、絶対的制約値境界は不要である。
  論文  参考訳（メタデータ） (2026-09-07T01:38:41Z)
• Geometry-Calibrated Closed-Form Shrinkage for SAR Despeckling [0.7782912896579166]
  合成開口レーダ(SAR: Synthetic Aperture radar)は、乗法的非ガウス雑音を抑えなければならない逆回復問題である。 我々は、ログ-ヨ-ジョンソン変換を適用した非局所スパース推定器を再検討し、類似したパッチをグループに積み重ね、各群をその左特異点ベースでコード化し、その結果の係数を縮小する。
  論文  参考訳（メタデータ） (2026-08-15T04:28:27Z)
• The Quadrilateral Loss: Additivity as a Measurable Behavior of Dense Neural Networks [0.0]
  積算性を測定可能な振る舞いとして扱う4次的損失,すなわち微分可能なペナルティを導入する。 我々は, 正確な添加率, 構造マスク, 行動的ペナルティ, 体重減少, バックフィッティング, 共有断面モデル, バンチ強化切り株の経路を比較した。
  論文  参考訳（メタデータ） (2026-07-22T14:23:37Z)
• The Matching Principle: A Geometric Theory of Loss Functions for Nuisance-Robust Representation Learning [0.5854803320592717]
  線形ガウスモデル (Thm.A) における最適性を証明し, 展開のドリフトをゼロにする2次ペナルティに対する範囲被覆の必要性 (Thm.G) を示す。 13ブロック(MLからQwen2.5-7Bまで)のテストは、幾何と展開のドリフトに対する等方性対間違った方向の罰則と一致した。 Sigma_taskを推定し、Sigmaにマッチし、コントロールを実行し、タスクとジオメトリを別々にレポートする。
  論文  参考訳（メタデータ） (2026-05-21T17:53:28Z)
• Bandit Convex Optimization with Gradient Prediction Adaptivity [56.816177049016794]
  本研究では, 楽観的な勾配予測が, 最悪の後悔の保証を予測順応的に改善できるかどうかを考察する。 鍵となるアイデアは、分散が勾配ノルムではなく予測誤差でスケールする、新しい分散還元勾配推定器である。 我々は、$(sqrtmathbbE[S_T])$としてスケールする情報理論の下限を確立し、最も達成可能な予測適応的後悔の基本的な特徴を提供する。
  論文  参考訳（メタデータ） (2026-05-21T08:57:38Z)
• The Extrapolation Cliff in On-Policy Distillation of Near-Deterministic Structured Outputs [52.709361620508595]
  ListOPDは、パラメータの5分の1で8B-SFTベースラインで、学生をドメイン内に持ち込む。 Amazon Fashionでは、3つの事前登録テスト — 細粒度崖間隔テスト、小さなクリップのクロス予測 — がロックされた予測ウィンドウ内に落下し、グリッド解像度以下のクローズドフォーム予測に一致する小さなクリップ値が設定されている。
  論文  参考訳（メタデータ） (2026-05-09T06:48:00Z)
• Regularized Online RLHF with Generalized Bilinear Preferences [68.44113000390544]
  一般的な嗜好を伴う文脈的オンラインRLHFの問題を考える。 一般化された双線形選好モデルを用いて、低ランクなスキュー対称行列による選好を捉える。 グリーディポリシーの双対ギャップは推定誤差の正方形によって有界であることを示す。
  論文  参考訳（メタデータ） (2026-02-26T15:27:53Z)
• Refined Risk Bounds for Unbounded Losses via Transductive Priors [67.12679195076387]
  線形回帰の逐次変分を2乗損失、ヒンジ損失の分類問題、ロジスティック回帰で再検討する。 我々の鍵となるツールは、慎重に選択された導出先を持つ指数重み付けアルゴリズムに基づいている。
  論文  参考訳（メタデータ） (2024-10-29T00:01:04Z)
• Error Reduction from Stacked Regressions [12.657895453939298]
  積み重ね回帰は、予測精度を高めるために異なる回帰推定器の線形結合を形成するアンサンブル手法である。 本稿では,非負性制約を受ける経験的リスクの正規化バージョンを最小化することにより,これらの重みを類似的に学習する。 適応的縮小効果により、結果として生じる累積推定量は、最も優れた単一推定値よりも人口リスクが厳しく小さい。
  論文  参考訳（メタデータ） (2023-09-18T15:42:12Z)
• Consistent Online Gaussian Process Regression Without the Sample Complexity Bottleneck [14.309243378538012]
  本稿では,現在の後方中心のHellingerメトリックに対して,エラー近傍を修正可能なオンライン圧縮方式を提案する。 一定の誤差半径の場合、POG は集団後部の近傍 (Theorem 1(ii)) に収束するが、特徴空間の計量エントロピーによって決定される有限メモリのオン・ウォーストに収束する。
  論文  参考訳（メタデータ） (2020-04-23T11:52:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。