論文の概要: Protected Unbiased Sparsification: A Sharp Loewner Curve
- arxiv url: http://arxiv.org/abs/2611.15247v1
- Date: Wed, 11 Nov 2026 09:36:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.094793
- Title: Protected Unbiased Sparsification: A Sharp Loewner Curve
- Title(参考訳): 保護された無バイアスのスポーティフィケーション:シャープルーナーカーブ
- Abstract要約: 我々は、不偏性、所定の線形統計の正確な保存、下流の線形応答に対する共分散保証を求める。
すべての$d+1le mle k$に対して、最小の$m$非ゼロ座標を持つ非バイアスランダム確率ベクトル$Q$を構築する。
実験では合成重量と言語モデル注意の理論が説明されている。
- 参考スコア(独自算出の注目度): 19.060293025875744
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Random sparsification replaces a probability vector by a random vector with few nonzero entries. We ask for unbiasedness, exact preservation of prescribed linear statistics, and a covariance guarantee for every downstream linear response. Let $p$ have $k$ positive coordinates, let $A$ specify the protected statistics, and let $d\le k-2$ be their effective rank. For every $d+1\le m\le k$, we construct an unbiased random probability vector $Q$ with at most $m$ nonzero coordinates, $AQ=Ap$ on every realization, and $\operatorname{Cov}(Q)\preceq h C_{p\mid A}$, where $h=(k-m)/((m-d)(k-d-1))$ and $C_{p\mid A}$ is the categorical covariance after optimal linear adjustment for the protected statistics. This coefficient is sharp uniformly over instances, even among biased estimators when error is measured by its second moment. A residual covariance bridge extends the concurrent unprotected curve to arbitrary pathwise linear protection. We also characterize instance-optimal constants for partitions with uniform weights within classes and derive bounds for peaked weights. For rational inputs, an exact Las Vegas sampler attains the curve within a factor $1+ε$ in expected polynomial time. A separate fast block-pivotal sampler preserves block masses and is no worse in covariance order than independent sampling within blocks. Experiments illustrate the theory on synthetic weights and language-model attention. In Qwen2.5-7B-Instruct decoding, the fast sampler preserves block masses, while comparisons with VarOpt remain statistically inconclusive and top-$m$ truncation scores highest on RULER.
- Abstract(参考訳): ランダムスペーシフィケーション(英語版)は確率ベクトルを非ゼロ成分の少ないランダムベクトルに置き換える。
我々は、不偏性、所定の線形統計の正確な保存、下流の線形応答に対する共分散保証を求める。
p$ に正の座標を持ち、$A$ に保護された統計を指定させ、$d\le k-2$ を有効ランクとする。
すべての$d+1\le m\le k$に対して、少なくとも$m$非ゼロ座標を持つ非バイアスランダム確率ベクトル$Q$、すべての実数化において$AQ=Ap$、$\operatorname{Cov}(Q)\preceq h C_{p\mid A}$、$h=(k-m)/((m-d)(k-d-1))$および$C_{p\mid A}$は、保護された統計量に対する最適線形調整後のカテゴリー共分散である。
この係数は、誤差が第2モーメントで測定された場合でも、偏りのある推定器の中で一様である。
残留共分散ブリッジは、同時に保護されていない曲線を任意の経路方向の線形保護に拡張する。
また、クラス内の一様重みを持つ分割のインスタンス最適定数とピーク重みの導出境界も特徴付ける。
有理入力に対して、正確なラスベガスのサンプリング器は予想多項式時間において1+ε$の係数で曲線を得る。
別個の高速ブロック-ピボタルサンプリング器はブロック質量を保存し、ブロック内での独立サンプリングよりも共分散順序が悪くはない。
実験では合成重量と言語モデル注意の理論が説明されている。
Qwen2.5-7B-Instructデコードでは、高速サンプリング器はブロックの質量を保ち、VarOptとの比較は統計的に決定的ではなく、RULERで最高値である。
関連論文リスト
- When Momentum Helps Polyak--Ruppert Averaging [75.70186756364649]
有限ランの到達速度と、それらがどの程度並列化できるかを特徴付ける。
加法雑音を伴う強凸二次群に対しては、オンライン・オフライン橋の証明を行う。
論文 参考訳(メタデータ) (2026-10-20T10:29:50Z) - Parameter-Free Interval-Dynamic Regret under Heavy-Tailed Noise [55.29259818039367]
オンライン凸最適化を1ラウンドに1つの偏りのない下位段階と、未知の有限条件の雑音モーメントであるp$th, $1ple2$で検討する。
長さ$n$の固定区間$I$に対して、学習者は最適な全水平静的レートを含む1+log(T/n)$を達成する。
論文 参考訳(メタデータ) (2026-09-30T21:03:03Z) - Optimal Unconstrained Self-Distillation in Ridge Regression: Strict Improvements, Precise Asymptotics, and One-Shot Tuning [61.07540493350384]
自己蒸留(英: Self-distillation, SD)とは、教師自身の予測と地道の混合で学生を訓練する過程である。
任意の予測リスクに対して、各正規化レベルにおいて、最適に混合された学生がリッジ教師に改善されることが示される。
本稿では,グリッド探索やサンプル分割,再構成なしに$star$を推定する一貫したワンショットチューニング手法を提案する。
論文 参考訳(メタデータ) (2026-02-19T17:21:15Z) - Efficient Unbiased Sparsification [0.0]
ベクトル $pin mathbbRn$ の非バイアス付き $m$-スパーシフィケーション(unbiased $m$-sparsification of a vector $pin mathbbRn$)は、無作為なベクトル $Qin mathbbRn$ であり、平均 $p$ は少なくとも $mn$ でない座標を持つ。
本研究の主な成果は、置換不変あるいは加法的に分離可能な異種に対する効率的な非偏平スパーシフィケーションである。
論文 参考訳(メタデータ) (2024-02-22T19:15:50Z) - Semidefinite programming relaxations and debiasing for MAXCUT-based clustering [1.9761774213809036]
2つのガウス分布を$mathbbRp$で混合して引き出す小さなデータサンプルを$n$で分割する問題を考察する。
グラフ上の最大カットを求めるように定式化された整数二次プログラムの半定値プログラミング緩和を用いる。
論文 参考訳(メタデータ) (2024-01-16T03:14:24Z) - The Sample Complexity of Robust Covariance Testing [56.98280399449707]
i. i. d.
形式 $Z = (1-epsilon) X + epsilon B$ の分布からのサンプル。ここで $X$ はゼロ平均で未知の共分散である Gaussian $mathcalN(0, Sigma)$ である。
汚染がない場合、事前の研究は、$O(d)$サンプルを使用するこの仮説テストタスクの単純なテスターを与えた。
サンプル複雑性の上限が $omega(d2)$ for $epsilon$ an arbitrarily small constant and $gamma であることを証明します。
論文 参考訳(メタデータ) (2020-12-31T18:24:41Z) - Multivariate mean estimation with direction-dependent accuracy [8.147652597876862]
独立な同一分布観測に基づくランダムベクトルの平均を推定する問題を考察する。
確率ベクトルの1次元辺の分散があまり小さくない全ての方向において、ほぼ最適誤差を持つ推定器を証明した。
論文 参考訳(メタデータ) (2020-10-22T17:52:45Z) - Consistent regression when oblivious outliers overwhelm [8.873449722727026]
我々の研究に先立ち、ガウスの$X$でさえ、$beta*$ の見積子は、このモデルでは一貫性がないことが知られていた。
ほぼ線形なサンプルサイズと逆ポリノミアル不整分率で一貫した推定が可能であることを示す。
ここで研究したモデルは、最初の瞬間さえも持たない重い尾の雑音の分布も捉えている。
論文 参考訳(メタデータ) (2020-09-30T16:21:34Z) - Optimal Robust Linear Regression in Nearly Linear Time [97.11565882347772]
学習者が生成モデル$Y = langle X,w* rangle + epsilon$から$n$のサンプルにアクセスできるような高次元頑健な線形回帰問題について検討する。
i) $X$ is L4-L2 hypercontractive, $mathbbE [XXtop]$ has bounded condition number and $epsilon$ has bounded variance, (ii) $X$ is sub-Gaussian with identity second moment and $epsilon$ is
論文 参考訳(メタデータ) (2020-07-16T06:44:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。