論文の概要: Iterative Erasure Count Is Not an Affine-Invariant Concept Dimension
- arxiv url: http://arxiv.org/abs/2608.10566v1
- Date: Tue, 11 Aug 2026 06:53:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-12 19:14:45.931709
- Title: Iterative Erasure Count Is Not an Affine-Invariant Concept Dimension
- Title（参考訳）: 反復消去数はアフィン不変の概念次元ではない
- Abstract要約: 共通回答は、繰り返しプローブ方向を消去し、停止数または累積除去ランクを通知する。
我々は,モデル定義集団量と手順定義集団量とを区別する。
したがって反復消去は、表現幾何学と全測定手順によって共同で決定される手順相対推定を返す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: How many directions does a neural representation use to encode a concept? A common answer repeatedly erases probe directions and reports the stopping count or cumulative removed rank. We show that both quantities can change under an information-preserving invertible reparameterization, so neither is intrinsically a concept dimension. We distinguish model-defined population quantities (generating dimension, sufficient linear dimension, and minimum guarding rank) from procedure-defined quantities such as stopping count and cumulative edit rank. In a population Gaussian construction, an invertible shear preserves the prediction problem and all three quantities, yet changes the cumulative Euclidean erasure count from one to two. The separation holds for Moore--Penrose ordinary least squares and every finite nonnegative ridge weight. For a two-output full-QR procedure matching our motivating video analysis, cumulative edit rank similarly changes from two to the ambient dimension four. Conversely, the complete cumulative metric-QR trajectory is affine-equivariant when its positive-definite metric, probe, regularizer, and tie-breaking are transported consistently; exact covariance is one corollary, not a canonical semantic metric. In a known-rank finite-sample Adam/QR calibration, identity mixing stops after one accepted update in all 20 large-sample runs, whereas each tested shear $a\in\{.5,.75,1,1.25,2\}$ accepts at least two updates in all 20 runs. Controlled reparameterizations of frozen V-JEPA2 features preserve rank-zero predictions yet alter later Euclidean trajectories under practical optimization. These visual contact experiments are stress tests, not estimates of contact dimension. Iterative erasure therefore returns a procedure-relative estimand jointly determined by representation geometry and the full measurement procedure, not a semantic dimension by itself.
- Abstract（参考訳）: 神経表現は、概念をエンコードするために、いくつの方向を使っていますか?
共通回答は、繰り返しプローブ方向を消去し、停止数または累積除去ランクを通知する。
両量とも情報保存型可逆パラメータ化の下では変化しうることを示すので、本質的には概念次元ではない。
我々は,モデル定義人口量(生成次元,十分な線形次元,最小ガードランク)を,停止数や累積編集ランクなどの手順定義量と区別する。
人口ガウス構成では、可逆せん断は予測問題と3つの量全てを保存するが、累積ユークリッド消去数は1から2に変化する。
分離はムーア-ペンローズ一般最小二乗とすべての有限非負の尾根重に対して成り立つ。
モチベーションビデオ解析に適合する2出力フルQRプロシージャでは,累積編集ランクも2次元から4次元に変化している。
逆に、完全累積計量-QR軌道は正定計量、プローブ、正則化器、タイブレーキングが一貫して輸送されるときにアフィン同変である。
既知のランクの有限サンプルAdam/QRキャリブレーションでは、20個の大きなサンプルランすべてで1回の更新が受け入れられた後にアイデンティティミキシングが停止する一方、各テストされたシャーは、20個のランすべてで少なくとも2回の更新を受け付けている。
凍結したV-JEPA2の制御された再パラメータ化により、ランクゼロの予測は維持されるが、実際の最適化の下でユークリッド軌道は変更される。
これらの視覚接触実験は、接触寸法の推定ではなく、ストレステストである。
したがって反復消去は、表現幾何学と完全な測定手順によって共同で決定される手順相対的推定を、それ自体は意味論的な次元ではなく返却する。
関連論文リスト
- Feature Priming in Online Linear Regression: Sparse-Regret Lower Bounds and a Tight Univariate Rate [47.36630149538994]
高次元のオンライン予測では、最良の予測子はいくつかの機能にのみ依存する可能性があるため、後悔は周囲の次元ではなく、疎らさでスケールすべきである。
WarmuthとAmidはCOLT 2023で、これらの3つのルールのいずれかが競合するオンライン後悔の保証を認めているかどうかを尋ねた。
安価なニュアンスは、リフィットが真の予測座標を過度に重くする原因となる。
論文 参考訳（メタデータ） (2026-08-18T09:32:03Z) - High-dimensional nonparametric changepoint detection via low-rank degree-two density projection [2.1991623402625606]
本稿では,行列平均推定による密度推定を置き換えつつ,最大2倍の密度情報を保持する表現に基づく手法を提案する。
周囲の寸法を最大200ドル(約2万2000円)、3変量$d=100ドル(約1万2000円)のシーケンス、そして128ドル(約1万2000円)のヒューマンアクティビティ・ベンチマークは、この手法が計算学的に実用的であることを示している。
論文 参考訳（メタデータ） (2026-08-14T03:48:29Z) - Scalable estimation of VARMA models [4.301367153728694]
自己回帰移動平均(VARMA)モデルは、中等次元を超えた非現実的と考えられてきた。
列長のバイアスを除去する推定法を提案する。
これにより、VARMAの見積もりは、シリーズの長さに依存しないコストで、実践者がVARモデルにずっと依存している問題のサイズに繋がる。
論文 参考訳（メタデータ） (2026-08-06T17:49:58Z) - Divergence is Uncertainty: A Closed-Form Posterior Covariance for Flow Matching [8.603039700922809]
フローマッチングは生成モデルの主要なフレームワークとなっているが、サンプルの不確かさの定量化は未解決の問題である。
これらのトレードオフはいずれも必要ありません。
MNISTの実験により、ピクセルごとの不確実性マップが意味論的に意味があることが確認された。
論文 参考訳（メタデータ） (2026-05-01T04:25:00Z) - Test Set Sizing for the Ridge Regression [51.56484100374058]
訓練行数mが大きくなる限界において、リッジ回帰のための理想的な列車/試験分割を高精度に導出する。
このような分割が、大規模なデータ制限下で機械学習モデルに対して数学的に計算されるのは、これが初めてである。
論文 参考訳（メタデータ） (2025-04-27T13:17:18Z) - Towards Self-Supervised Covariance Estimation in Deep Heteroscedastic Regression [102.24287051757469]
深部異方性回帰における自己教師付き共分散推定について検討する。
正規分布の間の2-ワッサーシュタイン距離の上界を導出する。
幅広い合成データセットと実データセットに対する実験により、提案された2-ワッサーシュタインと擬似ラベルアノテーションが結合した結果、計算的に安価で正確な深部ヘテロ代用回帰が導かれることが示された。
論文 参考訳（メタデータ） (2025-02-14T22:37:11Z) - Variance-Dependent Regret Bounds for Linear Bandits and Reinforcement
Learning: Adaptivity and Computational Efficiency [90.40062452292091]
本稿では,不整合雑音を持つ線形帯域に対する計算効率のよい最初のアルゴリズムを提案する。
我々のアルゴリズムは未知のノイズの分散に適応し、$tildeO(d sqrtsum_k = 1K sigma_k2 + d)$ regretを達成する。
また、強化学習において、線形混合マルコフ決定過程(MDP)に対する分散適応アルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-02-21T00:17:24Z) - E-detectors: a nonparametric framework for sequential change detection [86.15115654324488]
逐次的変化検出のための基本的かつ汎用的なフレームワークを開発する。
私たちの手順は、平均走行距離のクリーンで無症状な境界が伴います。
統計的および計算効率の両方を達成するために,これらの混合物を設計する方法を示す。
論文 参考訳（メタデータ） (2022-03-07T17:25:02Z) - Decoupling Shrinkage and Selection for the Bayesian Quantile Regression [0.0]
本稿では,ベイジアン量子回帰(BQR)に対する連続前処理における縮小と疎結合の概念を拡張した。
第1段階では、連続した先行状態の状態での量子的回帰を縮小し、第2段階では適応ラッソの効率的な変種によって後方を分散させる。
我々の手続きは、変数がマクロ経済に下方リスクをもたらす政策立案者とのコミュニケーションに利用できる。
論文 参考訳（メタデータ） (2021-07-18T17:22:33Z) - Multivariate Probabilistic Regression with Natural Gradient Boosting [63.58097881421937]
多変量予測分布の条件パラメータを非パラメトリックにモデル化したNatural Gradient Boosting (NGBoost) 手法を提案する。
提案手法は頑健で, 広範囲なチューニングを伴わず, 推定対象分布に対してモジュール構造であり, 既存の手法と比較して競争力がある。
論文 参考訳（メタデータ） (2021-06-07T17:44:49Z) - Universal Off-Policy Evaluation [64.02853483874334]
ユニバーサルオフ政治推定器(UnO)への第一歩を踏み出す
我々は, 平均, 分散, 分位数/中間数, 分位数範囲, cvar, および累積分布全体の推定と同時結合に uno を用いる。
論文 参考訳（メタデータ） (2021-04-26T18:54:31Z) - Consistent Online Gaussian Process Regression Without the Sample
Complexity Bottleneck [14.309243378538012]
本稿では,現在の後方中心のHellingerメトリックに対して,エラー近傍を修正可能なオンライン圧縮方式を提案する。
一定の誤差半径の場合、POG は集団後部の近傍 (Theorem 1(ii)) に収束するが、特徴空間の計量エントロピーによって決定される有限メモリのオン・ウォーストに収束する。
論文 参考訳（メタデータ） (2020-04-23T11:52:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。