論文の概要: The Geometry of Anisotropic Dilation for Optimal Regularization
- arxiv url: http://arxiv.org/abs/2610.09310v1
- Date: Wed, 07 Oct 2026 02:08:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 21:58:22.6796
- Title: The Geometry of Anisotropic Dilation for Optimal Regularization
- Title(参考訳): 最適正則化のための異方性拡張の幾何学
- Abstract要約: データ駆動逆問題における中心的な問題は、データ分布の幾何学に適応する正規化器を構築する方法である。
我々は、ユークリッド線に沿った各点を球面上の正のプロファイルで再スケールする方向保存写像である異方性拡張を導入する。
我々は,基本正規化器と異方性プロファイルをパラメータ化してサンプルから共同で学習し,変分逆問題に対するデータ適応正規化器を生成する。
- 参考スコア(独自算出の注目度): 4.681760167323748
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A central question in data-driven inverse problems is how to construct a regularizer that adapts to the geometry of the data distribution. Recent work in optimal regularization shows that, within a broad Gibbs class, the regularizer best matched to a distribution $P$ is determined by a single, direction-dependent radial summary statistic $ρ_P$. This suggests a way to control regularizer geometry by transforming the data. In particular, which transformations act on $ρ_P$ in a simple, explicit way? Can they improve the optimization properties of the resulting variational problems or adapt a fixed base regularizer to data? To address these questions, we introduce anisotropic dilation, a direction-preserving map that rescales each point along its Euclidean ray by a positive profile on the sphere. Despite its simplicity, this family acts transitively on the space of radial summary statistics: any target regularizer in the Gibbs class can be reached from any source distribution by a single explicit profile. We characterize the resulting orbit structure on distributions, derive in closed form the profile that optimally adapts a fixed base regularizer to the data, and show that its improvement over isotropic rescaling is governed by a Jensen gap that is provably positive for several natural families. We also establish finite-sample generalization bounds for jointly learning the base regularizer and anisotropic profile, with explicit rates when the logarithm of the profile is parameterized by linear feature models or sparse ReLU networks. Building on this theory, we parameterize the base regularizer and anisotropic profile and learn them jointly from samples, yielding a data-adaptive regularizer for variational inverse problems. Experiments on a controlled two-dimensional family and MNIST denoising show that learning the profile further improves performance.
- Abstract(参考訳): データ駆動逆問題における中心的な問題は、データ分布の幾何学に適応する正規化器を構築する方法である。
最適正則化における最近の研究は、広義のギブズ類において、正規化器が分布$P$に最もよく一致するのは、1つの方向依存ラジアル要約統計学$ρ_P$によって決定されることを示している。
これは、データを変換することで正規化器の幾何学を制御する方法を示している。
特に、単純で明示的な方法で$ρ_P$に作用する変換は?
彼らは結果の変動問題の最適化特性を改善したり、固定ベース正規化器をデータに適用できるだろうか?
これらの問題に対処するために、ユークリッド線に沿った各点を球面上の正のプロファイルで再スケールする方向保存写像である異方性拡張を導入する。
単純さにもかかわらず、この族はラジアルサマリー統計の空間に推移的に作用し、ギブス級の任意の対象正則化子は、単一の明示的なプロファイルで任意のソース分布から到達することができる。
分布上の軌道構造を特徴付け、固定基底正則化器を最適にデータに適応するプロファイルをクローズドに導出し、等方的再スケーリングによる改善がいくつかの自然ファミリーに対して証明可能な正のジェンセンギャップによって制御されていることを示す。
また,線形特徴モデルやスパースReLUネットワークによってプロファイルの対数がパラメータ化される場合,基本正規化器と異方性プロファイルを併用して学習するための有限サンプル一般化境界を確立する。
この理論に基づいて、基底正規化器と異方性プロファイルをパラメータ化し、サンプルから共同で学習し、変分逆問題に対するデータ適応正規化器を生成する。
制御された2次元ファミリとMNIST復調実験により,プロファイルの学習により性能が向上することが示された。
関連論文リスト
- CuBAS: Information Geometric Curvature-Based Adaptive Sampling for Supervised Classification [52.452902154360565]
CuBASは、教師付き分類における適応データ選択のための情報幾何学的フレームワークである。
ラベル付きデータセットは統計多様体と見なすことができ、局所曲率は2階と1階の観測されたフィッシャー情報の比率で推定され、データの分布の幾何学的複雑さを忠実にエンコードする。
論文 参考訳(メタデータ) (2026-07-03T09:36:02Z) - SEED: Targeted Data Selection by Weighted Independent Set [76.68391670109433]
我々はSEEDと呼ばれる堅牢でスケーラブルなデータ選択パイプラインを開発した。
SEEDは、命令チューニング、視覚的命令チューニング、セマンティックセグメンテーションにおける最先端の手法を一貫して上回っている。
論文 参考訳(メタデータ) (2026-05-15T07:26:54Z) - Aligning Network Equivariance with Data Symmetry: A Theoretical Framework and Adaptive Approach for Image Restoration [71.51826063983434]
画像復元は本質的に逆問題である。
非厳密対称性を制約として、復元逆問題を定式化する。
最適復元演算子の等値誤差はデータ対称性誤差と離散化メッシュサイズによって厳密に制限されていることを示す。
論文 参考訳(メタデータ) (2026-05-13T16:22:19Z) - On Higher-Order Geometric Refinements of Classical Covariance Asymptotics: An Approach via Intrinsic and Extrinsic Information Geometry [0.0]
混合、曲線指数族、潜在変数モデル、多様体-ルートパラメータ空間を含む曲線モデルでは、有限サンプルの振る舞いは予測から体系的に逸脱することができる。
我々は、正規パラメトリック族をフィッシャー制約ラオ計量の((,g))として見ることにより、座標不変な曲率対応の洗練を開発する。
本稿では,学習速度と後進平均二乗誤差における実対数正準しきい値の役割,および正規理論を特殊ケースとして回復する解空間上の曲率に基づく共分散展開について述べる。
論文 参考訳(メタデータ) (2026-04-14T13:40:13Z) - A Random Matrix Theory Perspective on the Consistency of Diffusion Models [31.63433424187031]
データセットの異なるサブセットでトレーニングされた拡散モデルは、しばしば同じノイズシードを与えられたときに、著しく類似した出力を生成する。
我々は,学習したデノイザとサンプリングマップの期待値と分散値の有限形状を定量化するランダム行列理論(RMT)フレームワークを開発した。
我々は,UNet および DiT アーキテクチャの非記憶系における予測を検証した。
論文 参考訳(メタデータ) (2026-02-02T23:30:28Z) - RLE: A Unified Perspective of Data Augmentation for Cross-Spectral Re-identification [59.5042031913258]
非線型モダリティの相違は主に、異なる材料の表面に作用する様々な線形変換に由来する。
本稿では,MRLE(Modrate Random Linear Enhancement)とRRLE(Radical Random Linear Enhancement)を含むRLE(Random Linear Enhancement)戦略を提案する。
実験結果は、RLEの優位性と有効性を示すだけでなく、クロススペクトル再同定のための汎用データ拡張としての可能性も確認した。
論文 参考訳(メタデータ) (2024-11-02T12:13:37Z) - Gradient-Based Feature Learning under Structured Data [57.76552698981579]
異方性設定では、一般的に使用される球面勾配力学は真の方向を回復できないことがある。
バッチ正規化を連想させる適切な重み正規化は、この問題を軽減することができることを示す。
特に、スパイクモデルの下では、勾配に基づくトレーニングのサンプルの複雑さは情報指数とは独立にできる。
論文 参考訳(メタデータ) (2023-09-07T16:55:50Z) - Optimal Regularization for a Data Source [8.38093977965175]
解の量を促進する正則化器でデータの忠実性を強制する基準を強化するのが一般的である。
本稿では,凸正則化のパワーと限界の体系的理解を求める。
論文 参考訳(メタデータ) (2022-12-27T20:11:59Z) - Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
帰納バイアスは 経験的に過剰フィットを防げる中心的存在です
この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。
我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
論文 参考訳(メタデータ) (2021-03-23T17:15:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。