Fugu-MT 論文翻訳(概要): Uniform Sampling from High-dimensional Spectral Norm Balls

論文の概要: Uniform Sampling from High-dimensional Spectral Norm Balls

arxiv url: http://arxiv.org/abs/2606.24134v1
Date: Tue, 23 Jun 2026 04:34:13 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-24 22:16:48.764381
Title: Uniform Sampling from High-dimensional Spectral Norm Balls
Title（参考訳）: 高次元分光ノームボールからの均一サンプリング
Authors: Michael R. Metel,
Abstract要約: サンプル行列の特異値は、行列次元が増加するにつれてほぼ確実に1に収束することが証明されている。この結果から, 大規模化に適用可能な簡易サンプリング法の理論的正当性が得られる。
参考スコア（独自算出の注目度）: 3.655021726150368
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Motivated by an application in machine learning optimization, this paper focuses on the challenges of sampling a matrix uniformly from the unit spectral norm ball. It is proven that all singular values of sampled matrices converge to 1 almost surely as the matrix dimensions increase. This result provides the theoretical justification for a proposed simple sampling method applicable for large dimension sizes matching matrices found in modern large language models. Experimental results demonstrate both the convergence of the singular values, as well as the exact and proposed approximate sampling methods.
Abstract（参考訳）: 本稿では,機械学習最適化の応用により,単位スペクトル標準球から一様に行列をサンプリングする際の課題に焦点をあてる。サンプル行列の特異値は、行列次元が増加するにつれてほぼ確実に1に収束することが証明されている。この結果は,現代の大言語モデルで見られる行列に適合する大次元サイズに適用可能な簡易サンプリング法の理論的正当性を提供する。実験により, 特異値の収束と, 正確な近似サンプリング法と提案した近似サンプリング法の両方が示された。

関連論文リスト

Optimal Estimation in Orthogonally Invariant Generalized Linear Models: Spectral Initialization and Approximate Message Passing [36.35215381372567]
本稿では、最適スペクトル推定器と近似メッセージパッシング(AMP)アルゴリズムを提案する。本稿では,スペクトル反復最適化のパラダイムに基づいて,最適スペクトル推定器と近似メッセージパッシング(AMP)アルゴリズムを提案する。
論文参考訳（メタデータ） (2026-02-09T22:08:09Z)
WUSH: Near-Optimal Adaptive Transforms for LLM Quantization [52.77441224845925]
低ビット幅への量子化は、大きな言語モデルをデプロイするための標準的なアプローチである。いくつかの極端な重みと活性化は、ダイナミックレンジを拡張し、量子化器の有効分解能を減少させる。結合重みアクティベーション量子化のための閉形式最適線形ブロックワイズ変換を初めて導出する。
論文参考訳（メタデータ） (2025-11-30T16:17:34Z)
Low-rank Bayesian matrix completion via geodesic Hamiltonian Monte Carlo on Stiefel manifolds [0.18416014644193066]
低ランクベイズ行列の効率的な計算を可能にするための新しいサンプリングベース手法を提案する。提案手法は, 標準ギブスサンプリング器で発生するサンプリング困難を, 行列完備化に使用される一般的な2つの行列因子化のために解決することを示す。数値的な例は、より優れた混合と定常分布への高速収束を含む優れたサンプリング性能を示す。
論文参考訳（メタデータ） (2024-10-27T03:12:53Z)
Spectral Estimators for Structured Generalized Linear Models via Approximate Message Passing [28.91482208876914]
本研究では,高次元一般化線形モデルにおけるパラメータ推定の問題について考察する。広く使われているにもかかわらず、厳密なパフォーマンス特性とデータ前処理の原則が、構造化されていない設計でのみ利用可能である。
論文参考訳（メタデータ） (2023-08-28T11:49:23Z)
Generalizing and Improving Jacobian and Hessian Regularization [1.926971915834451]
対象行列をゼロから効率的な行列ベクトル積を持つ任意の行列に拡張することで、これまでの取り組みを一般化する。提案されたパラダイムは、正方形ヤコビ行列とヘッセン行列に対称性や対角性を強制する新しい正規化項を構築することを可能にする。本稿では、Laczosに基づくスペクトルノルム最小化を導入し、この問題に対処する。
論文参考訳（メタデータ） (2022-12-01T07:01:59Z)
Quantitative deterministic equivalent of sample covariance matrices with a general dependence structure [0.0]
我々は、次元とスペクトルパラメータの両方を含む量的境界を証明し、特に実正の半直線に近づくことを可能にする。応用として、これらの一般モデルの経験スペクトル分布のコルモゴロフ距離の収束の新しい境界を得る。
論文参考訳（メタデータ） (2022-11-23T15:50:31Z)
Test Set Sizing Via Random Matrix Theory [91.3755431537592]
本稿ではランダム行列理論の手法を用いて、単純な線形回帰に対して理想的なトレーニング-テストデータ分割を求める。それは「理想」を整合性計量を満たすものとして定義し、すなわち経験的モデル誤差は実際の測定ノイズである。本論文は,任意のモデルのトレーニングとテストサイズを,真に最適な方法で解決した最初の論文である。
論文参考訳（メタデータ） (2021-12-11T13:18:33Z)
Adversarially-Trained Nonnegative Matrix Factorization [77.34726150561087]
非負行列ファクタリゼーションの逆学習版を検討する。我々の定式化では、攻撃者は与えられたデータ行列に有界ノルムの任意の行列を追加する。辞書と係数行列を最適化するために, 逆学習に触発された効率的なアルゴリズムを設計する。
論文参考訳（メタデータ） (2021-04-10T13:13:17Z)
Entropy Minimizing Matrix Factorization [102.26446204624885]
NMF(Nonnegative Matrix Factorization)は、広く使用されているデータ分析技術であり、多くの実際のタスクで印象的な結果をもたらしました。本研究では,上述の問題に対処するために,EMMF (Entropy Minimizing Matrix Factorization framework) を開発した。通常、外れ値が通常のサンプルよりもはるかに小さいことを考えると、行列分解のために新しいエントロピー損失関数が確立される。
論文参考訳（メタデータ） (2021-03-24T21:08:43Z)
Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。暗黙正則化現象の理論的保証を提供する。
論文参考訳（メタデータ） (2020-07-16T13:27:47Z)
Optimal Iterative Sketching with the Subsampled Randomized Hadamard Transform [64.90148466525754]
最小二乗問題に対する反復スケッチの性能について検討する。本研究では、Haar行列とランダム化されたHadamard行列の収束速度が同一であることを示し、ランダムなプロジェクションを経時的に改善することを示した。これらの手法は、ランダム化次元還元を用いた他のアルゴリズムにも適用することができる。
論文参考訳（メタデータ） (2020-02-03T16:17:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。