論文の概要: Evaluating Singular Value Thresholds for DNN Weight Matrices based on Random Matrix Theory

• arxiv url: http://arxiv.org/abs/2512.12911v1
• Date: Mon, 15 Dec 2025 01:49:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-16 17:54:56.49669
• Title: Evaluating Singular Value Thresholds for DNN Weight Matrices based on Random Matrix Theory
• Title（参考訳）: ランダム行列理論に基づくDNN重み行列の特異値閾値の評価
• Authors: Kohei Nishikawa, Koki Shimizu, Hashiguchi Hiroki,
• Abstract要約: ニューラルネットワーク重み行列の特異値分解に基づく低ランク近似から特異値を取り除く閾値を評価する。 提案手法は2つのしきい値推定法を比較するために数値実験で用いられる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This study evaluates thresholds for removing singular values from singular value decomposition-based low-rank approximations of deep neural network weight matrices. Each weight matrix is modeled as the sum of signal and noise matrices. The low-rank approximation is obtained by removing noise-related singular values using a threshold based on random matrix theory. To assess the adequacy of this threshold, we propose an evaluation metric based on the cosine similarity between the singular vectors of the signal and original weight matrices. The proposed metric is used in numerical experiments to compare two threshold estimation methods.
• Abstract（参考訳）: 本研究では,ニューラルネットワーク重み行列の特異値分解に基づく低ランク近似から特異値を取り除くしきい値を評価する。 各重み行列は信号行列と雑音行列の和としてモデル化される。 低ランク近似は、ランダム行列理論に基づく閾値を用いてノイズ関連特異値を削除することにより得られる。 この閾値の精度を評価するために,信号の特異ベクトルと元の重み行列とのコサイン類似性に基づく評価指標を提案する。 提案手法は2つのしきい値推定法を比較するために数値実験で用いられる。

関連論文リスト

• Near-optimal Rank Adaptive Inference of High Dimensional Matrices [46.66027208538566]
  線形測定から高次元行列を推定する問題に対処する。 本稿では,Last-Squares推定器と共通特異値しきい値のしきい値処理を併用したアルゴリズムを提案する。 この結果は, 特異値しきい値のしきい値に基づく行列分解手法の高度化に依拠している。
  論文  参考訳（メタデータ） (2025-10-09T12:01:46Z)
• Non-Asymptotic Analysis of Data Augmentation for Precision Matrix Estimation [12.919305286055616]
  本研究では,個人性行列に比例した線形縮退推定器と,データ拡張から導出される推定器の2つのクラスに着目した。 両クラスの推定器について、推定器を導出し、その二次誤差に対して濃度境界を与える。 技術的には、我々の分析はランダム行列理論の道具に依存している。
  論文  参考訳（メタデータ） (2025-10-02T15:28:14Z)
• Extreme value theory for singular subspace estimation in the matrix denoising model [0.4297070083645049]
  行列デノナイジングモデルにおける特異部分空間の細粒度推定について検討する。 我々は分布論を用いて、先頭特異ベクトルに符号化された低ランク信号構造の仮説を検証した。
  論文  参考訳（メタデータ） (2025-07-26T15:28:36Z)
• A simple estimator of the correlation kernel matrix of a determinantal point process [3.692410936160711]
  本稿では,決定点過程(DPP)の閉形式推定器を提案する。 我々は、推定器の一貫性と正規性、およびその大きな偏差特性を証明した。
  論文  参考訳（メタデータ） (2025-05-20T15:48:45Z)
• Entrywise error bounds for low-rank approximations of kernel matrices [55.524284152242096]
  切り抜き固有分解を用いて得られたカーネル行列の低ランク近似に対するエントリーワイド誤差境界を導出する。 重要な技術的革新は、小さな固有値に対応するカーネル行列の固有ベクトルの非局在化結果である。 我々は、合成および実世界のデータセットの集合に関する実証的研究により、我々の理論を検証した。
  論文  参考訳（メタデータ） (2024-05-23T12:26:25Z)
• Spectral Entry-wise Matrix Estimation for Low-Rank Reinforcement Learning [53.445068584013896]
  低ランク構造を持つ強化学習(RL)における行列推定問題について検討した。 低ランク帯では、回収される行列は期待される腕の報酬を指定し、低ランクマルコフ決定プロセス(MDP)では、例えばMDPの遷移カーネルを特徴付ける。 簡単なスペクトルベースの行列推定手法は,行列の特異部分空間を効率よく復元し,ほぼ最小の入力誤差を示すことを示す。
  論文  参考訳（メタデータ） (2023-10-10T17:06:41Z)
• Kernel Density Estimation by Stagewise Algorithm with a Simple Dictionary [0.0]
  本稿では,U-divergenceの簡単な辞書を用いて,ステージワイズアルゴリズムによるカーネル密度推定について検討する。 i.d.サンプルをランダムに2つの非結合集合に分割し,その1つは辞書内のカーネルを構築するためのもので,もう1つは推定器を評価するためのものである。
  論文  参考訳（メタデータ） (2021-07-27T17:05:06Z)
• Adversarially-Trained Nonnegative Matrix Factorization [77.34726150561087]
  非負行列ファクタリゼーションの逆学習版を検討する。 我々の定式化では、攻撃者は与えられたデータ行列に有界ノルムの任意の行列を追加する。 辞書と係数行列を最適化するために, 逆学習に触発された効率的なアルゴリズムを設計する。
  論文  参考訳（メタデータ） (2021-04-10T13:13:17Z)
• Learning Noise Transition Matrix from Only Noisy Labels via Total Variation Regularization [88.91872713134342]
  本稿では,雑音遷移行列を推定し,同時に分類器を学習する理論的基礎付け手法を提案する。 提案手法の有効性を,ベンチマークおよび実世界のデータセットを用いた実験により示す。
  論文  参考訳（メタデータ） (2021-02-04T05:09:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。