論文の概要: Matrix-Free Two-to-Infinity and One-to-Two Norms Estimation
- arxiv url: http://arxiv.org/abs/2508.04444v1
- Date: Wed, 06 Aug 2025 13:37:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-07 20:09:22.738107
- Title: Matrix-Free Two-to-Infinity and One-to-Two Norms Estimation
- Title(参考訳): 行列自由2-infinityと1-2ノルム推定
- Authors: Askar Tsyganov, Evgeny Frolov, Sergey Samsonov, Maxim Rakhuba,
- Abstract要約: 本研究では,行列自由条件下での2-infinityと1-to-twoノルムを推定するための新しいランダム化アルゴリズムを提案する。
提案手法は,Hutchinsonの対角線推定器とHutch++バージョンの適切な修正に基づいている。
- 参考スコア(独自算出の注目度): 3.148633400386997
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we propose new randomized algorithms for estimating the two-to-infinity and one-to-two norms in a matrix-free setting, using only matrix-vector multiplications. Our methods are based on appropriate modifications of Hutchinson's diagonal estimator and its Hutch++ version. We provide oracle complexity bounds for both modifications. We further illustrate the practical utility of our algorithms for Jacobian-based regularization in deep neural network training on image classification tasks. We also demonstrate that our methodology can be applied to mitigate the effect of adversarial attacks in the domain of recommender systems.
- Abstract(参考訳): 本稿では,行列-ベクトル乗算のみを用いて,行列自由条件下での2-infinityと1-to-twoノルムを推定するための新しいランダム化アルゴリズムを提案する。
提案手法は,Hutchinsonの対角線推定器とHutch++バージョンの適切な修正に基づいている。
両方の修正のためにオラクルの複雑さ境界を提供します。
さらに、画像分類タスクにおけるディープニューラルネットワークトレーニングにおけるヤコビアンベース正規化のためのアルゴリズムの実用性について述べる。
また,提案手法は,レコメンダシステムの領域における敵攻撃の効果を緩和するためにも有効であることを示す。
関連論文リスト
- Generalizing and Improving Jacobian and Hessian Regularization [1.926971915834451]
対象行列をゼロから効率的な行列ベクトル積を持つ任意の行列に拡張することで、これまでの取り組みを一般化する。
提案されたパラダイムは、正方形ヤコビ行列とヘッセン行列に対称性や対角性を強制する新しい正規化項を構築することを可能にする。
本稿では、Laczosに基づくスペクトルノルム最小化を導入し、この問題に対処する。
論文 参考訳(メタデータ) (2022-12-01T07:01:59Z) - Semi-Supervised Subspace Clustering via Tensor Low-Rank Representation [64.49871502193477]
本稿では,初期監視情報を同時に拡張し,識別親和性行列を構築することのできる,新しい半教師付きサブスペースクラスタリング手法を提案する。
6つの一般的なベンチマークデータセットの総合的な実験結果から,本手法が最先端手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2022-05-21T01:47:17Z) - Matrix Reordering for Noisy Disordered Matrices: Optimality and
Computationally Efficient Algorithms [9.245687221460654]
単細胞生物学とメダゲノミクスの応用により,ノイズモノトンToeplitz行列モデルに基づく行列化の問題を考察した。
我々は、決定理論の枠組みでこの問題の基本的な統計的限界を確立し、制約付き最小二乗率を示す。
そこで本研究では,性能向上を保証した新しい時間適応ソートアルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-01-17T14:53:52Z) - Coordinate descent on the orthogonal group for recurrent neural network
training [9.886326127330337]
提案アルゴリズムは, 繰り返し行列の2つの列を回転させ, 与えられた行列による乗算として効率的に実装できる演算であることを示す。
提案アルゴリズムの有効性を示すために, ベンチマーク繰り返しニューラルネットワークトレーニング問題の実験を行った。
論文 参考訳(メタデータ) (2021-07-30T19:27:11Z) - Adversarially-Trained Nonnegative Matrix Factorization [77.34726150561087]
非負行列ファクタリゼーションの逆学習版を検討する。
我々の定式化では、攻撃者は与えられたデータ行列に有界ノルムの任意の行列を追加する。
辞書と係数行列を最適化するために, 逆学習に触発された効率的なアルゴリズムを設計する。
論文 参考訳(メタデータ) (2021-04-10T13:13:17Z) - A Scalable, Adaptive and Sound Nonconvex Regularizer for Low-rank Matrix
Completion [60.52730146391456]
そこで我々は,適応的かつ音質の高い"核フロベニウスノルム"と呼ばれる新しい非スケーラブルな低ランク正規化器を提案する。
特異値の計算をバイパスし、アルゴリズムによる高速な最適化を可能にする。
既存の行列学習手法では最速でありながら、最先端の回復性能が得られる。
論文 参考訳(メタデータ) (2020-08-14T18:47:58Z) - Effective Dimension Adaptive Sketching Methods for Faster Regularized
Least-Squares Optimization [56.05635751529922]
スケッチに基づくL2正規化最小二乗問題の解法を提案する。
我々は、最も人気のあるランダム埋め込みの2つ、すなわちガウス埋め込みとサブサンプリングランダム化アダマール変換(SRHT)を考える。
論文 参考訳(メタデータ) (2020-06-10T15:00:09Z) - Controllable Orthogonalization in Training DNNs [96.1365404059924]
直交性はディープニューラルネットワーク(DNN)のトレーニングに広く用いられている。
本稿では,ニュートン反復(ONI)を用いた計算効率が高く,数値的に安定な直交化法を提案する。
本稿では,画像分類ネットワークの性能向上のために,最適化の利点と表現能力の低下との間に最適なトレードオフを与えるために,直交性を効果的に制御する手法を提案する。
また、ONIは、スペクトル正規化と同様に、ネットワークのリプシッツ連続性を維持することにより、GAN(Generative Adversarial Network)のトレーニングを安定化させることを示した。
論文 参考訳(メタデータ) (2020-04-02T10:14:27Z) - The Hessian Estimation Evolution Strategy [3.756550107432323]
我々はヘッセン推定進化戦略と呼ばれる新しいブラックボックス最適化アルゴリズムを提案する。
アルゴリズムは、目的関数の曲率を直接推定することにより、サンプリング分布の共分散行列を更新する。
論文 参考訳(メタデータ) (2020-03-30T08:01:16Z) - Optimal Iterative Sketching with the Subsampled Randomized Hadamard
Transform [64.90148466525754]
最小二乗問題に対する反復スケッチの性能について検討する。
本研究では、Haar行列とランダム化されたHadamard行列の収束速度が同一であることを示し、ランダムなプロジェクションを経時的に改善することを示した。
これらの手法は、ランダム化次元還元を用いた他のアルゴリズムにも適用することができる。
論文 参考訳(メタデータ) (2020-02-03T16:17:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。