論文の概要: Johnson-Lindenstrauss embeddings for noisy vectors -- taking advantage of the noise

• arxiv url: http://arxiv.org/abs/2209.01006v1
• Date: Thu, 1 Sep 2022 16:41:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-05 13:05:34.306657
• Title: Johnson-Lindenstrauss embeddings for noisy vectors -- taking advantage of the noise
• Title（参考訳）: johnson-lindenstraussによるノイズベクトルへの埋め込み -- 雑音を利用した
• Authors: Zhen Shao
• Abstract要約: 本稿では, ユークリッド標準保存埋め込みの近似ツールとして, サブサンプリングとハッシュの理論的性質について検討する。 鍵となるのは、ノイズは単に取り除くのではなく、悪用すべき情報として扱うべきだということです。 数値図は、ノイズの存在下で、より良いパフォーマンスが達成されていることを示します。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper investigates theoretical properties of subsampling and hashing as tools for approximate Euclidean norm-preserving embeddings for vectors with (unknown) additive Gaussian noises. Such embeddings are sometimes called Johnson-lindenstrauss embeddings due to their celebrated lemma. Previous work shows that as sparse embeddings, the success of subsampling and hashing closely depends on the $l_\infty$ to $l_2$ ratios of the vector to be mapped. This paper shows that the presence of noise removes such constrain in high-dimensions, in other words, sparse embeddings such as subsampling and hashing with comparable embedding dimensions to dense embeddings have similar approximate norm-preserving dimensionality-reduction properties. The key is that the noise should be treated as an information to be exploited, not simply something to be removed. Theoretical bounds for subsampling and hashing to recover the approximate norm of a high dimension vector in the presence of noise are derived, with numerical illustrations showing better performances are achieved in the presence of noise.
• Abstract（参考訳）: 本稿では,(未知)付加ガウス雑音を持つベクトルに対するユークリッドノルム保存埋め込みを近似するためのツールとして,サブサンプリングとハッシュの理論的性質について検討する。 このような埋め込みは、しばしばジョンソン・リンデンシュトラウス(Johnson-lindenstrauss)と呼ばれる。 以前の研究は、スパース埋め込みと同様に、サブサンプリングとハッシュの成功は、写像されるベクトルの$l_\infty$と$l_2$の比に依存することを示している。 本稿では,ノイズの存在が高次元化においてそのような制約を取り除き,言い換えれば,高次元化と同等の埋め込み次元を持つ部分サンプリングやハッシュ化といったスパース埋め込みは,同様の近似ノルム保存次元還元特性を持つことを示す。 鍵となるのは、ノイズは単に取り除くのではなく、悪用すべき情報として扱うべきだということです。 ノイズの存在下での高次元ベクトルの近似ノルムを回復するためのサブサンプリングとハッシュの理論的境界が導出され、ノイズの存在下でのより良い性能を示す数値図示が達成される。

関連論文リスト

• Quantization of Large Language Models with an Overdetermined Basis [73.79368761182998]
  本稿では,嘉心表現の原理に基づくデータ量子化アルゴリズムを提案する。 以上の結果から, カシ量子化はモデル性能の競争力や優れた品質を達成できることが示唆された。
  論文  参考訳（メタデータ） (2024-04-15T12:38:46Z)
• Hotelling Deflation on Large Symmetric Spiked Tensors [10.706763980556445]
  逐次ランク1近似により得られるベクトルのアライメントの観点から,デフレの大きな次元的性能を正確に評価する。 本分析により,雑音の存在下でのデフレ機構の理解が可能となり,より効率的な信号推定法の設計に利用することができる。
  論文  参考訳（メタデータ） (2023-04-20T12:16:05Z)
• Sparse Nonnegative Tucker Decomposition and Completion under Noisy Observations [22.928734507082574]
  本研究では, 雑音下での非負データ回復のための, スパース非負のタッカー分解と補修法を提案する。 我々の理論結果は既存のテンソル法や行列法よりも優れている。
  論文  参考訳（メタデータ） (2022-08-17T13:29:14Z)
• Boundary between noise and information applied to filtering neural network weight matrices [0.0]
  本稿では,小さな特異値を取り除き,大きな特異値の大きさを小さくするノイズフィルタリングアルゴリズムを提案する。 ラベルノイズの存在下で訓練されたネットワークでは,ノイズフィルタリングにより一般化性能が著しく向上することがわかった。
  論文  参考訳（メタデータ） (2022-06-08T14:42:36Z)
• The Optimal Noise in Noise-Contrastive Learning Is Not What You Think [80.07065346699005]
  この仮定から逸脱すると、実際により良い統計的推定結果が得られることが示される。 特に、最適な雑音分布は、データと異なり、また、別の家族からさえも異なる。
  論文  参考訳（メタデータ） (2022-03-02T13:59:20Z)
• Benign Overfitting in Adversarially Robust Linear Classification [91.42259226639837]
  分類器がノイズの多いトレーニングデータを記憶しながらも、優れた一般化性能を達成している「双曲オーバーフィッティング」は、機械学習コミュニティにおいて大きな注目を集めている。 本研究は, 対人訓練において, 対人訓練において, 良心過剰が実際に発生することを示し, 対人訓練に対する防御の原則的アプローチを示す。
  論文  参考訳（メタデータ） (2021-12-31T00:27:31Z)
• Heavy-tailed denoising score matching [5.371337604556311]
  ランゲヴィン力学における複数のノイズレベルを連続的に初期化する反復的雑音スケーリングアルゴリズムを開発した。 実用面では、重み付きDSMを用いることで、スコア推定、制御可能なサンプリング収束、不均衡データセットに対するよりバランスのない非条件生成性能が改善される。
  論文  参考訳（メタデータ） (2021-12-17T22:04:55Z)
• Learning Noise-Aware Encoder-Decoder from Noisy Labels by Alternating Back-Propagation for Saliency Detection [54.98042023365694]
  本稿では,ノイズを考慮したエンコーダ・デコーダ・フレームワークを提案する。 提案モデルはニューラルネットワークによってパラメータ化された2つのサブモデルから構成される。
  論文  参考訳（メタデータ） (2020-07-23T18:47:36Z)
• Shape Matters: Understanding the Implicit Bias of the Noise Covariance [76.54300276636982]
  勾配降下のノイズはパラメータ化モデルに対するトレーニングにおいて重要な暗黙の正則化効果をもたらす。 ミニバッチやラベルの摂動によって引き起こされるパラメータ依存ノイズはガウスノイズよりもはるかに効果的であることを示す。 分析の結果,パラメータ依存ノイズは局所最小値に偏りを生じさせるが,球状ガウス雑音は生じないことがわかった。
  論文  参考訳（メタデータ） (2020-06-15T18:31:02Z)
• Consistency Regularization for Certified Robustness of Smoothed Classifiers [89.72878906950208]
  最近のランダムな平滑化技術は、最悪の$ell$-robustnessを平均ケースのロバストネスに変換することができることを示している。 その結果,スムーズな分類器の精度と信頼性の高いロバスト性とのトレードオフは,ノイズに対する予測一貫性の規則化によって大きく制御できることが判明した。
  論文  参考訳（メタデータ） (2020-06-07T06:57:43Z)
• Provable Noisy Sparse Subspace Clustering using Greedy Neighbor Selection: A Coherence-Based Perspective [18.888312436971187]
  我々は,MP/OMPを用いた適切な隣接同定を保証するためのコヒーレンスに基づく十分な条件を導出する。 驚くべき発見は、基底の真理部分空間が互いによく分離され、ノイズがそれほど大きくない場合、MPベースの繰り返しはアルゴリズムの複雑さが小さくなり、残余の摂動が小さくなることである。
  論文  参考訳（メタデータ） (2020-02-02T14:28:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。