論文の概要: Sampling Theorems for Learning from Incomplete Measurements

• arxiv url: http://arxiv.org/abs/2201.12151v2
• Date: Mon, 31 Jan 2022 09:31:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-01 12:40:03.880995
• Title: Sampling Theorems for Learning from Incomplete Measurements
• Title（参考訳）: 不完全な測定から学ぶためのサンプリング定理
• Authors: Juli\'an Tachella, Dongdong Chen and Mike Davies
• Abstract要約: 多くの実世界の環境では、学習に問題を引き起こす可能性のある不完全な測定データのみが利用可能である。 各演算子が少なくとも$m>k+n/G$の測定値を取得すると、汎用的に教師なし学習が可能となる。 我々の結果は、低ランク行列回復からディープニューラルネットワークに至るまで、幅広い実用的なアルゴリズムに影響を及ぼす。
• 参考スコア（独自算出の注目度）: 11.54982866872911
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In many real-world settings, only incomplete measurement data are available which can pose a problem for learning. Unsupervised learning of the signal model using a fixed incomplete measurement process is impossible in general, as there is no information in the nullspace of the measurement operator. This limitation can be overcome by using measurements from multiple operators. While this idea has been successfully applied in various applications, a precise characterization of the conditions for learning is still lacking. In this paper, we fill this gap by presenting necessary and sufficient conditions for learning the signal model which indicate the interplay between the number of distinct measurement operators $G$, the number of measurements per operator $m$, the dimension of the model $k$ and the dimension of the signals $n$. In particular, we show that generically unsupervised learning is possible if each operator obtains at least $m>k+n/G$ measurements. Our results are agnostic of the learning algorithm and have implications in a wide range of practical algorithms, from low-rank matrix recovery to deep neural networks.
• Abstract（参考訳）: 多くの実世界の環境では、学習に問題を引き起こす可能性のある不完全な測定データのみが利用可能である。 固定不完全測定プロセスを用いた信号モデルの教師なし学習は一般に不可能であり、測定演算子のヌルスペースには情報がない。 この制限は、複数の演算子の測定によって克服できる。 このアイデアは様々な応用でうまく適用されているが、学習条件の正確なキャラクタリゼーションはまだ不足している。 本稿では,このギャップを埋めるために,個別計測演算子$g$,オペレータあたりの計測回数$m$,モデル$k$の次元,信号の次元$n$との相互作用を示す信号モデルを学ぶための必要十分条件を提示する。 特に,各演算子が少なくとも$m>k+n/G$の測定値を得た場合,一般教師なし学習が可能であることを示す。 結果は学習アルゴリズムに依存せず,低ランク行列回復からディープニューラルネットワークまで,多岐にわたる実用的なアルゴリズムに影響を与えている。

関連論文リスト

• MUSE: Machine Unlearning Six-Way Evaluation for Language Models [109.76505405962783]
  言語モデル(LM)は、プライベートおよび著作権のあるコンテンツを含む大量のテキストデータに基づいて訓練される。 総合的な機械学習評価ベンチマークであるMUSEを提案する。 人気のある8つのアンラーニングアルゴリズムがハリー・ポッターの本やニュース記事をいかに効果的に解き放つかをベンチマークする。
  論文  参考訳（メタデータ） (2024-07-08T23:47:29Z)
• Self-Supervised Scalable Deep Compressed Sensing [24.854496459622787]
  圧縮センシングはサンプリングコストを削減するための有望なツールである。 現在のディープニューラルネットワーク(NN)ベースのCS手法は、ラベル付き測定地上真実(GT)データ収集の課題に直面している。 本稿では,新しい$mathbfS$elf-supervised s$mathbfC$alable Deep CS法を提案する。
  論文  参考訳（メタデータ） (2023-08-26T06:03:06Z)
• Multi-Dimensional Ability Diagnosis for Machine Learning Algorithms [88.93372675846123]
  本稿では,機械学習アルゴリズム評価のためのタスク非依存評価フレームワークCamillaを提案する。 認識診断の仮定とニューラルネットワークを用いて、各サンプルのアルゴリズム、サンプル、スキル間の複雑な相互作用を学習する。 我々の実験では、カミラはメートル法信頼性、ランクの整合性、ランクの安定性で最先端のベースラインを上回ります。
  論文  参考訳（メタデータ） (2023-07-14T03:15:56Z)
• High-dimensional Measurement Error Models for Lipschitz Loss [2.6415509201394283]
  リプシッツ損失関数のクラスに対する高次元計測誤差モデルを開発する。 我々の推定器は、適切な実現可能な集合に属するすべての推定器の中で、$L_1$ノルムを最小化するように設計されている。 有限標本統計誤差境界と符号の整合性の観点から理論的な保証を導出する。
  論文  参考訳（メタデータ） (2022-10-26T20:06:05Z)
• Sampling Theorems for Unsupervised Learning in Linear Inverse Problems [11.54982866872911]
  本稿では,部分的測定から信号モデルを学ぶための必要十分かつ十分なサンプリング条件を提案する。 私たちの結果は学習アルゴリズムを知らないので、不完全なデータから学習する基本的な限界に光を当てています。
  論文  参考訳（メタデータ） (2022-03-23T16:17:22Z)
• Provable Lifelong Learning of Representations [21.440845049501778]
  そこで本研究では,内部特徴表現を保守・洗練する,証明可能な生涯学習アルゴリズムを提案する。 すべてのタスクにおける任意の所望の精度に対して、表現の次元は、基礎となる表現の次元に近いままであることを示す。
  論文  参考訳（メタデータ） (2021-10-27T00:41:23Z)
• Sample Efficient Linear Meta-Learning by Alternating Minimization [74.40553081646995]
  低次元部分空間と回帰器を交互に学習する簡易交互最小化法(MLLAM)について検討する。 定数部分空間次元に対して、MLLAMはタスクあたり$Omega(log d)$サンプルしか必要とせず、ほぼ最適推定誤差が得られることを示す。 MLLAMと同様の強力な統計的保証を保証する新しいタスクサブセット選択スキームを提案する。
  論文  参考訳（メタデータ） (2021-05-18T06:46:48Z)
• A Theoretical-Empirical Approach to Estimating Sample Complexity of DNNs [11.152761263415046]
  本稿では,深層ニューラルネットワーク(DNN)のトレーニングデータ量と一般化誤差のスケールについて考察する。 我々は、ディープネットワークに保持され、到達不能な容量尺度に依存しない一般化誤差の推定を導出する。
  論文  参考訳（メタデータ） (2021-05-05T05:14:08Z)
• Neural Complexity Measures [96.06344259626127]
  本稿では,一般化を予測するメタラーニングフレームワークであるNeural Complexity(NC)を提案する。 我々のモデルは、データ駆動方式で、多くの異種タスクとの相互作用を通じてスカラー複雑性尺度を学習する。
  論文  参考訳（メタデータ） (2020-08-07T02:12:10Z)
• The Generalized Lasso with Nonlinear Observations and Generative Priors [63.541900026673055]
  我々は、幅広い測定モデルで満たされるガウス下測度を仮定する。 この結果から, 局所埋込特性を仮定して, 均一回復保証まで拡張できることが示唆された。
  論文  参考訳（メタデータ） (2020-06-22T16:43:35Z)
• Breaking the Sample Size Barrier in Model-Based Reinforcement Learning with a Generative Model [50.38446482252857]
  本稿では、生成モデル(シミュレータ)へのアクセスを想定して、強化学習のサンプル効率について検討する。 最初に$gamma$-discounted infinite-horizon Markov decision process (MDPs) with state space $mathcalS$ and action space $mathcalA$を考える。 対象の精度を考慮すれば,モデルに基づく計画アルゴリズムが最小限のサンプルの複雑さを実現するのに十分であることを示す。
  論文  参考訳（メタデータ） (2020-05-26T17:53:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。