論文の概要: A model is worth tens of thousands of examples

• arxiv url: http://arxiv.org/abs/2303.10608v1
• Date: Sun, 19 Mar 2023 09:08:00 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-21 18:12:10.489340
• Title: A model is worth tens of thousands of examples
• Title（参考訳）: モデルは数万の例に値します
• Authors: Thomas Dag\`es, Laurent D. Cohen, Alfred M. Bruckstein
• Abstract要約: ニューラルネットワークが、可能であれば、従来のモデルベース手法と同等か、あるいは上回るのに必要なデータ量について検討する。 ネットワークがゼロからトレーニングされているか、あるいはトランスファーラーニングやファインタニングによってトレーニングされているかに関わらず、従来の手法と比較して、ネットワークには数万の例が必要であることが分かりました。
• 参考スコア（独自算出の注目度）: 6.919510568978142
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Traditional signal processing methods relying on mathematical data generation models have been cast aside in favour of deep neural networks, which require vast amounts of data. Since the theoretical sample complexity is nearly impossible to evaluate, these amounts of examples are usually estimated with crude rules of thumb. However, these rules only suggest when the networks should work, but do not relate to the traditional methods. In particular, an interesting question is: how much data is required for neural networks to be on par or outperform, if possible, the traditional model-based methods? In this work, we empirically investigate this question in two simple examples, where the data is generated according to precisely defined mathematical models, and where well-understood optimal or state-of-the-art mathematical data-agnostic solutions are known. A first problem is deconvolving one-dimensional Gaussian signals and a second one is estimating a circle's radius and location in random grayscale images of disks. By training various networks, either naive custom designed or well-established ones, with various amounts of training data, we find that networks require tens of thousands of examples in comparison to the traditional methods, whether the networks are trained from scratch or even with transfer-learning or finetuning.
• Abstract（参考訳）: 数学的データ生成モデルに依存する従来の信号処理手法は、大量のデータを必要とするディープニューラルネットワークに取って代わられた。 理論的なサンプル複雑性は評価がほとんど不可能であるため、これらの量のサンプルは通常、親指の粗い規則で推定される。 しかし、これらのルールはネットワークが動作すべき時のみ示唆するが、従来の方法とは関係がない。 特に興味深い疑問は、ニューラルネットワークが従来型のモデルベースメソッドと同等かそれ以上になるために、どれだけのデータが必要か、という点だ。 本研究では, この問題を, 正確に定義された数学的モデルに基づいて生成し, 最適解や最先端の数学的解が知られている2つの簡単な例で実証的に検討する。 第1の問題は1次元ガウス信号のデコンボリューションであり、第2の問題はディスクのランダムグレースケール画像における円半径と位置の推定である。 各種ネットワークを訓練することにより,ネットワークがゼロからトレーニングされるか,あるいは移動学習やファインタニングによってトレーニングされるか,といった従来の手法と比較して,ネットワークには数万の例が必要であることが判明した。

関連論文リスト

• Residual Random Neural Networks [0.0]
  ランダムな重みを持つ単層フィードフォワードニューラルネットワークは、ニューラルネットワークの文献の中で繰り返されるモチーフである。 隠れたニューロンの数がデータサンプルの次元と等しくない場合でも,優れた分類結果が得られることを示す。
  論文  参考訳（メタデータ） (2024-10-25T22:00:11Z)
• Scalable Bayesian Inference in the Era of Deep Learning: From Gaussian Processes to Deep Neural Networks [0.5827521884806072]
  大規模なデータセットでトレーニングされた大規模なニューラルネットワークは、マシンラーニングの主要なパラダイムになっています。 この論文は、モデル不確実性を持つニューラルネットワークを装備するためのスケーラブルな手法を開発する。
  論文  参考訳（メタデータ） (2024-04-29T23:38:58Z)
• An unfolding method based on conditional Invertible Neural Networks (cINN) using iterative training [0.0]
  非可逆ニューラルネットワーク(INN)のような生成ネットワークは確率的展開を可能にする。 模擬トレーニングサンプルとデータ間のずれを調整した展開のための反復条件INN(IcINN)を導入する。
  論文  参考訳（メタデータ） (2022-12-16T19:00:05Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• SignalNet: A Low Resolution Sinusoid Decomposition and Estimation Network [79.04274563889548]
  本稿では,正弦波数を検出するニューラルネットワークアーキテクチャであるSignalNetを提案する。 基礎となるデータ分布と比較して,ネットワークの結果を比較するための最悪の学習しきい値を導入する。 シミュレーションでは、我々のアルゴリズムは常に3ビットデータのしきい値を超えることができるが、しばしば1ビットデータのしきい値を超えることはできない。
  論文  参考訳（メタデータ） (2021-06-10T04:21:20Z)
• Tensor-Train Networks for Learning Predictive Modeling of Multidimensional Data [0.0]
  有望な戦略は、物理的および化学的用途で非常に成功したテンソルネットワークに基づいています。 本研究では, 多次元回帰モデルの重みをテンソルネットワークを用いて学習し, 強力なコンパクト表現を実現することを示した。 TT形式の重みを計算力の低減で近似するための最小二乗を交互に行うアルゴリズムが提案されている。
  論文  参考訳（メタデータ） (2021-01-22T16:14:38Z)
• Estimating informativeness of samples with Smooth Unique Information [108.25192785062367]
  サンプルが最終的な重みを知らせる量と、重みによって計算される関数を知らせる量を測定します。 線形化ネットワークを用いてこれらの量の効率的な近似を行う。 本稿では,データセットの要約など,いくつかの問題に適用する。
  論文  参考訳（メタデータ） (2021-01-17T10:29:29Z)
• Model-Based Deep Learning [155.063817656602]
  信号処理、通信、制御は伝統的に古典的な統計モデリング技術に依存している。 ディープニューラルネットワーク(DNN)は、データから操作を学ぶ汎用アーキテクチャを使用し、優れたパフォーマンスを示す。 私たちは、原理数学モデルとデータ駆動システムを組み合わせて両方のアプローチの利点を享受するハイブリッド技術に興味があります。
  論文  参考訳（メタデータ） (2020-12-15T16:29:49Z)
• System Identification Through Lipschitz Regularized Deep Neural Networks [0.4297070083645048]
  ニューラルネットワークを使って、データから支配方程式を学習します。 我々は、観測されたタイムスタンプデータから直接、ODEs $dotx(t) = f(t, x(t))$の右辺を再構築する。
  論文  参考訳（メタデータ） (2020-09-07T17:52:51Z)
• Learning from Failure: Training Debiased Classifier from Biased Classifier [76.52804102765931]
  ニューラルネットワークは、所望の知識よりも学習が簡単である場合にのみ、素早い相関に依存することを学習していることを示す。 本稿では,一対のニューラルネットワークを同時にトレーニングすることで,障害に基づくデバイアス化手法を提案する。 本手法は,合成データセットと実世界のデータセットの両方において,各種バイアスに対するネットワークのトレーニングを大幅に改善する。
  論文  参考訳（メタデータ） (2020-07-06T07:20:29Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。