論文の概要: Improving the performance of weak supervision searches using transfer and meta-learning

• arxiv url: http://arxiv.org/abs/2312.06152v1
• Date: Mon, 11 Dec 2023 06:40:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-12 16:39:06.907712
• Title: Improving the performance of weak supervision searches using transfer and meta-learning
• Title（参考訳）: トランスファーとメタラーニングを用いた弱監視探索の性能向上
• Authors: Hugues Beauchesne, Zong-En Chen and Cheng-Wei Chiang
• Abstract要約: 我々は、トランスファーとメタラーニングを使用して、実験の少ない信号から学習できるニューラルネットワークを作ろうとしている。 トランスファーとメタラーニングは、弱い監督探索の性能を大幅に向上させることができる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Weak supervision searches have in principle the advantages of both being able to train on experimental data and being able to learn distinctive signal properties. However, the practical applicability of such searches is limited by the fact that successfully training a neural network via weak supervision can require a large amount of signal. In this work, we seek to create neural networks that can learn from less experimental signal by using transfer and meta-learning. The general idea is to first train a neural network on simulations, thereby learning concepts that can be reused or becoming a more efficient learner. The neural network would then be trained on experimental data and should require less signal because of its previous training. We find that transfer and meta-learning can substantially improve the performance of weak supervision searches.
• Abstract（参考訳）: 弱監督探索は、実験データで訓練できることと、特有の信号特性を学習できることの両方の利点がある。 しかし,弱い監視によるニューラルネットワークの訓練が成功すれば,大量の信号が必要となるため,そのような検索の実用的適用性は限られている。 本研究では、トランスファーとメタラーニングを用いて、実験の少ない信号から学習できるニューラルネットワークの構築を目指す。 一般的なアイデアは、まずシミュレーションでニューラルネットワークをトレーニングすることで、再利用したり、より効率的な学習者になれるコンセプトを学ぶことだ。 ニューラルネットワークは実験データに基づいてトレーニングされ、以前のトレーニングのためより少ない信号を必要とする。 トランスファーとメタラーニングによって,弱い監視検索のパフォーマンスが大幅に向上することがわかった。

関連論文リスト

• DASH: Warm-Starting Neural Network Training in Stationary Settings without Loss of Plasticity [11.624569521079426]
  我々は,実世界のニューラルネットワークトレーニングを模擬したフレームワークを開発し,静止データ上での暖房開始時の可塑性損失の主な原因としてノイズ記憶を同定する。 そこで本研究では,学習した特徴を保ちながら雑音を選択的に忘れることによって可塑性損失を軽減することを目的としたDASH(Direction-Aware SHrinking)を提案する。
  論文  参考訳（メタデータ） (2024-10-30T22:57:54Z)
• Understanding the Benefits of SimCLR Pre-Training in Two-Layer Convolutional Neural Networks [10.55004012983524]
  SimCLRは視覚タスクのための最も一般的なコントラスト学習手法の1つである。 我々は、おもちゃの画像データモデルを学ぶために、2層畳み込みニューラルネットワーク(CNN)を訓練することを検討する。 ラベル付きデータ数のある条件下では,SimCLRの事前学習と教師付き微調整を組み合わせることで,ほぼ最適なテスト損失が得られることを示す。
  論文  参考訳（メタデータ） (2024-09-27T12:19:41Z)
• Simple and Effective Transfer Learning for Neuro-Symbolic Integration [50.592338727912946]
  この問題の潜在的な解決策はNeuro-Symbolic Integration (NeSy)であり、ニューラルアプローチとシンボリック推論を組み合わせる。 これらの手法のほとんどは、認識をシンボルにマッピングするニューラルネットワークと、下流タスクの出力を予測する論理的論理的推論を利用する。 それらは、緩やかな収束、複雑な知覚タスクの学習困難、局所的なミニマへの収束など、いくつかの問題に悩まされている。 本稿では,これらの問題を改善するための簡易かつ効果的な方法を提案する。
  論文  参考訳（メタデータ） (2024-02-21T15:51:01Z)
• Solving Large-scale Spatial Problems with Convolutional Neural Networks [88.31876586547848]
  大規模空間問題に対する学習効率を向上させるために移動学習を用いる。 畳み込みニューラルネットワーク (CNN) は, 信号の小さな窓で訓練できるが, 性能劣化の少ない任意の大信号で評価できる。
  論文  参考訳（メタデータ） (2023-06-14T01:24:42Z)
• Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
  勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。 その後、トレーニング中にのみ高次の統計を利用する。 本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
  論文  参考訳（メタデータ） (2022-11-21T15:27:22Z)
• The least-control principle for learning at equilibrium [65.2998274413952]
  我々は、平衡反復ニューラルネットワーク、深層平衡モデル、メタラーニングを学ぶための新しい原理を提案する。 私たちの結果は、脳がどのように学習するかを明らかにし、幅広い機械学習問題にアプローチする新しい方法を提供します。
  論文  参考訳（メタデータ） (2022-07-04T11:27:08Z)
• Reconstructing Training Data from Trained Neural Networks [42.60217236418818]
  いくつかのケースでは、トレーニングデータのかなりの部分が、実際にトレーニングされたニューラルネットワーク分類器のパラメータから再構成可能であることを示す。 本稿では,勾配に基づくニューラルネットワークの学習における暗黙バイアスに関する最近の理論的結果から,新たな再構成手法を提案する。
  論文  参考訳（メタデータ） (2022-06-15T18:35:16Z)
• SpikiLi: A Spiking Simulation of LiDAR based Real-time Object Detection for Autonomous Driving [0.0]
  Spiking Neural Networksは、電力効率、計算効率、処理遅延を大幅に改善する新しいニューラルネットワーク設計アプローチである。 まず,複雑なディープラーニングタスク,すなわちLidarベースの3Dオブジェクト検出による自動運転への適用性について説明する。
  論文  参考訳（メタデータ） (2022-06-06T20:05:17Z)
• Recursive Least-Squares Estimator-Aided Online Learning for Visual Tracking [58.14267480293575]
  オフライン学習を必要とせず、簡単な効果的なオンライン学習手法を提案する。 これは、モデルが以前見たオブジェクトに関する知識を記憶するための、内蔵されたメモリ保持メカニズムを可能にする。 我々は、RT-MDNetにおける多層パーセプトロンと、DiMPにおける畳み込みニューラルネットワークの追跡のためのオンライン学習ファミリーにおける2つのネットワークに基づくアプローチを評価する。
  論文  参考訳（メタデータ） (2021-12-28T06:51:18Z)
• Can a powerful neural network be a teacher for a weaker neural network? [0.9569316316728905]
  学習プロセスがより強力なニューラルネットワークによって駆動される場合、弱いニューラルネットワークは、その性能を向上させることができることを示す。 本研究では、弱いネットワークが学習しようとする特徴と、強いニューラルネットワークから以前に学んだ特徴との距離を最小化する損失関数を追加する。
  論文  参考訳（メタデータ） (2020-05-01T14:19:40Z)
• The large learning rate phase of deep learning: the catapult mechanism [50.23041928811575]
  問題解決可能なトレーニングダイナミクスを備えたニューラルネットワークのクラスを提示する。 現実的なディープラーニング環境において,モデルの予測とトレーニングのダイナミクスとの間には,よい一致がある。 我々の結果は、異なる学習率でトレーニングされたモデルの特性に光を当てたと信じています。
  論文  参考訳（メタデータ） (2020-03-04T17:52:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。