Fugu-MT 論文翻訳(概要): Training neural network ensembles via trajectory sampling

論文の概要: Training neural network ensembles via trajectory sampling

arxiv url: http://arxiv.org/abs/2209.11116v1
Date: Thu, 22 Sep 2022 15:59:33 GMT
ステータス: 処理完了
システム内更新日: 2022-09-23 14:52:35.045579
Title: Training neural network ensembles via trajectory sampling
Title（参考訳）: 軌道サンプリングによるニューラルネットワークアンサンブルの訓練
Authors: Jamie F. Mair, Dominic C. Rose, Juan P. Garrahan
Abstract要約: 機械学習では、ニューラルネットワークアンサンブル(NNE)に新たな関心があるシステムにおける希少な軌跡の研究を用いて,NNEの定義と訓練方法を示す。簡単な教師付き学習課題に対して,本手法の有効性を実証する。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In machine learning, there is renewed interest in neural network ensembles (NNEs), whereby predictions are obtained as an aggregate from a diverse set of smaller models, rather than from a single larger model. Here, we show how to define and train a NNE using techniques from the study of rare trajectories in stochastic systems. We define an NNE in terms of the trajectory of the model parameters under a simple, and discrete in time, diffusive dynamics, and train the NNE by biasing these trajectories towards a small time-integrated loss, as controlled by appropriate counting fields which act as hyperparameters. We demonstrate the viability of this technique on a range of simple supervised learning tasks. We discuss potential advantages of our trajectory sampling approach compared with more conventional gradient based methods.
Abstract（参考訳）: 機械学習では、ニューラルネットワークアンサンブル(nnes)への新たな関心があり、予測は単一の大きなモデルではなく、さまざまな小さなモデルの集合から得られる。ここでは,確率系における希少な軌跡の研究から,NNEの定義と訓練方法を示す。モデルパラメータの軌跡を,単純かつ離散的な時間で定義し,これらの軌跡を時間分解損失に偏らし,過度パラメータとして作用する適切なカウントフィールドによって制御することにより,NNEを訓練する。簡単な教師付き学習課題に対して,本手法の有効性を実証する。従来の勾配法と比較して,軌道サンプリング手法の潜在的な利点について考察する。

関連論文リスト

Joint Diffusion Processes as an Inductive Bias in Sheaf Neural Networks [14.224234978509026]
せん断ニューラルネットワーク(SNN)は自然にグラフニューラルネットワーク(GNN)を拡張する構造図をより直感的に理解するための2つの新しいせん断学習手法を提案する。評価では,これまでのSNNで使用されている実世界のベンチマークの限界を示す。
論文参考訳（メタデータ） (2024-07-30T07:17:46Z)
Inferring stochastic low-rank recurrent neural networks from neural data [5.179844449042386]
計算神経科学における中心的な目的は、大きなニューロンの活動と基礎となる力学系を関連付けることである。低ランクリカレントニューラルネットワーク(RNN)は、トラクタブルダイナミクスを持つことによって、そのような解釈可能性を示す。そこで本研究では,低ランクRNNをモンテカルロ変分法に適合させる手法を提案する。
論文参考訳（メタデータ） (2024-06-24T15:57:49Z)
Hallmarks of Optimization Trajectories in Neural Networks: Directional Exploration and Redundancy [75.15685966213832]
最適化トラジェクトリのリッチな方向構造をポイントワイズパラメータで解析する。トレーニング中のスカラーバッチノルムパラメータは,ネットワーク全体のトレーニング性能と一致していることを示す。
論文参考訳（メタデータ） (2024-03-12T07:32:47Z)
Minibatch training of neural network ensembles via trajectory sampling [0.0]
また,ニューラルネットアンサンブル(NNE)をトラジェクトリ法により高精度に学習するためにも,ミニバッチアプローチが有効であることを示す。 MNISTデータセット内の画像を分類するためにNNEを訓練することで、このアプローチを説明する。
論文参考訳（メタデータ） (2023-06-23T11:12:33Z)
Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
論文参考訳（メタデータ） (2022-10-25T14:45:15Z)
Latent Neural ODEs with Sparse Bayesian Multiple Shooting [13.104556034767025]
長い軌道上でのニューラルODEなどの動的モデルのトレーニングは、モデルトレーニングを実際に動作させるためには、軌道分割のような様々なトリックを使用する必要がある難しい問題である。本稿では,並列に最適化されたトラジェクトリを管理可能なショートセグメントに分割する,ニューラルネットワークの多射法を提案する。複数の大規模ベンチマークデータセット上で、効率的で安定したトレーニングと最先端のパフォーマンスを示す。
論文参考訳（メタデータ） (2022-10-07T11:36:29Z)
TT-NF: Tensor Train Neural Fields [88.49847274083365]
そこで本研究では,Train Neural Fields (TT-NF) と呼ばれる新しい低ランク表現を導入した。ダウンストリームタスク品質指標に対する低ランク圧縮の影響を解析する。
論文参考訳（メタデータ） (2022-09-30T15:17:39Z)
Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
論文参考訳（メタデータ） (2022-09-26T17:59:58Z)
Fully differentiable model discovery [0.0]
ニューラルネットワークに基づくサロゲートとスパースベイズ学習を組み合わせたアプローチを提案する。我々の研究は、PINNを様々なタイプのニューラルネットワークアーキテクチャに拡張し、ニューラルネットワークベースのサロゲートをベイズパラメータ推論のリッチフィールドに接続する。
論文参考訳（メタデータ） (2021-06-09T08:11:23Z)
Incorporating NODE with Pre-trained Neural Differential Operator for Learning Dynamics [73.77459272878025]
ニューラル微分演算子(NDO)の事前学習による動的学習における教師付き信号の強化を提案する。 NDOは記号関数のクラスで事前訓練され、これらの関数の軌跡サンプルとそれらの導関数とのマッピングを学習する。我々は,NDOの出力が,ライブラリの複雑さを適切に調整することで,基礎となる真理微分を適切に近似できることを理論的に保証する。
論文参考訳（メタデータ） (2021-06-08T08:04:47Z)
Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文参考訳（メタデータ） (2020-07-02T17:55:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。