論文の概要: Pupil Learning Mechanism

• arxiv url: http://arxiv.org/abs/2307.16141v1
• Date: Sun, 30 Jul 2023 06:38:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-01 17:25:55.851444
• Title: Pupil Learning Mechanism
• Title（参考訳）: 瞳孔学習機構
• Authors: Rua-Huan Tsaih, Yu-Hang Chien, Shih-Yi Chien
• Abstract要約: 2層ニューラルネットワーク(2LNN)のネットワーク構造と重みを修飾する瞳孔学習機構(PLM)を導出する。 PLMは、逐次学習、適応学習、完全学習、過度に適合しない学習のためのモジュールで構成されている。 実験により, PLMモジュールの設計が線形回帰モデルと従来のバックプロパゲーションベース2LNNモデルよりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Studies on artificial neural networks rarely address both vanishing gradients and overfitting issues. In this study, we follow the pupil learning procedure, which has the features of interpreting, picking, understanding, cramming, and organizing, to derive the pupil learning mechanism (PLM) by which to modify the network structure and weights of 2-layer neural networks (2LNNs). The PLM consists of modules for sequential learning, adaptive learning, perfect learning, and less-overfitted learning. Based upon a copper price forecasting dataset, we conduct an experiment to validate the PLM module design modules, and an experiment to evaluate the performance of PLM. The empirical results indeed approve the PLM module design and show the superiority of the proposed PLM model over the linear regression model and the conventional backpropagation-based 2LNN model.
• Abstract（参考訳）: 人工ニューラルネットワークの研究は、消失する勾配と過適合の問題の両方にほとんど対処しない。 本研究では,2層ニューラルネットワーク (2LNN) のネットワーク構造と重みを変化させる学習機構 (PLM) を導出するために, 解釈, 抽出, 理解, クラミング, 整理といった特徴を持つ瞳孔学習手順に従う。 PLMは、逐次学習、適応学習、完全学習、過度な学習のためのモジュールで構成されている。 銅価格予測データセットに基づいて,plmモジュールの設計モジュールを検証する実験と,plmの性能評価実験を行った。 実験により, PLMモジュールの設計が線形回帰モデルと従来のバックプロパゲーションベース2LNNモデルよりも優れていることを示す。

関連論文リスト

• Deep Learning Through A Telescoping Lens: A Simple Model Provides Empirical Insights On Grokking, Gradient Boosting & Beyond [61.18736646013446]
  その驚くべき振る舞いをより深く理解するために、トレーニングされたニューラルネットワークの単純かつ正確なモデルの有用性について検討する。 3つのケーススタディで、様々な顕著な現象に関する新しい経験的洞察を導き出すためにどのように適用できるかを説明します。
  論文  参考訳（メタデータ） (2024-10-31T22:54:34Z)
• Theoretical Insights into Overparameterized Models in Multi-Task and Replay-Based Continual Learning [37.745896674964186]
  マルチタスク学習(MTL)は,複数のタスクを同時に学習することで,複数のタスクにおけるモデルの一般化性能を向上させることを目的としている。 連続学習(CL)は、以前取得した知識を忘れずに、時間とともに新しい逐次到着タスクに適応する。 MTL設定におけるモデルの性能に及ぼす各種システムパラメータの影響を理論的に記述する。 その結果,バッファサイズとモデルキャパシティがCLセットアップの記憶率に及ぼす影響を明らかにし,最先端のCL手法のいくつかに光を当てるのに役立つことがわかった。
  論文  参考訳（メタデータ） (2024-08-29T23:22:40Z)
• CoMMIT: Coordinated Instruction Tuning for Multimodal Large Language Models [68.64605538559312]
  本稿では,MLLM命令のチューニングを理論的・経験的両面から解析する。 そこで本研究では,学習バランスを定量的に評価する尺度を提案する。 さらに,MLLMの生成分布の更新を促進する補助的損失正規化手法を提案する。
  論文  参考訳（メタデータ） (2024-07-29T23:18:55Z)
• LLMs-as-Instructors: Learning from Errors Toward Automating Model Improvement [93.38736019287224]
  LLMs-as-Instructors"フレームワークは、より小さなターゲットモデルのトレーニングを自律的に強化する。 このフレームワークは、"Learning from Errors"理論にインスパイアされ、ターゲットモデル内の特定のエラーを注意深く分析するインストラクターLLMを使用している。 本フレームワークでは,適切なトレーニングデータに対する誤応答のみに焦点を当てた「エラーからの学習」と,比較学習を用いて誤りの深い理解を行う「コントラストによるエラーからの学習」という2つの戦略を実装している。
  論文  参考訳（メタデータ） (2024-06-29T17:16:04Z)
• Layer-wise Feedback Propagation [53.00944147633484]
  本稿では、ニューラルネットワークのような予測器のための新しいトレーニング手法であるLFP(Layer-wise Feedback Propagation)を提案する。 LFPは、与えられたタスクの解決に対するそれぞれの貢献に基づいて、個々のコネクションに報酬を割り当てる。 各種モデルやデータセットの勾配降下に匹敵する性能を達成できることの有効性を実証する。
  論文  参考訳（メタデータ） (2023-08-23T10:48:28Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Learning Variational Data Assimilation Models and Solvers [34.22350850350653]
  データ同化のためのエンドツーエンドニューラルネットワークアーキテクチャを導入する。 提案するエンドツーエンド学習アーキテクチャの重要な特徴は、教師なし戦略と教師なし戦略の両方を用いてNNモデルをトレーニングできることである。
  論文  参考訳（メタデータ） (2020-07-25T14:28:48Z)
• Towards Interpretable Deep Learning Models for Knowledge Tracing [62.75876617721375]
  本稿では,深層学習に基づく知識追跡(DLKT)モデルの解釈可能性問題に対処するポストホック手法を提案する。 具体的には、RNNに基づくDLKTモデルを解釈するために、レイヤワイズ関連伝搬法(LRP)を適用することに焦点をあてる。 実験結果から,DLKTモデルの予測をLRP法で解釈できることを示す。
  論文  参考訳（メタデータ） (2020-05-13T04:03:21Z)
• On Training and Evaluation of Neural Network Approaches for Model Predictive Control [9.8918553325509]
  本稿では,制約ニューラルネットワークを用いて実装されたモデル予測制御(MPC)のトレーニングと評価を行うフレームワークである。 モチベーションは、安全クリティカルフィードバック制御システムのリアルタイム最適化を、ニューラルネットワークと最適化層という形で学習されたマッピングに置き換えることである。
  論文  参考訳（メタデータ） (2020-05-08T15:37:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。