Fugu-MT 論文翻訳(概要): Principled Curriculum Learning using Parameter Continuation Methods

論文の概要: Principled Curriculum Learning using Parameter Continuation Methods

arxiv url: http://arxiv.org/abs/2507.22089v1
Date: Tue, 29 Jul 2025 08:49:22 GMT
ステータス: 翻訳完了
システム内更新日: 2025-07-31 16:14:17.761087
Title: Principled Curriculum Learning using Parameter Continuation Methods
Title（参考訳）: パラメータ継続法による原則的カリキュラム学習
Authors: Harsh Nilesh Pathak, Randy Paffenroth,
Abstract要約: ニューラルネットワークの最適化のためのパラメータ継続法を提案する。教師なしおよび教師なしの学習課題に対するADAMのような最先端の最適化手法よりも優れた一般化性能を示す。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In this work, we propose a parameter continuation method for the optimization of neural networks. There is a close connection between parameter continuation, homotopies, and curriculum learning. The methods we propose here are theoretically justified and practically effective for several problems in deep neural networks. In particular, we demonstrate better generalization performance than state-of-the-art optimization techniques such as ADAM for supervised and unsupervised learning tasks.
Abstract（参考訳）: 本研究では,ニューラルネットワークの最適化のためのパラメータ継続手法を提案する。パラメータ継続、ホモトピー、カリキュラム学習の間には密接な関係がある。ここで提案する手法は、ディープニューラルネットワークにおけるいくつかの問題に対して理論的に正当化され、実用的に有効である。特に,教師付きおよび教師なし学習タスクにおけるADAMなどの最先端最適化手法よりも,より優れた一般化性能を示す。

関連論文リスト

Meta-Sparsity: Learning Optimal Sparse Structures in Multi-task Networks through Meta-learning [4.462334751640166]
Meta-sparsityは、ディープニューラルネットワーク(DNN)がマルチタスク学習環境で最適なスパース共有構造を生成することを可能にする、モデルのスパーシティを学習するためのフレームワークである。 Model Agnostic Meta-Learning (MAML)に触発され、マルチタスクシナリオにおける共有パラメータと最適なスパースパラメータの学習に重点を置いている。メタスパーシティーの有効性は、2つのデータセットに対する広範な実験によって厳格に評価されている。
論文参考訳（メタデータ） (2025-01-21T13:25:32Z)
Sparse Orthogonal Parameters Tuning for Continual Learning [34.462967722928724]
事前学習モデル(PTM)に基づく連続学習手法が近年注目されている。本稿では,SoTU(Sparse Orthogonal Parameters TUning)と呼ばれる新しい手法を提案する。
論文参考訳（メタデータ） (2024-11-05T05:19:09Z)
Unlearning as multi-task optimization: A normalized gradient difference approach with an adaptive learning rate [105.86576388991713]
正規化勾配差(NGDiff)アルゴリズムを導入し、目的間のトレードオフをよりよく制御できるようにする。本研究では,TOFUおよびMUSEデータセットにおける最先端の未学習手法において,NGDiffの優れた性能を実証的に実証し,理論的解析を行った。
論文参考訳（メタデータ） (2024-10-29T14:41:44Z)
Continual Learning via Sequential Function-Space Variational Inference [65.96686740015902]
連続学習を逐次関数空間変動推論として定式化した目的を提案する。ニューラルネットワークの予測を直接正規化する目的と比較して、提案した目的はより柔軟な変動分布を可能にする。タスクシーケンスの範囲で、逐次関数空間変動推論によってトレーニングされたニューラルネットワークは、関連する手法でトレーニングされたネットワークよりも予測精度が良いことを実証した。
論文参考訳（メタデータ） (2023-12-28T18:44:32Z)
Distilling Knowledge from Resource Management Algorithms to Neural Networks: A Unified Training Assistance Approach [18.841969905928337]
本稿では,知識蒸留(KD)に基づくアルゴリズム蒸留(AD)法を提案する。本研究は,無線通信システム最適化における従来の最適化洞察と新しいNN技術の統合の道を開くものである。
論文参考訳（メタデータ） (2023-08-15T00:30:58Z)
Pareto Manifold Learning: Tackling multiple tasks via ensembles of single-task models [50.33956216274694]
マルチタスク学習(MTL)では、タスクは、ソリューションへの最適化を導くのではなく、互いに達成したパフォーマンスを競い、制限することができる。重み空間におけるアンサンブル手法であるTextitPareto Manifold Learningを提案する。
論文参考訳（メタデータ） (2022-10-18T11:20:54Z)
Improved Algorithms for Neural Active Learning [74.89097665112621]
非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
論文参考訳（メタデータ） (2022-10-02T05:03:38Z)
DLCFT: Deep Linear Continual Fine-Tuning for General Incremental Learning [29.80680408934347]
事前学習した表現からモデルを連続的に微調整するインクリメンタルラーニングのための代替フレームワークを提案する。本手法は, ニューラルネットワークの線形化手法を利用して, 単純かつ効果的な連続学習を行う。本手法は,データ増分,タスク増分およびクラス増分学習問題において,一般的な連続学習設定に適用可能であることを示す。
論文参考訳（メタデータ） (2022-08-17T06:58:14Z)
Towards a Unified View of Parameter-Efficient Transfer Learning [108.94786930869473]
下流タスクにおける大規模事前学習言語モデルの微調整は、NLPにおけるデファクト学習パラダイムとなっている。近年の研究では,少数の(外部)パラメータのみを微調整するだけで高い性能が得られるパラメータ効率の伝達学習法が提案されている。我々は、最先端のパラメータ効率変換学習手法の設計を分解し、それらの相互接続を確立する統一的なフレームワークを提案する。
論文参考訳（メタデータ） (2021-10-08T20:22:26Z)
Online hyperparameter optimization by real-time recurrent learning [57.01871583756586]
ニューラルネットワーク(rnn)におけるハイパーパラメータ最適化とパラメータ学習の類似性を活用した。 RNNのための学習済みのオンライン学習アルゴリズムのファミリーを適応させ、ハイパーパラメータとネットワークパラメータを同時に調整します。この手順は、通常の方法に比べて、ウォールクロック時間のほんの少しで、体系的に一般化性能が向上する。
論文参考訳（メタデータ） (2021-02-15T19:36:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。