Fugu-MT 論文翻訳(概要): Greedy dynamical meta-learning

論文の概要: Greedy dynamical meta-learning

arxiv url: http://arxiv.org/abs/2607.23925v1
Date: Mon, 27 Jul 2026 01:36:40 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-28 22:34:15.269778
Title: Greedy dynamical meta-learning
Title（参考訳）: グレディダイナミックメタラーニング
Abstract要約: エージェントが自身の重みやバイアスを変更することを学習するメタ学習アルゴリズムを提案する。外ループはパラメータがほとんどないため、標準のゼロ階法を用いることができる。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Gradient descent scales well to large models, but becomes unstable over long time horizons. Gradient-free optimizers can scale to arbitrary timespans, but are hobbled by high dimensions. Since learning occurs in large models over long timescales, neither of these approaches is likely to produce traits which can accelerate the learning process. Instead, we propose a meta-learning algorithm in which the agent learns to modify its own weights and biases. Our algorithm consists of an inner loop, wherein the agent performs some high-dimensional optimization upon itself, and an outer loop, wherein we perform some low-dimensional optimization upon the inner loop. Since the outer loop handles very few parameters, standard zeroth-order methods may be used.
Abstract（参考訳）: 勾配降下は大きなモデルによく似ているが、長時間の地平線で不安定になる。勾配のないオプティマイザは任意のタイムパンにスケールできるが、高次元でホブルされる。学習は長い時間スケールで大きなモデルで起こるので、どちらのアプローチも学習プロセスを加速できる特性を生まない可能性が高い。代わりに、エージェントが自身の重みやバイアスを変更することを学習するメタ学習アルゴリズムを提案する。本アルゴリズムは内ループからなり,エージェント自身が高次元の最適化を行うとともに,内ループ上で低次元の最適化を行う。外ループはパラメータがほとんどないため、標準のゼロ階法を用いることができる。

関連論文リスト

Gradient Descent with Provably Tuned Learning-rate Schedules [14.391648046717073]
そこで我々は,勾配に基づくアルゴリズムにおいて,因子を確実にチューニングするための新しい解析ツールを開発した。我々の分析は、一般的に使用される活性化関数を持つニューラルネットワークに適用される。
論文参考訳（メタデータ） (2025-12-04T18:49:58Z)
Fast Adaptation with Kernel and Gradient based Meta Leaning [4.763682200721131]
モデルAメタラーニング(MAML)の内輪と外輪の両方を改善するための2つのアルゴリズムを提案する。最初のアルゴリズムは関数空間の最適化問題を再定義し、閉形式解を用いてモデルを更新する。外ループでは、内ループの各タスクの損失に重みを割り当てることで、第2のアルゴリズムがメタラーナーの学習を調整する。
論文参考訳（メタデータ） (2024-11-01T07:05:03Z)
ELRA: Exponential learning rate adaption gradient descent optimization method [83.88591755871734]
我々は, 高速(指数率), ab initio(超自由)勾配に基づく適応法を提案する。本手法の主な考え方は,状況認識による$alphaの適応である。これは任意の次元 n の問題に適用でき、線型にしかスケールできない。
論文参考訳（メタデータ） (2023-09-12T14:36:13Z)
VeLO: Training Versatile Learned Optimizers by Scaling Up [67.90237498659397]
私たちは、ディープラーニングの成功の背後にある同じスケーリングアプローチを活用して、汎用性を学びます。私たちは、パラメータの更新を取り込み出力する小さなニューラルネットワークであるディープラーニングのためのインジェクションをトレーニングします。学習したメタトレーニングコード、関連するトレインテストデータ、およびvelo-code.ioのベースラインを備えた広範なベンチマークスイートをオープンソースとして公開しています。
論文参考訳（メタデータ） (2022-11-17T18:39:07Z)
Learning to Optimize Quasi-Newton Methods [22.504971951262004]
本稿では、最適化時に最適な事前条件をオンラインで学習するLODOと呼ばれる新しい機械学習を提案する。他のL2Oメソッドとは異なり、LODOはトレーニングタスクの配布にメタトレーニングを一切必要としない。この勾配は, 雑音場における逆 Hessian を近似し, 幅広い逆 Hessian を表現可能であることを示す。
論文参考訳（メタデータ） (2022-10-11T03:47:14Z)
Implicit Parameter-free Online Learning with Truncated Linear Models [51.71216912089413]
パラメータフリーアルゴリズムは、設定された学習率を必要としないオンライン学習アルゴリズムである。そこで我々は,「単純」なフレーバーを持つ新しい更新によって,切り離された線形モデルを活用できる新しいパラメータフリーアルゴリズムを提案する。後悔の新たな分解に基づいて、新しい更新は効率的で、各ステップで1つの勾配しか必要とせず、切り捨てられたモデルの最小値をオーバーシュートすることはない。
論文参考訳（メタデータ） (2022-03-19T13:39:49Z)
Correcting Momentum with Second-order Information [50.992629498861724]
最適積に$O(epsilon)$epsilon点を求める非臨界最適化のための新しいアルゴリズムを開発した。我々は、さまざまな大規模ディープラーニングベンチマークとアーキテクチャで結果を検証する。
論文参考訳（メタデータ） (2021-03-04T19:01:20Z)
Online Model Selection for Reinforcement Learning with Function Approximation [50.008542459050155]
我々は、$tildeO(L5/6 T2/3)$ regretで最適な複雑性に適応するメタアルゴリズムを提案する。また、メタアルゴリズムは、インスタンス依存の後悔境界を著しく改善することを示す。
論文参考訳（メタデータ） (2020-11-19T10:00:54Z)
Learning to Guide Random Search [111.71167792453473]
我々は、潜在低次元多様体上の高次元関数の微分自由最適化を考える。最適化を行いながらこの多様体を学習するオンライン学習手法を開発した。本研究では,連続最適化ベンチマークと高次元連続制御問題について実験的に評価する。
論文参考訳（メタデータ） (2020-04-25T19:21:14Z)
TAdam: A Robust Stochastic Gradient Optimizer [6.973803123972298]
機械学習アルゴリズムは、特にロボット分野において、いくつかのノイズを含むかもしれない観察からパターンを見つけることを目的としている。このようなノイズにうまく対処するためには、外乱を検知し、必要に応じて破棄できると期待している。そこで本研究では,アルゴリズムに頑健性を直接組み込んだ勾配最適化手法を提案し,その中核となる概念として頑健な学生分布を用いた。
論文参考訳（メタデータ） (2020-02-29T04:32:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。