論文の概要: Two Complementary Perspectives to Continual Learning: Ask Not Only What to Optimize, But Also How

• arxiv url: http://arxiv.org/abs/2311.04898v2
• Date: Fri, 21 Jun 2024 13:09:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-24 20:17:56.953522
• Title: Two Complementary Perspectives to Continual Learning: Ask Not Only What to Optimize, But Also How
• Title（参考訳）: 継続的な学習に対する2つの補完的視点:最適化するだけでなく、どのようにして学習するかを問う
• Authors: Timm Hess, Tinne Tuytelaars, Gido M. van de Ven,
• Abstract要約: 継続的な学習戦略は、最適化目的だけでなく、この目標の最適化方法にも焦点をあてるべきである、と我々は主張する。 リプレイ近似共同目標と勾配予測に基づく最適化ルーチンを組み合わせた事前登録実験を行った。 我々の概念的議論は、経験的結果のいくつかと同様に、連続学習における最適化軌跡の顕著な重要性を示している。
• 参考スコア（独自算出の注目度）: 36.33674007527071
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent years have seen considerable progress in the continual training of deep neural networks, predominantly thanks to approaches that add replay or regularization terms to the loss function to approximate the joint loss over all tasks so far. However, we show that even with a perfect approximation to the joint loss, these approaches still suffer from temporary but substantial forgetting when starting to train on a new task. Motivated by this 'stability gap', we propose that continual learning strategies should focus not only on the optimization objective, but also on the way this objective is optimized. While there is some continual learning work that alters the optimization trajectory (e.g., using gradient projection techniques), this line of research is positioned as alternative to improving the optimization objective, while we argue it should be complementary. In search of empirical support for our proposition, we perform a series of pre-registered experiments combining replay-approximated joint objectives with gradient projection-based optimization routines. However, this first experimental attempt fails to show clear and consistent benefits. Nevertheless, our conceptual arguments, as well as some of our empirical results, demonstrate the distinctive importance of the optimization trajectory in continual learning, thereby opening up a new direction for continual learning research.
• Abstract（参考訳）: 近年、ディープニューラルネットワークの継続的なトレーニングが大幅に進歩しており、これは主に、これまでのすべてのタスクにおける関節の損失を近似するために、損失関数にリプレイ項や正規化項を追加するアプローチによるものである。 しかし, 関節損傷を完璧に近似したとしても, 新たな課題の訓練を始める際には, 一時的ではあるが重大な忘れがちであることがわかった。 この「安定性のギャップ」に触発されて、我々は、継続的な学習戦略は、最適化目的だけでなく、この目的の最適化方法にも焦点をあてるべきである、と提案する。 最適化の軌道を変える連続的な学習作業はいくつかあるが(例えば、勾配投影技術を用いて)、この研究の行は最適化の目的を改善する代替として位置づけられている。 提案手法の実証的サポートを探るため, 再現近似関節目標と勾配予測に基づく最適化ルーチンを組み合わせた事前登録実験を行った。 しかし、この最初の実験的な試みは明確で一貫した利益を示せなかった。 それにもかかわらず、我々の概念的議論と経験的結果のいくつかは、連続学習における最適化軌跡の顕著な重要性を示し、連続学習研究のための新たな方向性を開く。

関連論文リスト

• Preference-Guided Reinforcement Learning for Efficient Exploration [7.83845308102632]
  LOPE: Learning Online with trajectory Preference guidancE, a end-to-end preference-guided RL framework。 我々の直感では、LOPEは人的フィードバックをガイダンスとして考慮し、オンライン探索の焦点を直接調整する。 LOPEは収束率と全体的な性能に関して、最先端のいくつかの手法より優れている。
  論文  参考訳（メタデータ） (2024-07-09T02:11:12Z)
• Improving Forward Compatibility in Class Incremental Learning by Increasing Representation Rank and Feature Richness [3.0620294646308754]
  本稿では,前方互換性向上を目的としたRFR法を提案する。 本研究は,破滅的忘れ込みを緩和しつつ,新規タスク性能を高めるためのアプローチの有効性を実証するものである。
  論文  参考訳（メタデータ） (2024-03-22T11:14:30Z)
• From Function to Distribution Modeling: A PAC-Generative Approach to Offline Optimization [30.689032197123755]
  本稿では、オフラインデータ例の集合を除いて目的関数が不明なオフライン最適化の問題について考察する。 未知の目的関数を学習して最適化するのではなく、より直感的で直接的な視点で、最適化は生成モデルからサンプリングするプロセスと考えることができる。
  論文  参考訳（メタデータ） (2024-01-04T01:32:50Z)
• Investigation into the Training Dynamics of Learned Optimizers [0.0]
  従来の手作りのアルゴリズムをメタ学習関数に置き換えることで、学習の概念を最適化プロセスを加速させる方法として検討する。 本研究は,ネットワークアーキテクチャの対称性と更新パラメータの観点から最適化について検討する。 私たちは、それぞれのアプローチが互いの強みからどのように恩恵を受けるかを示すいくつかの重要な洞察を特定します。
  論文  参考訳（メタデータ） (2023-12-12T11:18:43Z)
• Gradient constrained sharpness-aware prompt learning for vision-language models [99.74832984957025]
  本稿では,視覚言語モデル(VLM)の一般化可能な即時学習における新たなトレードオフ問題を提案する。 最先端手法のロスランドスケープとSAMに基づくバニラシャープネス認識最小化法を解析することにより、トレードオフ性能は損失値と損失シャープネスの両方に相関していると結論付けた。 本稿では,GCSCoOp (Gradient Constrained Sharpness-Aware Context Optimization) と表記される,素早い学習のためのSAMベースの新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-09-14T17:13:54Z)
• Few-shot Quality-Diversity Optimization [50.337225556491774]
  品質多様性(QD)の最適化は、強化学習における知覚的最小値とスパース報酬を扱う上で効果的なツールであることが示されている。 本稿では,タスク分布の例から,パラメータ空間の最適化によって得られる経路の情報を利用して,未知の環境でQD手法を初期化する場合,数発の適応が可能であることを示す。 ロボット操作とナビゲーションベンチマークを用いて、疎密な報酬設定と密集した報酬設定の両方で実施された実験は、これらの環境でのQD最適化に必要な世代数を著しく削減することを示している。
  論文  参考訳（メタデータ） (2021-09-14T17:12:20Z)
• Latent-Optimized Adversarial Neural Transfer for Sarcasm Detection [50.29565896287595]
  サーカズム検出のための共通データセットを活用するために,転送学習を適用する。 異なる損失が互いに対応できる汎用的な潜時最適化戦略を提案します。 特に、isarcasmデータセットの以前の状態よりも10.02%の絶対性能向上を達成している。
  論文  参考訳（メタデータ） (2021-04-19T13:07:52Z)
• Optimization and Generalization of Regularization-Based Continual Learning: a Loss Approximation Viewpoint [35.5156045701898]
  各タスクの損失関数の2階Taylor近似として定式化することにより、正規化に基づく連続学習の新しい視点を提供する。 この観点から、正規化に基づく連続学習の最適化側面(収束)と一般化特性(有限サンプル保証)を考察する。
  論文  参考訳（メタデータ） (2020-06-19T06:08:40Z)
• Reparameterized Variational Divergence Minimization for Stable Imitation [57.06909373038396]
  確率的発散の選択における変動が、より高性能なILOアルゴリズムをもたらす可能性について検討する。 本稿では,提案する$f$-divergence最小化フレームワークの課題を軽減するために,逆模倣学習のための再パラメータ化手法を提案する。 経験的に、我々の設計選択は、ベースラインアプローチより優れ、低次元連続制御タスクにおける専門家のパフォーマンスとより密に適合するIOOアルゴリズムを許容することを示した。
  論文  参考訳（メタデータ） (2020-06-18T19:04:09Z)
• Disentangling Adaptive Gradient Methods from Learning Rates [65.0397050979662]
  適応的勾配法が学習率のスケジュールとどのように相互作用するかを、より深く検討する。 我々は、更新の規模をその方向から切り離す"グラフティング"実験を導入する。 適応勾配法の一般化に関する経験的および理論的考察を示す。
  論文  参考訳（メタデータ） (2020-02-26T21:42:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。