論文の概要: Architect, Regularize and Replay (ARR): a Flexible Hybrid Approach for Continual Learning

• arxiv url: http://arxiv.org/abs/2301.02464v1
• Date: Fri, 6 Jan 2023 11:22:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-09 23:16:25.052278
• Title: Architect, Regularize and Replay (ARR): a Flexible Hybrid Approach for Continual Learning
• Title（参考訳）: architect, regularize and replay (arr): 継続的学習のための柔軟なハイブリッドアプローチ
• Authors: Vincenzo Lomonaco, Lorenzo Pellegrini, Gabriele Graffieti, Davide Maltoni
• Abstract要約: ARR(Architect, Regularize and Replay)は、AR1アルゴリズムとそのバリエーションのハイブリッド一般化である。 また、CIFAR-100、CORe50、ImageNet-1000といった現実世界のデータセットから生成された任意のデータストリームに一般化することができる。
• 参考スコア（独自算出の注目度）: 13.492896179777835
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years we have witnessed a renewed interest in machine learning methodologies, especially for deep representation learning, that could overcome basic i.i.d. assumptions and tackle non-stationary environments subject to various distributional shifts or sample selection biases. Within this context, several computational approaches based on architectural priors, regularizers and replay policies have been proposed with different degrees of success depending on the specific scenario in which they were developed and assessed. However, designing comprehensive hybrid solutions that can flexibly and generally be applied with tunable efficiency-effectiveness trade-offs still seems a distant goal. In this paper, we propose "Architect, Regularize and Replay" (ARR), an hybrid generalization of the renowned AR1 algorithm and its variants, that can achieve state-of-the-art results in classic scenarios (e.g. class-incremental learning) but also generalize to arbitrary data streams generated from real-world datasets such as CIFAR-100, CORe50 and ImageNet-1000.
• Abstract（参考訳）: 近年,機械学習手法,特に深層表現学習に対する関心が高まり,基本的な仮定を克服し,様々な分布シフトやサンプル選択バイアスを受ける非定常環境への取り組みが見られた。 この文脈では、アーキテクチャの優先順位、レギュラライザ、リプレイポリシーに基づくいくつかの計算アプローチが、それらが開発され評価された特定のシナリオによって異なる成功度で提案されている。 しかし、柔軟かつ一般的に調整可能な効率効率性トレードオフに適用できる包括的なハイブリッドソリューションを設計することは、まだ遠い目標に思える。 本稿では、古典的シナリオ(例えば、クラス増分学習)における最先端の成果を達成し、CIFAR-100、CORe50、ImageNet-1000などの実世界のデータセットから生成された任意のデータストリームに一般化できるAR1アルゴリズムとその変種をハイブリッドで一般化した「アーキテクチャ、規則化、再生」を提案する。

関連論文リスト

• A Survey on All-in-One Image Restoration: Taxonomy, Evaluation and Future Trends [67.43992456058541]
  画像復元(IR)とは、ノイズ、ぼかし、気象効果などの劣化を除去しながら、画像の視覚的品質を改善する過程である。 従来のIR手法は、一般的に特定の種類の劣化をターゲットとしており、複雑な歪みを伴う現実のシナリオにおいて、その効果を制限している。 オールインワン画像復元(AiOIR)パラダイムが登場し、複数の劣化タイプに順応的に対処する統一されたフレームワークを提供する。
  論文  参考訳（メタデータ） (2024-10-19T11:11:09Z)
• Dynamic Few-Shot Learning for Knowledge Graph Question Answering [3.116231004560997]
  大規模言語モデルが知識グラフ(KGQA)に対する革新的質問回答の機会を提示する このギャップを埋めるために、ファインチューニングやアドホックなアーキテクチャに依存し、良い結果を得るが、領域外分布の一般化は限られるソリューションが提案されている。 本研究では,DFL(Dynamic Few-Shot Learning)と呼ばれる新しい手法を提案する。 DFLは、文脈内学習の効率性と意味的類似性を統合し、最先端の性能を持つKGQAの一般的なソリューションを提供する。
  論文  参考訳（メタデータ） (2024-07-01T15:59:17Z)
• Back to Basics: A Simple Recipe for Improving Out-of-Domain Retrieval in Dense Encoders [63.28408887247742]
  得られたモデルにおいて,より優れた一般化能力を得るために,トレーニング手順の改善が可能であるかを検討する。 我々は、高密度エンコーダをトレーニングするための簡単なレシピを推奨する: LoRAのようなパラメータ効率のよいMSMARCOのトレーニング。
  論文  参考訳（メタデータ） (2023-11-16T10:42:58Z)
• Domain-Agnostic Neural Architecture for Class Incremental Continual Learning in Document Processing Platform [3.630365560970225]
  学習勾配を持つ最近の手法は、そのような設定に苦しむか、メモリバッファのような制限があることが示されている。 本稿では,各クラスからサンプルを別々に提示した場合に,高性能な分類器の訓練を可能にする,Mixture of Expertsモデルに基づく完全微分可能なアーキテクチャを提案する。 各種ドメインに適用可能であること,実運用環境でオンライン学習できることを実証する徹底的な実験を行った。
  論文  参考訳（メタデータ） (2023-07-11T16:01:44Z)
• Massively Scalable Inverse Reinforcement Learning in Google Maps [3.1244966374281544]
  逆強化学習は、ルートレコメンデーションにおいて人間の潜在的嗜好を学習するための強力で一般的な枠組みを提供する。 数億の州と実証軌道で惑星規模の問題に対処したアプローチはない。 我々は、ルーティングコンテキストにおける古典的IRL手法を再検討し、安価で決定論的プランナーと高価で堅牢なポリシーとの間にトレードオフがあることを重要視する。 Receding Horizon Inverse Planning (RHIP)は、従来のIRLアルゴリズムの新たな一般化であり、その計画的地平を通したパフォーマンストレードオフのきめ細かい制御を提供する。
  論文  参考訳（メタデータ） (2023-05-18T20:14:28Z)
• Continual Predictive Learning from Videos [100.27176974654559]
  本稿では,ビデオ予測の文脈において,新たな連続学習問題について検討する。 本稿では,連続予測学習(Continuousal predictive Learning, CPL)アプローチを提案する。 我々はRoboNetとKTHに基づく2つの新しいベンチマークを構築し、異なるタスクが異なる物理ロボット環境や人間の行動に対応するようにした。
  論文  参考訳（メタデータ） (2022-04-12T08:32:26Z)
• Reinforcement Learning for Adaptive Mesh Refinement [63.7867809197671]
  マルコフ決定過程としてのAMRの新規な定式化を提案し,シミュレーションから直接改良政策を訓練するために深部強化学習を適用した。 これらのポリシーアーキテクチャのモデルサイズはメッシュサイズに依存しないため、任意に大きく複雑なシミュレーションにスケールします。
  論文  参考訳（メタデータ） (2021-03-01T22:55:48Z)
• Phase Retrieval using Expectation Consistent Signal Recovery Algorithm based on Hypernetwork [73.94896986868146]
  位相検索は現代の計算イメージングシステムにおいて重要な要素である。 近年のディープラーニングの進歩は、堅牢で高速なPRの新たな可能性を開いた。 我々は、既存の制限を克服するために、深層展開のための新しいフレームワークを開発する。
  論文  参考訳（メタデータ） (2021-01-12T08:36:23Z)
• Learning to Localize in New Environments from Synthetic Training Data [26.194505911908585]
  モデルアーキテクチャに特定の変更を適用することで、新しいシーンに一般化できるアプローチを提案する。 提案手法は, SIFT特徴量を用いた5点アルゴリズムを等大画像上で高速化する。
  論文  参考訳（メタデータ） (2020-11-09T16:19:35Z)
• Deep Keypoint-Based Camera Pose Estimation with Geometric Constraints [80.60538408386016]
  連続するフレームから相対的なカメラのポーズを推定することは、視覚計測の基本的な問題である。 本稿では,検出,特徴抽出,マッチング,外乱除去のための学習可能なモジュールで構成されるエンドツーエンドのトレーニング可能なフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-29T21:41:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。