論文の概要: Architect, Regularize and Replay (ARR): a Flexible Hybrid Approach for
Continual Learning
- arxiv url: http://arxiv.org/abs/2301.02464v1
- Date: Fri, 6 Jan 2023 11:22:59 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-09 23:16:25.052278
- Title: Architect, Regularize and Replay (ARR): a Flexible Hybrid Approach for
Continual Learning
- Title(参考訳): architect, regularize and replay (arr): 継続的学習のための柔軟なハイブリッドアプローチ
- Authors: Vincenzo Lomonaco, Lorenzo Pellegrini, Gabriele Graffieti, Davide
Maltoni
- Abstract要約: ARR(Architect, Regularize and Replay)は、AR1アルゴリズムとそのバリエーションのハイブリッド一般化である。
また、CIFAR-100、CORe50、ImageNet-1000といった現実世界のデータセットから生成された任意のデータストリームに一般化することができる。
- 参考スコア(独自算出の注目度): 13.492896179777835
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In recent years we have witnessed a renewed interest in machine learning
methodologies, especially for deep representation learning, that could overcome
basic i.i.d. assumptions and tackle non-stationary environments subject to
various distributional shifts or sample selection biases. Within this context,
several computational approaches based on architectural priors, regularizers
and replay policies have been proposed with different degrees of success
depending on the specific scenario in which they were developed and assessed.
However, designing comprehensive hybrid solutions that can flexibly and
generally be applied with tunable efficiency-effectiveness trade-offs still
seems a distant goal. In this paper, we propose "Architect, Regularize and
Replay" (ARR), an hybrid generalization of the renowned AR1 algorithm and its
variants, that can achieve state-of-the-art results in classic scenarios (e.g.
class-incremental learning) but also generalize to arbitrary data streams
generated from real-world datasets such as CIFAR-100, CORe50 and ImageNet-1000.
- Abstract(参考訳): 近年,機械学習手法,特に深層表現学習に対する関心が高まり,基本的な仮定を克服し,様々な分布シフトやサンプル選択バイアスを受ける非定常環境への取り組みが見られた。
この文脈では、アーキテクチャの優先順位、レギュラライザ、リプレイポリシーに基づくいくつかの計算アプローチが、それらが開発され評価された特定のシナリオによって異なる成功度で提案されている。
しかし、柔軟かつ一般的に調整可能な効率効率性トレードオフに適用できる包括的なハイブリッドソリューションを設計することは、まだ遠い目標に思える。
本稿では、古典的シナリオ(例えば、クラス増分学習)における最先端の成果を達成し、CIFAR-100、CORe50、ImageNet-1000などの実世界のデータセットから生成された任意のデータストリームに一般化できるAR1アルゴリズムとその変種をハイブリッドで一般化した「アーキテクチャ、規則化、再生」を提案する。
関連論文リスト
- Multi-Task Learning for Routing Problem with Cross-Problem Zero-Shot
Generalization [17.73090399848471]
車両ルーティング問題(VRP)は多くの現実世界のアプリケーションで見られる。
本研究では,クロスプロブレム一般化という重要な課題に取り組むための最初の試みを行う。
提案モデルでは、ゼロショットの一般化方式で、見当たらない属性の組み合わせでVRPを解くことができる。
論文 参考訳(メタデータ) (2024-02-23T13:25:23Z) - Back to Basics: A Simple Recipe for Improving Out-of-Domain Retrieval in
Dense Encoders [63.28408887247742]
得られたモデルにおいて,より優れた一般化能力を得るために,トレーニング手順の改善が可能であるかを検討する。
我々は、高密度エンコーダをトレーニングするための簡単なレシピを推奨する: LoRAのようなパラメータ効率のよいMSMARCOのトレーニング。
論文 参考訳(メタデータ) (2023-11-16T10:42:58Z) - RGM: A Robust Generalist Matching Model [53.223624323416914]
RGM(Robust Generalist Matching)と呼ばれる疎密マッチングのための深部モデルを提案する。
合成トレーニングサンプルと実世界のシナリオのギャップを狭めるために、我々は、疎対応基盤真理を持つ新しい大規模データセットを構築した。
さまざまな密集したスパースなデータセットを混ぜ合わせることができ、トレーニングの多様性を大幅に改善しています。
論文 参考訳(メタデータ) (2023-10-18T07:30:08Z) - Domain-Agnostic Neural Architecture for Class Incremental Continual
Learning in Document Processing Platform [3.630365560970225]
学習勾配を持つ最近の手法は、そのような設定に苦しむか、メモリバッファのような制限があることが示されている。
本稿では,各クラスからサンプルを別々に提示した場合に,高性能な分類器の訓練を可能にする,Mixture of Expertsモデルに基づく完全微分可能なアーキテクチャを提案する。
各種ドメインに適用可能であること,実運用環境でオンライン学習できることを実証する徹底的な実験を行った。
論文 参考訳(メタデータ) (2023-07-11T16:01:44Z) - Massively Scalable Inverse Reinforcement Learning in Google Maps [3.1244966374281544]
逆強化学習は、ルートレコメンデーションにおいて人間の潜在的嗜好を学習するための強力で一般的な枠組みを提供する。
数億の州と実証軌道で惑星規模の問題に対処したアプローチはない。
我々は、ルーティングコンテキストにおける古典的IRL手法を再検討し、安価で決定論的プランナーと高価で堅牢なポリシーとの間にトレードオフがあることを重要視する。
Receding Horizon Inverse Planning (RHIP)は、従来のIRLアルゴリズムの新たな一般化であり、その計画的地平を通したパフォーマンストレードオフのきめ細かい制御を提供する。
論文 参考訳(メタデータ) (2023-05-18T20:14:28Z) - Continual Predictive Learning from Videos [100.27176974654559]
本稿では,ビデオ予測の文脈において,新たな連続学習問題について検討する。
本稿では,連続予測学習(Continuousal predictive Learning, CPL)アプローチを提案する。
我々はRoboNetとKTHに基づく2つの新しいベンチマークを構築し、異なるタスクが異なる物理ロボット環境や人間の行動に対応するようにした。
論文 参考訳(メタデータ) (2022-04-12T08:32:26Z) - LEADS: Learning Dynamical Systems that Generalize Across Environments [12.024388048406587]
我々は、モデル一般化を改善するために、既知の環境間の共通点と相違点を活用する新しいフレームワークであるLEADSを提案する。
環境に依存したデータから抽出した知識を活用でき、既知の環境と新しい環境の両方の一般化を向上できることを示す。
論文 参考訳(メタデータ) (2021-06-08T17:28:19Z) - Reinforcement Learning for Adaptive Mesh Refinement [63.7867809197671]
マルコフ決定過程としてのAMRの新規な定式化を提案し,シミュレーションから直接改良政策を訓練するために深部強化学習を適用した。
これらのポリシーアーキテクチャのモデルサイズはメッシュサイズに依存しないため、任意に大きく複雑なシミュレーションにスケールします。
論文 参考訳(メタデータ) (2021-03-01T22:55:48Z) - Phase Retrieval using Expectation Consistent Signal Recovery Algorithm
based on Hypernetwork [73.94896986868146]
位相検索は現代の計算イメージングシステムにおいて重要な要素である。
近年のディープラーニングの進歩は、堅牢で高速なPRの新たな可能性を開いた。
我々は、既存の制限を克服するために、深層展開のための新しいフレームワークを開発する。
論文 参考訳(メタデータ) (2021-01-12T08:36:23Z) - Learning to Localize in New Environments from Synthetic Training Data [26.194505911908585]
モデルアーキテクチャに特定の変更を適用することで、新しいシーンに一般化できるアプローチを提案する。
提案手法は, SIFT特徴量を用いた5点アルゴリズムを等大画像上で高速化する。
論文 参考訳(メタデータ) (2020-11-09T16:19:35Z) - Deep Keypoint-Based Camera Pose Estimation with Geometric Constraints [80.60538408386016]
連続するフレームから相対的なカメラのポーズを推定することは、視覚計測の基本的な問題である。
本稿では,検出,特徴抽出,マッチング,外乱除去のための学習可能なモジュールで構成されるエンドツーエンドのトレーニング可能なフレームワークを提案する。
論文 参考訳(メタデータ) (2020-07-29T21:41:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。