論文の概要: What Can AutoML Do For Continual Learning?

• arxiv url: http://arxiv.org/abs/2311.11963v1
• Date: Mon, 20 Nov 2023 17:43:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-21 17:37:42.161264
• Title: What Can AutoML Do For Continual Learning?
• Title（参考訳）: AutoMLは継続的学習に何ができるのか?
• Authors: Mert Kilickaya, Joaquin Vanschoren
• Abstract要約: 本稿では,この方向へのさらなる研究を促進するために,インクリメンタルな(連続的な)学習のためのAutoMLの可能性について概説する。 インクリメンタル学習者をよりダイナミックにするために貢献できる3つの重要な研究領域を概説する。
• 参考スコア（独自算出の注目度）: 10.322052096998725
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This position paper outlines the potential of AutoML for incremental (continual) learning to encourage more research in this direction. Incremental learning involves incorporating new data from a stream of tasks and distributions to learn enhanced deep representations and adapt better to new tasks. However, a significant limitation of incremental learners is that most current techniques freeze the backbone architecture, hyperparameters, and the order & structure of the learning tasks throughout the learning and adaptation process. We strongly believe that AutoML offers promising solutions to address these limitations, enabling incremental learning to adapt to more diverse real-world tasks. Therefore, instead of directly proposing a new method, this paper takes a step back by posing the question: "What can AutoML do for incremental learning?" We outline three key areas of research that can contribute to making incremental learners more dynamic, highlighting concrete opportunities to apply AutoML methods in novel ways as well as entirely new challenges for AutoML research.
• Abstract（参考訳）: このポジションペーパーでは、インクリメンタルな(連続的な)学習のためのAutoMLの可能性について概説する。 インクリメンタル学習は、強化された深層表現を学び、新しいタスクにもっと適応するために、一連のタスクとディストリビューションから新しいデータを取り込む。 しかし、インクリメンタル学習者の大きな制限は、ほとんどの現在の技術が学習と適応プロセスを通じて、バックボーンアーキテクチャ、ハイパーパラメータ、学習タスクの順序と構造を凍結していることである。 私たちはAutoMLがこれらの制限に対処するための有望なソリューションを提供し、より多様な現実世界のタスクに漸進的な学習を可能にすると強く信じています。 そこで本論文では,新しい手法を直接提案するのではなく,"automlはインクリメンタル学習に何ができるのか? 我々は、インクリメンタルラーニングをよりダイナミックにするために貢献できる3つの研究分野を概説し、AutoMLのメソッドを新しい方法で適用する具体的な機会と、AutoML研究における全く新しい課題を強調した。

関連論文リスト

• LW2G: Learning Whether to Grow for Prompt-based Continual Learning [15.766350352592331]
  最近のPrompt-based Continual Learning (PCL) は、事前学習モデル(PTM)による顕著なパフォーマンスを実現している。 我々は,タスク間の相違に基づいて,成長するかどうか (LW2G) をtextbfLearn Wearn に送信するプラグインモジュールを提案する。 グラディエント・プロジェクションの継続学習にインスパイアされたLW2Gは、Hinder Forward Capability(HFC)と呼ばれるメトリクスを開発し、新しいタスクの学習に課される障害を測定する。
  論文  参考訳（メタデータ） (2024-09-27T15:55:13Z)
• How Can LLM Guide RL? A Value-Based Approach [68.55316627400683]
  強化学習(Reinforcement Learning, RL)は、将来の行動方針をフィードバックで改善することにより、シーケンシャルな意思決定問題の事実上の標準的実践となった。 大規模言語モデル(LLM)の最近の発展は、言語理解と生成において印象的な能力を示したが、探索と自己改善能力に欠けていた。 我々はLINVITというアルゴリズムを開発し、LLMガイダンスを値ベースRLの正規化因子として組み込んで学習に必要なデータ量を大幅に削減する。
  論文  参考訳（メタデータ） (2024-02-25T20:07:13Z)
• Continual Learning for Large Language Models: A Survey [95.79977915131145]
  大規模言語モデル(LLM)は、大規模なトレーニングコストが高いため、頻繁な再トレーニングには適さない。 本稿では,LLMの連続学習に関する最近の研究について述べる。
  論文  参考訳（メタデータ） (2024-02-02T12:34:09Z)
• LMRL Gym: Benchmarks for Multi-Turn Reinforcement Learning with Language Models [56.25156596019168]
  本稿では,LMRL-Gymベンチマークを用いて,大規模言語モデル(LLM)のマルチターンRLの評価を行う。 我々のベンチマークは8つの異なる言語タスクで構成されており、複数ラウンドの言語相互作用が必要であり、オープンエンド対話やテキストゲームにおける様々なタスクをカバーする。
  論文  参考訳（メタデータ） (2023-11-30T03:59:31Z)
• Prompts Matter: Insights and Strategies for Prompt Engineering in Automated Software Traceability [45.235173351109374]
  大規模言語モデル(LLM)は、自動化トレーサビリティに革命をもたらす可能性がある。 本稿では,LLMからリンク予測を抽出するプロセスについて検討する。
  論文  参考訳（メタデータ） (2023-08-01T01:56:22Z)
• Meta-learning the Learning Trends Shared Across Tasks [123.10294801296926]
  グラディエントベースのメタ学習アルゴリズムは、限られたデータで新しいタスクに素早く適応する。 既存のメタ学習アプローチは、適応中の現在のタスク情報にのみ依存する。 パターン認識型メタラーニング手法を提案する。
  論文  参考訳（メタデータ） (2020-10-19T08:06:47Z)
• Auto-Sklearn 2.0: Hands-free AutoML via Meta-Learning [45.643809726832764]
  第2回ChaLearn AutoMLチャレンジへの勝利を動機とした新しいAutoMLアプローチを紹介します。 我々はPoSH Auto-Sklearnを開発した。これは、厳格な時間制限下で、AutoMLシステムが大きなデータセットでうまく機能することを可能にする。 また、真にハンズフリーなAutoMLに対する解決策を提案する。
  論文  参考訳（メタデータ） (2020-07-08T12:41:03Z)
• Online Fast Adaptation and Knowledge Accumulation: a New Approach to Continual Learning [74.07455280246212]
  継続的な学習は、新しいタスクに適応しながら、以前のタスクを忘れずにタスクの流れから学ぶエージェントを研究する。 この新たなシナリオでは、現在の連続学習、メタ学習、メタ連続学習、および連続メタ学習技術が失敗することを示します。 本稿では,このシナリオの強力なベースラインとして,人気のあるMAMLアルゴリズムのオンライン拡張であるContinual-MAMLを提案する。
  論文  参考訳（メタデータ） (2020-03-12T15:47:16Z)
• Curriculum Learning for Reinforcement Learning Domains: A Framework and Survey [53.73359052511171]
  強化学習(Reinforcement Learning, RL)は、エージェントが限られた環境フィードバックしか持たないシーケンシャルな意思決定タスクに対処するための一般的なパラダイムである。 本稿では、RLにおけるカリキュラム学習(CL)の枠組みを提案し、既存のCLメソッドを仮定、能力、目標の観点から調査・分類する。
  論文  参考訳（メタデータ） (2020-03-10T20:41:24Z)
• Automated Machine Learning: From Principles to Practices [40.57162255913511]
  AutoMLは、与えられたタスクに対して、データ駆動方式で満足いくML構成を生成することを目的としている。 まずはAutoMLの正式な定義から始め、二段階学習の目的を含むその原則を導入します。 MLパイプラインの設定、ワンショットのニューラルアーキテクチャサーチ、基礎モデルとの統合など、模範的なアプリケーションによる原則とプラクティスについて説明する。
  論文  参考訳（メタデータ） (2018-10-31T14:35:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。