論文の概要: Minimax Forward and Backward Learning of Evolving Tasks with Performance Guarantees

• arxiv url: http://arxiv.org/abs/2310.15974v1
• Date: Tue, 24 Oct 2023 16:21:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-25 17:47:47.660720
• Title: Minimax Forward and Backward Learning of Evolving Tasks with Performance Guarantees
• Title（参考訳）: 性能保証を伴う進化タスクのミニマックスフォワードと後方学習
• Authors: Ver\'onica \'Alvarez, Santiago Mazuelas, and Jose A. Lozano
• Abstract要約: タスクの増え続けるシーケンスの漸進的な学習は、正確な分類を可能にすることを約束する。 本稿では,前向き学習と後向き学習を効果的に活用するインクリメンタルミニマックスリスク分類器(IMRC)を提案する。 IMRCは、特にサンプルサイズを減らすために、大幅な性能改善をもたらす可能性がある。
• 参考スコア（独自算出の注目度）: 6.008132390640294
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: For a sequence of classification tasks that arrive over time, it is common that tasks are evolving in the sense that consecutive tasks often have a higher similarity. The incremental learning of a growing sequence of tasks holds promise to enable accurate classification even with few samples per task by leveraging information from all the tasks in the sequence (forward and backward learning). However, existing techniques developed for continual learning and concept drift adaptation are either designed for tasks with time-independent similarities or only aim to learn the last task in the sequence. This paper presents incremental minimax risk classifiers (IMRCs) that effectively exploit forward and backward learning and account for evolving tasks. In addition, we analytically characterize the performance improvement provided by forward and backward learning in terms of the tasks' expected quadratic change and the number of tasks. The experimental evaluation shows that IMRCs can result in a significant performance improvement, especially for reduced sample sizes.
• Abstract（参考訳）: 時間とともに現れる一連の分類タスクについては、連続タスクがしばしば高い類似性を持つという意味でタスクが進化していることが一般的である。 増大するタスク列の漸進的な学習は、シーケンス内のすべてのタスク(前方および後方学習)の情報を活用することで、タスク毎のサンプルが少ない場合でも正確な分類を可能にすることを約束する。 しかし、継続学習やコンセプトドリフト適応のために開発された既存の技術は、時間に依存しない類似性のあるタスクのために設計されるか、シーケンスの最後のタスクを学習するためにのみ使用される。 本稿では,前向きと後向きの学習を効果的に活用し,タスクの進化に寄与するインクリメンタルなミニマックスリスク分類器(IMRC)を提案する。 さらに,タスクの期待2次変化とタスク数の観点から,前向きと後向きの学習によって得られる性能改善を解析的に特徴付ける。 実験評価の結果,imrcは,特に試料サイズが小さくなるほど,大幅な性能向上が期待できることがわかった。

関連論文リスト

• Instruction Matters: A Simple yet Effective Task Selection for Optimized Instruction Tuning of Specific Tasks [51.15473776489712]
  本稿では,命令情報のみを利用してタスクを識別する,シンプルで効果的なタスク選択手法を提案する。 提案手法は,タスク間のペア転送可能性の複雑な測定や,対象タスクのためのデータサンプルの作成を必要とする従来の手法に比べて,はるかに効率的である。 実験の結果、命令のみに選択されたタスクセットのトレーニングにより、P3、Big-Bench、NIV2、Big-Bench Hardといったベンチマークのパフォーマンスが大幅に改善された。
  論文  参考訳（メタデータ） (2024-04-25T08:49:47Z)
• Efficient Rehearsal Free Zero Forgetting Continual Learning using Adaptive Weight Modulation [3.6683171094134805]
  継続的な学習には、長期にわたって複数のタスクの知識を取得することが含まれる。 この問題に対するほとんどのアプローチは、新しいタスクのパフォーマンスを最大化することと、以前のタスクの忘れを最小化することのバランスを求める。 提案手法は,新しいタスクの性能を最大化しつつ,忘れることのゼロを保証しようとするものである。
  論文  参考訳（メタデータ） (2023-11-26T12:36:05Z)
• Active Instruction Tuning: Improving Cross-Task Generalization by Training on Prompt Sensitive Tasks [101.40633115037983]
  インストラクションチューニング(IT)は,大規模言語モデル(LLM)を命令付き多種多様なタスクで訓練することにより,印象的なゼロショット一般化を実現する。 ITモデルの性能と一般化性を改善するために、新しいタスクをどのように選択するかは、未解決の問題である。 本稿では,情報的タスクを識別する新しいフレームワークである即時不確実性に基づくアクティブな指導チューニングを提案し,選択したタスク上でモデルをアクティブにチューニングする。
  論文  参考訳（メタデータ） (2023-11-01T04:40:05Z)
• Multitask Learning with No Regret: from Improved Confidence Bounds to Active Learning [79.07658065326592]
  推定タスクの不確実性の定量化は、オンラインやアクティブな学習など、多くの下流アプリケーションにとって重要な課題である。 タスク間の類似性やタスクの特徴を学習者に提供できない場合、課題設定において新しいマルチタスク信頼区間を提供する。 本稿では,このパラメータを事前に知らないまま,このような改善された後悔を実現する新しいオンライン学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-08-03T13:08:09Z)
• Self-paced Weight Consolidation for Continual Learning [39.27729549041708]
  連続学習アルゴリズムは、逐次的なタスク学習設定における破滅的な忘れ込みを防ぐのに人気がある。 継続学習を実現するために,自己ペーストウェイト統合(spWC)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-20T13:07:41Z)
• ForkMerge: Mitigating Negative Transfer in Auxiliary-Task Learning [59.08197876733052]
  補助タスク学習(ATL)は、関連するタスクから得られる知識を活用することにより、目標タスクの性能を向上させることを目的としている。 複数のタスクを同時に学習すると、ターゲットタスクのみを学習するよりも精度が低下することがある。 ForkMergeは、モデルを定期的に複数のブランチにフォークし、タスクの重みを自動的に検索する新しいアプローチである。
  論文  参考訳（メタデータ） (2023-01-30T02:27:02Z)
• Reinforcement Learning with Success Induced Task Prioritization [68.8204255655161]
  本稿では,自動カリキュラム学習のためのフレームワークであるSuccess induced Task Prioritization (SITP)を紹介する。 アルゴリズムはエージェントに最速の学習を提供するタスクの順序を選択する。 我々は,SITPが他のカリキュラム設計手法と一致するか,あるいは上回っていることを実証する。
  論文  参考訳（メタデータ） (2022-12-30T12:32:43Z)
• Continual Learning with Distributed Optimization: Does CoCoA Forget? [0.0]
  タスクが順次到着する継続的学習問題に着目する。 目指すのは、新しく到着したタスクに対して、以前見たタスクのパフォーマンスを低下させることなく、うまく機能することである。 分散学習アルゴリズムCOCOAについて検討する。
  論文  参考訳（メタデータ） (2022-11-30T13:49:43Z)
• Composite Learning for Robust and Effective Dense Predictions [81.2055761433725]
  マルチタスク学習は、目標タスクを補助タスクと協調的に最適化することで、より優れたモデル一般化を約束する。 自己監督型(補助的)タスクと密接な予測(目標)タスクを共同でトレーニングすることで、目標タスクの性能を継続的に向上し、補助タスクのラベル付けの必要性を排除できることが判明した。
  論文  参考訳（メタデータ） (2022-10-13T17:59:16Z)
• TAG: Task-based Accumulated Gradients for Lifelong learning [21.779858050277475]
  タスク間の関連性に基づいて学習率を適応させるタスク認識システムを提案する。 提案する適応学習率は, 破滅的な記憶の喪失だけでなく, 正の後方移動にも寄与することを示した。
  論文  参考訳（メタデータ） (2021-05-11T16:10:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。