論文の概要: Sequence Transferability and Task Order Selection in Continual Learning

• arxiv url: http://arxiv.org/abs/2502.06544v1
• Date: Mon, 10 Feb 2025 15:09:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-11 14:34:07.670269
• Title: Sequence Transferability and Task Order Selection in Continual Learning
• Title（参考訳）: 連続学習におけるシーケンス転送可能性とタスク順序選択
• Authors: Thinh Nguyen, Cuong N. Nguyen, Quang Pham, Binh T. Nguyen, Savitha Ramasamy, Xiaoli Li, Cuong V. Nguyen,
• Abstract要約: 連続学習では,タスクシーケンスの性質とモデル性能との関係を理解することが重要である。 本稿では,タスクシーケンスの総転送可能性を把握するための2つの新しい手法を提案する。 そこで我々は,連続学習におけるタスク順序選択問題に対する新しい手法を開発した。
• 参考スコア（独自算出の注目度）: 19.452713999353726
• License:
• Abstract: In continual learning, understanding the properties of task sequences and their relationships to model performance is important for developing advanced algorithms with better accuracy. However, efforts in this direction remain underdeveloped despite encouraging progress in methodology development. In this work, we investigate the impacts of sequence transferability on continual learning and propose two novel measures that capture the total transferability of a task sequence, either in the forward or backward direction. Based on the empirical properties of these measures, we then develop a new method for the task order selection problem in continual learning. Our method can be shown to offer a better performance than the conventional strategy of random task selection.
• Abstract（参考訳）: 連続学習では、タスクシーケンスの性質とモデル性能との関係を理解することが、より精度の高い高度なアルゴリズムを開発する上で重要である。 しかし、方法論開発の進歩を奨励しながらも、この方向の取り組みは未発達のままである。 本研究では,連続学習におけるシーケンス転送可能性の影響について検討し,前向きあるいは後向きのタスクシーケンスの総転送可能性を把握するための2つの新しい手法を提案する。 そこで我々は,これらの尺度の実証的特性に基づき,連続学習におけるタスク順序選択問題に対する新しい手法を開発した。 提案手法は従来のランダムなタスク選択手法よりも優れた性能を示すことを示すことができる。

関連論文リスト

• Exploring the Effectiveness and Consistency of Task Selection in Intermediate-Task Transfer Learning [21.652389166495407]
  転送性能は、異なるソースタスク間で大きなばらつきを示し、種を訓練する。 埋め込みのない方法やテキスト埋め込みと比較して、微調整された重みで構築されたタスク埋め込みは、タスク転送可能性をよりよく見積もることができる。 本稿では,内部積探索の最大化によるトークンの相互類似度の測定手法を提案する。
  論文  参考訳（メタデータ） (2024-07-23T07:31:43Z)
• Instruction Matters: A Simple yet Effective Task Selection for Optimized Instruction Tuning of Specific Tasks [51.15473776489712]
  本稿では,命令情報のみを利用してタスクを識別する,シンプルで効果的なタスク選択手法を提案する。 提案手法は,タスク間のペア転送可能性の複雑な測定や,対象タスクのためのデータサンプルの作成を必要とする従来の手法に比べて,はるかに効率的である。 実験の結果、命令のみに選択されたタスクセットのトレーニングにより、P3、Big-Bench、NIV2、Big-Bench Hardといったベンチマークのパフォーマンスが大幅に改善された。
  論文  参考訳（メタデータ） (2024-04-25T08:49:47Z)
• On the Convergence of Continual Learning with Adaptive Methods [4.351356718501137]
  適応型非連続学習法(NCCL)を提案する。 提案手法は,複数の画像分類タスクに対する継続学習既存手法の性能を向上させることを実証する。
  論文  参考訳（メタデータ） (2024-04-08T14:28:27Z)
• Continual Learning via Sequential Function-Space Variational Inference [65.96686740015902]
  連続学習を逐次関数空間変動推論として定式化した目的を提案する。 ニューラルネットワークの予測を直接正規化する目的と比較して、提案した目的はより柔軟な変動分布を可能にする。 タスクシーケンスの範囲で、逐次関数空間変動推論によってトレーニングされたニューラルネットワークは、関連する手法でトレーニングされたネットワークよりも予測精度が良いことを実証した。
  論文  参考訳（メタデータ） (2023-12-28T18:44:32Z)
• Active Instruction Tuning: Improving Cross-Task Generalization by Training on Prompt Sensitive Tasks [101.40633115037983]
  インストラクションチューニング(IT)は,大規模言語モデル(LLM)を命令付き多種多様なタスクで訓練することにより,印象的なゼロショット一般化を実現する。 ITモデルの性能と一般化性を改善するために、新しいタスクをどのように選択するかは、未解決の問題である。 本稿では,情報的タスクを識別する新しいフレームワークである即時不確実性に基づくアクティブな指導チューニングを提案し,選択したタスク上でモデルをアクティブにチューニングする。
  論文  参考訳（メタデータ） (2023-11-01T04:40:05Z)
• Minimax Forward and Backward Learning of Evolving Tasks with Performance Guarantees [6.008132390640294]
  タスクの増え続けるシーケンスの漸進的な学習は、正確な分類を可能にすることを約束する。 本稿では,前向き学習と後向き学習を効果的に活用するインクリメンタルミニマックスリスク分類器(IMRC)を提案する。 IMRCは、特にサンプルサイズを減らすために、大幅な性能改善をもたらす可能性がある。
  論文  参考訳（メタデータ） (2023-10-24T16:21:41Z)
• The Effect of Task Ordering in Continual Learning [12.571389210876315]
  再注文タスクが破滅的忘れの量に大きく影響していることが示される。 本研究では,タスクオーダリングの効果を利用して連続的な学習性能を変化させることを示す。
  論文  参考訳（メタデータ） (2022-05-26T12:56:15Z)
• CoMPS: Continual Meta Policy Search [113.33157585319906]
  逐次マルチタスク学習における課題に対処する新しいメタ学習法を開発した。 CoMPSは、いくつかの課題のある連続制御タスクにおいて、事前の継続的な学習や外部のメタ強化手法よりも優れていることが判明した。
  論文  参考訳（メタデータ） (2021-12-08T18:53:08Z)
• Measuring and Harnessing Transference in Multi-Task Learning [58.48659733262734]
  マルチタスク学習は、あるタスクによって学習された情報を活用して、他のタスクのトレーニングに役立てることができる。 情報伝達や伝達のダイナミクスを、トレーニングを通して分析する。
  論文  参考訳（メタデータ） (2020-10-29T08:25:43Z)
• Adaptive Procedural Task Generation for Hard-Exploration Problems [78.20918366839399]
  ハード探索問題における強化学習を容易にするために,適応手続きタスク生成(APT-Gen)を導入する。 私たちのアプローチの中心は、ブラックボックスの手続き生成モジュールを通じてパラメータ化されたタスク空間からタスクを作成することを学習するタスクジェネレータです。 学習進捗の直接指標がない場合のカリキュラム学習を可能にするために,生成したタスクにおけるエージェントのパフォーマンスと,対象タスクとの類似性をバランスさせてタスクジェネレータを訓練することを提案する。
  論文  参考訳（メタデータ） (2020-07-01T09:38:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。