論文の概要: On continual single index learning
- arxiv url: http://arxiv.org/abs/2102.12961v1
- Date: Thu, 25 Feb 2021 16:05:51 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-26 13:59:31.587213
- Title: On continual single index learning
- Title（参考訳）: 連続的単一索引学習について
- Authors: The Tien Mai
- Abstract要約: 私たちは、連続学習の文脈にシングルインデックスモデルの問題を一般化します。
学習者は、一連のタスクを1つずつ挑戦し、各タスクのデータセットをオンライン形式で明らかにする。
我々は,すべてのタスクに対して共通する単一インデックスと,タスク毎に特定のリンク関数を学習できる戦略を提案する。
- 参考スコア（独自算出の注目度）: 0.30458514384586394
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: In this paper, we generalize the problem of single index model to the context
of continual learning in which a learner is challenged with a sequence of tasks
one by one and the dataset of each task is revealed in an online fashion. We
propose a strategy that is able to learn a common single index for all tasks
and a specific link function for each task. The common single index allows to
transfer the informaton gained from the previous tasks to a new one. We provide
a theoretical analysis of our proposed strategy by proving some regret bounds.
Moreover, as a by-product from our work to provide an example of a within-task
algorithm, we develop a novel online algorithm for learning single index model
in an online setting and provide its regret bound.
- Abstract（参考訳）: 本稿では,単一索引モデルの問題を連続学習の文脈に一般化し,学習者が1つずつタスクのシーケンスに挑戦し,各タスクのデータセットをオンライン形式で明らかにする。
我々は,すべてのタスクに対して共通する単一インデックスと,タスク毎に特定のリンク関数を学習できる戦略を提案する。
一般的なシングルインデックスは、前のタスクから得たインフォメーションを新しいタスクに転送することができる。
提案した戦略の理論的解析は,いくつかの後悔の限界を証明して行う。
さらに,タスク内アルゴリズムの例を示すための副産物として,オンライン環境で単一のインデックスモデルを学習し,その後悔の束縛を与えるための新しいオンラインアルゴリズムを開発した。
関連論文リスト
- Data-CUBE: Data Curriculum for Instruction-based Sentence Representation
Learning [85.66907881270785]
本稿では,学習用マルチタスクデータの順序を列挙するデータカリキュラム,すなわちData-CUBEを提案する。
タスクレベルでは、タスク間の干渉リスクを最小化するために最適なタスクオーダーを見つけることを目的としている。
インスタンスレベルでは、タスク毎のすべてのインスタンスの難易度を測定し、トレーニングのためにそれらを簡単に微分できるミニバッチに分割します。
論文 参考訳（メタデータ） (2024-01-07T18:12:20Z) - Reinforcement Learning with Success Induced Task Prioritization [68.8204255655161]
本稿では,自動カリキュラム学習のためのフレームワークであるSuccess induced Task Prioritization (SITP)を紹介する。
アルゴリズムはエージェントに最速の学習を提供するタスクの順序を選択する。
我々は,SITPが他のカリキュラム設計手法と一致するか,あるいは上回っていることを実証する。
論文 参考訳（メタデータ） (2022-12-30T12:32:43Z) - Hierarchically Structured Task-Agnostic Continual Learning [0.0]
本研究では,連続学習のタスク非依存的な視点を取り入れ,階層的情報理論の最適性原理を考案する。
我々は,情報処理経路の集合を作成することで,忘れを緩和する,Mixture-of-Variational-Experts層と呼ばれるニューラルネットワーク層を提案する。
既存の連続学習アルゴリズムのようにタスク固有の知識を必要としない。
論文 参考訳（メタデータ） (2022-11-14T19:53:15Z) - Class-Incremental Learning via Knowledge Amalgamation [14.513858688486701]
破滅的な忘れ込みは、継続的な学習環境におけるディープラーニングアルゴリズムの展開を妨げる重要な問題である。
我々は、知識の融合(CFA)による破滅的な忘れを解消するための代替戦略を提唱した。
CFAは、過去のタスクに特化した複数の異種教師モデルから学生ネットワークを学習し、現在のオフライン手法に適用することができる。
論文 参考訳（メタデータ） (2022-09-05T19:49:01Z) - Fast Inference and Transfer of Compositional Task Structures for
Few-shot Task Generalization [101.72755769194677]
本稿では,タスクがサブタスクグラフによって特徴づけられる,数発の強化学習問題として定式化する。
我々のマルチタスクサブタスクグラフ推論器(MTSGI)は、トレーニングタスクから、まず、サブタスクグラフの観点から、一般的なハイレベルなタスク構造を推測する。
提案手法は,2次元グリッドワールドおよび複雑なWebナビゲーション領域において,タスクの共通基盤構造を学習し,活用し,未知のタスクへの適応を高速化する。
論文 参考訳（メタデータ） (2022-05-25T10:44:25Z) - Active Multi-Task Representation Learning [50.13453053304159]
本研究は,アクティブラーニングの手法を活用することで,資源タスクのサンプリングに関する最初の公式な研究を行う。
提案手法は, 対象タスクに対する各ソースタスクの関連性を反復的に推定し, その関連性に基づいて各ソースタスクからサンプルを抽出するアルゴリズムである。
論文 参考訳（メタデータ） (2022-02-02T08:23:24Z) - Variational Multi-Task Learning with Gumbel-Softmax Priors [105.22406384964144]
マルチタスク学習は、タスク関連性を探究し、個々のタスクを改善することを目的としている。
本稿では,複数のタスクを学習するための一般的な確率的推論フレームワークである変分マルチタスク学習(VMTL)を提案する。
論文 参考訳（メタデータ） (2021-11-09T18:49:45Z) - Learning an Interpretable Graph Structure in Multi-Task Learning [18.293397644865454]
本稿では,タスク間のマルチタスク学習と本質的な関係を解釈可能かつスパースなグラフで推定する新しい手法を提案する。
このグラフは各タスクのモデルパラメータと同時に学習するため、特定の予測問題におけるタスク間の臨界関係を反映する。
論文 参考訳（メタデータ） (2020-09-11T18:58:14Z) - Provable Meta-Learning of Linear Representations [114.656572506859]
我々は、複数の関連するタスクから共通の機能の集合を学習し、その知識を新しい未知のタスクに転送する、という2つの課題に対処する、高速でサンプル効率のアルゴリズムを提供する。
また、これらの線形特徴を学習する際のサンプルの複雑さに関する情報理論の下限も提供する。
論文 参考訳（メタデータ） (2020-02-26T18:21:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。