論文の概要: Active Representation Learning for General Task Space with Applications in Robotics

• arxiv url: http://arxiv.org/abs/2306.08942v1
• Date: Thu, 15 Jun 2023 08:27:50 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-16 15:55:07.386622
• Title: Active Representation Learning for General Task Space with Applications in Robotics
• Title（参考訳）: 一般タスク空間の能動的表現学習とロボットへの応用
• Authors: Yifang Chen, Yingbing Huang, Simon S. Du, Kevin Jamieson, Guanya Shi
• Abstract要約: 本稿では,テキスト対話型表現学習のためのアルゴリズムフレームワークを提案する。 この枠組みの下では、双線型および特徴ベースの非線形ケースから一般的な非線形ケースまで、いくつかのインスタンス化を提供する。 我々のアルゴリズムは平均で20%-70%のベースラインを上回ります。
• 参考スコア（独自算出の注目度）: 44.36398212117328
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Representation learning based on multi-task pretraining has become a powerful approach in many domains. In particular, task-aware representation learning aims to learn an optimal representation for a specific target task by sampling data from a set of source tasks, while task-agnostic representation learning seeks to learn a universal representation for a class of tasks. In this paper, we propose a general and versatile algorithmic and theoretic framework for \textit{active representation learning}, where the learner optimally chooses which source tasks to sample from. This framework, along with a tractable meta algorithm, allows most arbitrary target and source task spaces (from discrete to continuous), covers both task-aware and task-agnostic settings, and is compatible with deep representation learning practices. We provide several instantiations under this framework, from bilinear and feature-based nonlinear to general nonlinear cases. In the bilinear case, by leveraging the non-uniform spectrum of the task representation and the calibrated source-target relevance, we prove that the sample complexity to achieve $\varepsilon$-excess risk on target scales with $ (k^*)^2 \|v^*\|_2^2 \varepsilon^{-2}$ where $k^*$ is the effective dimension of the target and $\|v^*\|_2^2 \in (0,1]$ represents the connection between source and target space. Compared to the passive one, this can save up to $\frac{1}{d_W}$ of sample complexity, where $d_W$ is the task space dimension. Finally, we demonstrate different instantiations of our meta algorithm in synthetic datasets and robotics problems, from pendulum simulations to real-world drone flight datasets. On average, our algorithms outperform baselines by $20\%-70\%$.
• Abstract（参考訳）: マルチタスク事前学習に基づく表現学習は多くの領域において強力なアプローチとなっている。 特に、タスク認識表現学習は、特定のタスクの集合からデータをサンプリングすることで、特定のタスクに対する最適な表現を学習することを目的としており、タスク認識表現学習はタスクのクラスに対する普遍的な表現を学習することを目指している。 本稿では,学習者がサンプルからどのタスクを最適に選択するかを学習者が選択する,一般的な汎用的・汎用的アルゴリズム・理論的枠組みを提案する。 このフレームワークは、抽出可能なメタアルゴリズムとともに、ほとんどの任意のターゲットとソースのタスクスペース(離散から連続まで)を可能にし、タスク認識とタスク非依存の両方をカバーし、深層表現学習プラクティスと互換性がある。 この枠組みの下で、双線型および特徴に基づく非線形から一般非線形のケースまで、いくつかのインスタンス化を提供する。 双線型の場合、タスク表現の非一様スペクトルと校正されたソース・ターゲット関係を利用して、サンプルの複雑性が目標空間とソース空間の間の接続を表す$ (k^*)^2 \|v^*\|_2^2 \varepsilon^{-2}$ (ここで $k^*$ は目標の有効次元であり、$\|v^*\|_2^2 \in (0,1]$ はソース空間とターゲット空間の間の接続を表す。 受動的に比較すると、これは最大$\frac{1}{d_W}$のサンプル複雑性を節約できる。 最後に、振り子シミュレーションから現実のドローン飛行データセットまで、我々のメタアルゴリズムのさまざまなインスタンス化を合成データセットやロボティクス問題で示す。 平均して、我々のアルゴリズムはベースラインを20-70-%$で上回っている。

関連論文リスト

• Metalearning with Very Few Samples Per Task [19.78398372660794]
  タスクが共有表現によって関連づけられるバイナリ分類について検討する。 ここでは、データ量は、見る必要のあるタスク数$t$と、タスク当たりのサンプル数$n$で測定されます。 我々の研究は、分布のないマルチタスク学習の特性とメタとマルチタスク学習の削減をもたらす。
  論文  参考訳（メタデータ） (2023-12-21T16:06:44Z)
• Improved Active Multi-Task Representation Learning via Lasso [44.607652031235716]
  本稿では,L1-regularized-relevance-based(nu1$)戦略の優位性を示す。 また、サンプルコストに敏感な設定で$nu1$ベースの戦略の可能性を特徴付けます。
  論文  参考訳（メタデータ） (2023-06-05T03:08:29Z)
• Multi-Task Imitation Learning for Linear Dynamical Systems [50.124394757116605]
  線形システム上での効率的な模倣学習のための表現学習について検討する。 学習対象ポリシーによって生成された軌道上の模倣ギャップは、$tildeOleft(frack n_xHN_mathrmshared + frack n_uN_mathrmtargetright)$で制限されている。
  論文  参考訳（メタデータ） (2022-12-01T00:14:35Z)
• On the Sample Complexity of Representation Learning in Multi-task Bandits with Global and Local structure [77.60508571062958]
  マルチタスク・バンディット問題に対する最適アーム学習の複雑さについて検討した。 アームは2つのコンポーネントで構成されます。1つはタスク間で共有され(表現と呼ばれます)、もう1つはタスク固有のもの(予測器と呼ばれます)です。 サンプルの複雑さが下界に近づき、最大で$H(Glog(delta_G)+ Xlog(delta_H))$でスケールするアルゴリズムOSRL-SCを考案する。
  論文  参考訳（メタデータ） (2022-11-28T08:40:12Z)
• Active Multi-Task Representation Learning [50.13453053304159]
  本研究は,アクティブラーニングの手法を活用することで,資源タスクのサンプリングに関する最初の公式な研究を行う。 提案手法は, 対象タスクに対する各ソースタスクの関連性を反復的に推定し, その関連性に基づいて各ソースタスクからサンプルを抽出するアルゴリズムである。
  論文  参考訳（メタデータ） (2022-02-02T08:23:24Z)
• Exploring Relational Context for Multi-Task Dense Prediction [76.86090370115]
  我々は,共通バックボーンと独立タスク固有のヘッドで表される,密集予測タスクのためのマルチタスク環境を考える。 マルチタスク設定では,グローバルやローカルなど,さまざまな注意に基づくコンテキストを探索する。 タスクペアごとに利用可能なすべてのコンテキストのプールをサンプリングするAdaptive Task-Relational Contextモジュールを提案する。
  論文  参考訳（メタデータ） (2021-04-28T16:45:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。