論文の概要: A Tensor Low-Rank Approximation for Value Functions in Multi-Task Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2501.10529v1
• Date: Fri, 17 Jan 2025 20:07:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-22 14:21:40.619543
• Title: A Tensor Low-Rank Approximation for Value Functions in Multi-Task Reinforcement Learning
• Title（参考訳）: マルチタスク強化学習における値関数のテンソル低ランク近似
• Authors: Sergio Rozada, Santiago Paternain, Juan Andres Bazerque, Antonio G. Marques,
• Abstract要約: 物理環境下でのトレーニングが可能な強化学習システムを探るため,マルチタスクアプローチについて検討した。 低ランク構造は類似性の概念を強制するが、どのタスクが類似しているかを明確に規定する必要はない。 マルチタスク学習における低ランクテンソルアプローチの有効性を2つの数値実験で実証した。
• 参考スコア（独自算出の注目度）: 10.359616364592073
• License:
• Abstract: In pursuit of reinforcement learning systems that could train in physical environments, we investigate multi-task approaches as a means to alleviate the need for massive data acquisition. In a tabular scenario where the Q-functions are collected across tasks, we model our learning problem as optimizing a higher order tensor structure. Recognizing that close-related tasks may require similar actions, our proposed method imposes a low-rank condition on this aggregated Q-tensor. The rationale behind this approach to multi-task learning is that the low-rank structure enforces the notion of similarity, without the need to explicitly prescribe which tasks are similar, but inferring this information from a reduced amount of data simultaneously with the stochastic optimization of the Q-tensor. The efficiency of our low-rank tensor approach to multi-task learning is demonstrated in two numerical experiments, first in a benchmark environment formed by a collection of inverted pendulums, and then into a practical scenario involving multiple wireless communication devices.
• Abstract（参考訳）: 物理環境でのトレーニングが可能な強化学習システムを追求するため,大規模データ取得の必要性を軽減する手段としてマルチタスクアプローチを検討した。 タスク間でQ-関数が収集される表のシナリオでは、学習問題を高次テンソル構造を最適化するものとしてモデル化する。 そこで本提案手法では, 近いタスクに類似した動作が必要であることを認識し, 集約されたQテンソルに低ランク条件を課す。 マルチタスク学習に対するこのアプローチの理論的背景には、低ランク構造が類似性の概念を強制するが、どのタスクが類似しているかを明確に規定する必要はない。 マルチタスク学習に対する低ランクテンソルアプローチの効率性は,まず逆振り子の集合によって形成されたベンチマーク環境で,次に複数の無線通信装置を含む現実的なシナリオにおいて,2つの数値実験で実証された。

関連論文リスト

• Data-CUBE: Data Curriculum for Instruction-based Sentence Representation Learning [85.66907881270785]
  本稿では,学習用マルチタスクデータの順序を列挙するデータカリキュラム,すなわちData-CUBEを提案する。 タスクレベルでは、タスク間の干渉リスクを最小化するために最適なタスクオーダーを見つけることを目的としている。 インスタンスレベルでは、タスク毎のすべてのインスタンスの難易度を測定し、トレーニングのためにそれらを簡単に微分できるミニバッチに分割します。
  論文  参考訳（メタデータ） (2024-01-07T18:12:20Z)
• A Multi-Task Approach to Robust Deep Reinforcement Learning for Resource Allocation [8.508198765617195]
  我々は、稀で重要なイベントを適切に扱わなければならないリソース割り当ての課題について検討する。 我々は、Elastic Weight Consolidation と Gradient Episodic Memory をバニラアクター批判スケジューラに統合する。 我々は、ブラックスワンイベントを扱う際のそれらのパフォーマンスと、トレーニングデータ分布を増大させる最先端の技術を比較した。
  論文  参考訳（メタデータ） (2023-04-25T09:05:36Z)
• Identification of Negative Transfers in Multitask Learning Using Surrogate Models [29.882265735630046]
  マルチタスク学習は、複数の関連するソースタスクで強化することで、低リソースのターゲットタスクのトレーニングに広く使用されている。 マルチタスク学習における重要な問題は、ターゲットタスクに利益をもたらすソースタスクのサブセットを特定することである。 本稿では,サロゲートモデルを用いてこの問題に対処する効率的な手法を提案する。
  論文  参考訳（メタデータ） (2023-03-25T23:16:11Z)
• Multi-task Bias-Variance Trade-off Through Functional Constraints [102.64082402388192]
  マルチタスク学習は、多様なタスクによく機能する関数の集合を取得することを目的としている。 本稿では,2つの極端な学習シナリオ,すなわちすべてのタスクに対する単一関数と,他のタスクを無視するタスク固有関数から直感を抽出する。 本稿では,集中関数に対するドメイン固有解を強制する制約付き学習定式化を導入する。
  論文  参考訳（メタデータ） (2022-10-27T16:06:47Z)
• An Evolutionary Approach to Dynamic Introduction of Tasks in Large-scale Multitask Learning Systems [4.675744559395732]
  マルチタスク学習は、複数のタスクから学習できるモデルが知識伝達によってより良い品質と効率を達成すると仮定する。 最先端のMLモデルは、タスクごとに高いカスタマイズに依存し、タスクの数をスケールするのではなく、サイズとデータスケールを活用する。 本稿では,大規模マルチタスクモデルを生成でき,新しいタスクの動的かつ連続的な追加を支援する進化的手法を提案する。
  論文  参考訳（メタデータ） (2022-05-25T13:10:47Z)
• In Defense of the Unitary Scalarization for Deep Multi-Task Learning [121.76421174107463]
  本稿では,多くの特殊マルチタスクを正規化の形式として解釈できることを示唆する理論解析について述べる。 標準正規化と安定化技術と組み合わせると、ユニタリスカラー化は複雑なマルチタスクの性能にマッチし、改善することを示す。
  論文  参考訳（メタデータ） (2022-01-11T18:44:17Z)
• Lifelong Learning Without a Task Oracle [13.331659934508764]
  監視されたディープニューラルネットワークは、新しいタスクが学習されると、古いタスクの精度が大幅に低下することが知られている。 本稿では,メモリオーバーヘッドの少ないタスク割り当てマップの提案と比較を行う。 最高のパフォーマンスの変種は、平均的なパラメータメモリの増大を1.7%に抑えるだけである。
  論文  参考訳（メタデータ） (2020-11-09T21:30:31Z)
• Multi-task Supervised Learning via Cross-learning [102.64082402388192]
  我々は,様々なタスクを解くことを目的とした回帰関数の集合を適合させることで,マルチタスク学習と呼ばれる問題を考える。 我々の新しい定式化では、これらの関数のパラメータを2つに分けて、互いに近づきながらタスク固有のドメインで学習する。 これにより、異なるドメインにまたがって収集されたデータが、互いのタスクにおける学習パフォーマンスを改善するのに役立つ、クロス・ファーティライズが促進される。
  論文  参考訳（メタデータ） (2020-10-24T21:35:57Z)
• Unsupervised Transfer Learning for Spatiotemporal Predictive Networks [90.67309545798224]
  我々は、教師なし学習されたモデルの動物園から別のネットワークへ知識を伝達する方法を研究する。 私たちのモチベーションは、モデルは異なるソースからの複雑なダイナミクスを理解することが期待されていることです。 提案手法は,時間的予測のための3つのベンチマークで大幅に改善され,重要度が低いベンチマークであっても,ターゲットのメリットが得られた。
  論文  参考訳（メタデータ） (2020-09-24T15:40:55Z)
• Reparameterizing Convolutions for Incremental Multi-Task Learning without Task Interference [75.95287293847697]
  マルチタスクモデルを開発する際の2つの一般的な課題は、しばしば文献で見過ごされる。 まず、モデルを本質的に漸進的に可能にし、以前に学んだことを忘れずに新しいタスクから情報を継続的に取り入れる(インクリメンタルラーニング)。 第二に、タスク間の有害な相互作用を排除し、マルチタスク設定(タスク干渉)においてシングルタスクのパフォーマンスを著しく低下させることが示されている。
  論文  参考訳（メタデータ） (2020-07-24T14:44:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。