論文の概要: Temporal Logic Guided Universal Task Representations for Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2608.15509v1
- Date: Sun, 16 Aug 2026 03:28:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-18 19:59:03.324353
- Title: Temporal Logic Guided Universal Task Representations for Reinforcement Learning
- Title（参考訳）: 強化学習のための時間論理的ユニバーサルタスク表現法
- Abstract要約: LOTUSは時間論理にインスパイアされた普遍的なタスク表現フレームワークである。
どんなRLアルゴリズムにもシームレスに統合でき、多様なタスク設定でエージェントのパフォーマンスを向上させることができる。
LOTUSはシングルタスクのシナリオにおいて20%以上の収束を加速し、未確認操作タスクにおいて15%-45%以上の成功率を実現し、複雑なマルチタスク環境において25%以上の一般化性能を向上させる。
- 参考スコア（独自算出の注目度）: 14.92202580772709
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Task guided agents demonstrate strong performance in a wide range of complex tasks. However, most existing task representation algorithms are tailored to specific contexts and struggle to generalize across diverse scenarios. Moreover, they typically depend on gradient signals from reinforcement learning controllers to update their weights, which can degrade both representation quality and learning efficiency. To overcome these limitations, we propose LOTUS, a temporal logic inspired universal task representation framework that can be seamlessly integrated into any RL algorithm to enhance agent performance across diverse task settings. Specifically, we design a novel task representation architecture capable of modeling relationships and extracting task semantics from LTL formulas. We further introduce a more effective update mechanism that treats the LTL encoder as a policy, thereby improving representation capacity. To enhance stability and robustness, LOTUS leverages the bisimulation metric, which provides theoretical guarantees for LTL representation, including behavioral equivalence, optimality fidelity, and trajectory robustness. Experimental results show that LOTUS outperforms most existing methods in learning efficiency, generalization capability, and representation quality. Specifically, LOTUS accelerates convergence over 20% in single-task scenarios, achieves a 15%-45% higher success rate in unseen manipulation tasks, and improves generalization performance over 25% in complex multi-task environments with increased sub-goal depth or conjunctions. The corresponding code, videos, and appendix are available at: https://lotus-website.github.io/.
- Abstract（参考訳）: タスクガイドされたエージェントは、幅広い複雑なタスクで強いパフォーマンスを示す。
しかし、既存のタスク表現アルゴリズムのほとんどは、特定のコンテキストに合わせて調整されており、様々なシナリオにまたがる一般化に苦慮している。
さらに、通常は強化学習コントローラからの勾配信号に頼って重みを更新し、表現品質と学習効率の両方を劣化させる。
この制限を克服するために,任意のRLアルゴリズムにシームレスに統合し,多様なタスク設定にまたがってエージェント性能を向上させる,時間論理にインスパイアされたユニバーサルタスク表現フレームワークであるLOTUSを提案する。
具体的には、関係をモデル化し、LTL式からタスク意味を抽出できる新しいタスク表現アーキテクチャを設計する。
さらに、LTLエンコーダをポリシーとして扱うより効率的な更新機構を導入し、表現能力を向上させる。
安定性とロバスト性を高めるため、LOTUSは、挙動等価性、最適性忠実性、軌道ロバスト性を含むLTL表現の理論的保証を提供するバイシミュレーション計量を利用する。
実験の結果,LOTUSは学習効率,一般化能力,表現品質において,既存の手法よりも優れていた。
具体的には、LOTUSはシングルタスクのシナリオにおいて20%以上の収束を加速し、目に見えない操作タスクにおいて15%-45%以上の成功率を達成するとともに、サブゴール深度や接続性を高めた複雑なマルチタスク環境において25%以上の一般化性能を向上させる。
対応するコード、ビデオ、付録は、https://lotus-website.github.io/.com/で入手できる。
関連論文リスト
- Parameter-Efficient Multi-Task Fine-Tuning in Code-Related Tasks [4.347703075408796]
本稿では,コード生成,翻訳,要約という3つのタスクにまたがるマルチタスクQLoRAの微調整について検討する。
その結果,マルチタスクQLoRAは伝達学習を効果的に活用し,競争力や優れた性能を実現していることがわかった。
より大きなモデルは正しさと品質のバランスを保ち、より小さなモデルは機能を維持するが、品質に関する問題の発生頻度が高い。
論文 参考訳（メタデータ） (2026-01-21T15:33:16Z) - A Unified Multi-Task Learning Framework for Generative Auto-Bidding with Validation-Aligned Optimization [51.27959658504722]
マルチタスク学習は、これらのタスクを共有表現を通じて共同でトレーニングするための、原則化されたフレームワークを提供する。
既存のマルチタスク最適化戦略は、主にトレーニングダイナミクスによって導かれ、不安定な入札環境ではよく一般化される。
本稿では,タスク毎のトレーニング勾配と保留有効度勾配のアライメントに基づいてタスク重みを適応的に割り当てる,バリデーション適応型マルチタスク最適化(VAMO)を提案する。
論文 参考訳（メタデータ） (2025-10-09T03:59:51Z) - ThanoRA: Task Heterogeneity-Aware Multi-Task Low-Rank Adaptation [96.86211867758652]
Low-Rank Adaptation (LoRA) は、基礎モデルの下流の微調整に広く採用されている。
タスク不均一性を考慮したマルチタスク低ランク適応フレームワークであるTanoRAを提案する。
論文 参考訳（メタデータ） (2025-05-24T11:01:45Z) - Multiple Weaks Win Single Strong: Large Language Models Ensemble Weak Reinforcement Learning Agents into a Supreme One [28.264011412168347]
モデルアンサンブルは強化学習(RL)において有効なエージェントの訓練に有用である。
LLM-Ensは,タスク固有の意味理解を用いてRLモデルのアンサンブルを強化する手法である。
論文 参考訳（メタデータ） (2025-05-21T09:35:43Z) - LIFT: Latent Implicit Functions for Task- and Data-Agnostic Encoding [4.759109475818876]
Implicit Neural Representations (INR)は、多様なデータドメインをまたいだタスクモデリングを統合するための強力なパラダイムであることが証明されている。
本稿では,メタラーニングによるマルチスケール情報をキャプチャする新しい高性能フレームワークLIFTを紹介する。
また、残差接続と表現頻度符号化を組み込んだLIFTの強化版であるReLIFTについても紹介する。
論文 参考訳（メタデータ） (2025-03-19T17:00:58Z) - Guiding Multi-agent Multi-task Reinforcement Learning by a Hierarchical Framework with Logical Reward Shaping [16.5526277899717]
本研究の目的は,論理報酬形成を伴う多エージェント協調アルゴリズムを設計することである。
Minecraftのような環境下で様々な種類のタスクで実験が行われてきた。
論文 参考訳（メタデータ） (2024-11-02T09:03:23Z) - RL-GPT: Integrating Reinforcement Learning and Code-as-policy [82.1804241891039]
本稿では,低速エージェントと高速エージェントからなる2レベル階層型フレームワークRL-GPTを提案する。
遅いエージェントはコーディングに適したアクションを分析し、速いエージェントはコーディングタスクを実行する。
この分解は、各エージェントが特定のタスクに効果的に集中し、パイプライン内で非常に効率的なことを証明します。
論文 参考訳（メタデータ） (2024-02-29T16:07:22Z) - Cross-Task Affinity Learning for Multitask Dense Scene Predictions [5.939164722752263]
マルチタスク学習(MTL)は,複数のタスクを同時に予測する能力で注目されている。
マルチタスクネットワークにおけるタスク改善を強化する軽量フレームワークであるクロスタスク親和性学習(CTAL)モジュールを紹介する。
以上の結果から,CNNとトランスフォーマーの両バックボーンに対して,シングルタスク学習よりもはるかに少ないパラメータを用いて,最先端のMTL性能を実証した。
論文 参考訳（メタデータ） (2024-01-20T05:31:47Z) - M$^3$ViT: Mixture-of-Experts Vision Transformer for Efficient Multi-task
Learning with Model-Accelerator Co-design [95.41238363769892]
マルチタスク学習(MTL)は、複数の学習タスクを単一のモデルにカプセル化し、それらのタスクを共同でよりよく学習できるようにする。
現在のMTLレギュレータは、1つのタスクだけを実行するためにさえ、ほぼすべてのモデルを起動する必要がある。
効率的なオンデバイスMTLを実現するためのモデル-アクセラレータ共設計フレームワークを提案する。
論文 参考訳（メタデータ） (2022-10-26T15:40:24Z) - Multi-task Over-the-Air Federated Learning: A Non-Orthogonal
Transmission Approach [52.85647632037537]
複数の学習タスクがエッジサーバ(ES)の協調の下でデータ収集および学習モデルのためのエッジデバイスを共有するマルチタスク・オーバーテア・フェデレーション・ラーニング(MOAFL)フレームワークを提案する。
収束解析と数値計算の両方の結果から,MOAFLフレームワークは学習性能を著しく低下させることなく,複数のタスクのアップリンク帯域幅の消費を大幅に削減できることが示された。
論文 参考訳（メタデータ） (2021-06-27T13:09:32Z) - Learning to Relate Depth and Semantics for Unsupervised Domain
Adaptation [87.1188556802942]
教師なしドメイン適応(UDA)設定において,視覚的タスク関係を符号化してモデル性能を向上させる手法を提案する。
本稿では,意味的および深さ的予測のタスク依存性を符号化する新しいクロスタスク関係層(ctrl)を提案する。
さらに、セマンティック擬似ラベルを利用してターゲットドメインを監督する反復自己学習(ISL)トレーニングスキームを提案する。
論文 参考訳（メタデータ） (2021-05-17T13:42:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。