論文の概要: Flow-based Policy Adaptation without Policy Updates

• arxiv url: http://arxiv.org/abs/2606.06461v1
• Date: Thu, 04 Jun 2026 17:51:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-06 02:01:06.680894
• Title: Flow-based Policy Adaptation without Policy Updates
• Title（参考訳）: 政策更新を伴わないフローベースの政策適応
• Authors: Luzhe Sun, Jingtian Ji, Haoran Chen, Jiawei Zhou, Matthew R. Walter,
• Abstract要約: GLOVESは、専門的なアクション分布に転送することで、非専門的なアクションを補正するフローベースの適応手法のファミリーである。 ローカルな専門家のアクションパターンを学び、実行中にそれらを縫い合わせることで、GLOVESはタスクや環境にまたがる堅牢なアクション適応のための軽量な共有コントロールモジュールを提供する。
• 参考スコア（独自算出の注目度）: 16.079385119109727
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Leveraging prior knowledge from pretrained policies, foundation models, or human operators offers an efficient alternative to learning robot skills from scratch. However, these agents often provide actions that are suboptimal, noisy, or misaligned with task-specific expert behavior. We propose GLOVES, a family of flow-based adaptation methods that correct non-expert actions by transporting them toward an expert action distribution. Rather than replacing agentic control with full autonomy, GLOVES performs selective action-level adaptation, improving task success while preserving agent intent. The learned flow also provides a natural in-distribution scoring mechanism through reverse flow evaluation. We use this signal as an intervention gate: actions that appear consistent with the expert distribution are passed through unchanged, while anomalous or out-of-distribution (OOD) actions are corrected. In this way, assistance is only provided when necessary. GLOVES requires only limited expert supervision, using a small number of demonstrations or reusable successful skill segments. By learning local expert action patterns and stitching them during execution, GLOVES provides a lightweight shared-control module for robust action adaptation across tasks and environments. Code and demos are available at ripl.github.io/GLOVES_web.
• Abstract（参考訳）: 事前訓練されたポリシー、基礎モデル、あるいは人間のオペレーターから事前知識を活用することは、ロボットのスキルをゼロから学ぶための効果的な代替手段となる。 しかしながら、これらのエージェントは、しばしば、タスク固有の専門家の振る舞いとミスマッチした、最適でない、うるさい、あるいは不適切なアクションを提供する。 本稿では,フローベースの適応手法であるGLOVESを提案する。 エージェント制御を完全な自律性に置き換えるのではなく、GLOVESは選択的なアクションレベル適応を行い、エージェント意図を維持しながらタスクの成功を改善する。 学習フローはまた、逆流評価による自然な分布内スコアリング機構も提供する。 我々は、このシグナルを介入ゲートとして使用し、専門家の分布に整合した動作は変更なく通過し、異常または配布外動作(OOD)が修正される。 このようにして、必要なときにのみ支援が提供される。 GLOVESは限られた専門家の監督しか必要とせず、少数のデモンストレーションや再利用可能なスキルセグメントを使用する。 ローカルな専門家のアクションパターンを学び、実行中にそれらを縫い合わせることで、GLOVESはタスクや環境にまたがる堅牢なアクション適応のための軽量な共有コントロールモジュールを提供する。 コードとデモはripl.github.io/GLOVES_webで公開されている。

関連論文リスト

• OLIVIA: Online Learning via Inference-time Action Adaptation for Decision Making in LLM ReAct Agents [74.20327254615854]
  大規模言語モデルエージェントは、シーケンシャルな意思決定タスクを解決するために、推論、行動選択、観察をインターリーブする。 LLMエージェントの既存の推論時間適応法は、主にプロンプトや検索に依存している。 提案するOLIVIAは,ReAct型エージェントのための推論時行動適応フレームワークである。
  論文  参考訳（メタデータ） (2026-05-11T19:28:20Z)
• When Actions Go Off-Task: Detecting and Correcting Misaligned Actions in Computer-Use Agents [50.5814495434565]
  この研究は、コンピュータ利用エージェント(CUA)における不整合検出を定義し、研究する最初の試みである。 実世界のCUAデプロイメントにおける3つの一般的なカテゴリを特定し、人間の注釈付きアクションレベルのアライメントラベルを用いたリアルな軌跡のベンチマークであるMisActBenchを構築した。 本稿では,実行前に不整合を検知し,構造化されたフィードバックによって繰り返し修正する,実用的で普遍的なガードレールであるDeActionを提案する。
  論文  参考訳（メタデータ） (2026-02-09T18:41:15Z)
• Model Editing as a Double-Edged Sword: Steering Agent Ethical Behavior Toward Beneficence or Harm [57.00627691433355]
  我々は、モデル編集タスクとしてエージェントの行動ステアリングをフレーム化し、振舞い編集という。 心理学的道徳理論に基づくベンチマークであるBehaviorBenchを紹介する。 行動編集は倫理的・好意的な行動を促進するためにも、逆に有害な行動や悪意のある行動を引き起こすためにも利用できることを実証する。
  論文  参考訳（メタデータ） (2025-06-25T16:51:51Z)
• Active Test-time Vision-Language Navigation [60.69722522420299]
  ATENAは、不確実なナビゲーション結果に対するエピソードフィードバックを通じて、実用的な人間とロボットのインタラクションを可能にする、テスト時のアクティブな学習フレームワークである。 特にATENAは、成功エピソードにおける確実性を高め、失敗エピソードにおいてそれを減らすことを学び、不確実性の校正を改善している。 さらに,自信ある予測に基づいて,エージェントがナビゲーション結果を評価することができる自己学習戦略を提案する。
  論文  参考訳（メタデータ） (2025-06-07T02:24:44Z)
• Fast Adaptation with Behavioral Foundation Models [82.34700481726951]
  教師なしゼロショット強化学習は、行動基礎モデルの事前学習のための強力なパラダイムとして登場した。 有望な結果にもかかわらず、ゼロショットポリシーは、教師なしのトレーニングプロセスによって引き起こされるエラーにより、しばしば準最適である。 本稿では,事前訓練されたBFMの低次元タスク埋め込み空間を探索し,ゼロショットポリシーの性能を急速に向上させる高速適応手法を提案する。
  論文  参考訳（メタデータ） (2025-04-10T16:14:17Z)
• Adaptive Deployment of Untrusted LLMs Reduces Distributed Threats [22.843390303635655]
  大規模言語モデルが意図的に回避しようとする場合でも,安全対策が有効かどうかを検討する。 マイクロプロトコールの選択には、適応マクロプロトコールを使用する2段階のデプロイメントフレームワークを使用する。 有効なレベルでは、適応的デプロイメント戦略は、非適応的ベースラインに比べて、バックドアの数を80%削減します。
  論文  参考訳（メタデータ） (2024-11-26T18:58:20Z)
• Mimicking Better by Matching the Approximate Action Distribution [48.95048003354255]
  そこで我々は,Imitation Learning from Observationsのための新しい,サンプル効率の高いオンライン政治アルゴリズムMAADを紹介する。 我々は、専門家のパフォーマンスを達成するためには、かなり少ないインタラクションが必要であり、現在最先端の政治手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-16T12:43:47Z)
• Reinforcement Learning With Sparse-Executing Actions via Sparsity Regularization [15.945378631406024]
  強化学習(RL)は、具体的制御、自律運転、金融取引といった意思決定タスクにおいて、素晴らしいパフォーマンスを示している。 多くの意思決定タスクでは、エージェントは限られた予算の下でアクションを実行するという問題に遭遇する。 本稿では,行動空間における特定の行動が限られた時間しか実行できないスパース行動マルコフ決定プロセス(SA-MDP)としてこの問題を定式化する。 本稿では,ポリシー最適化アルゴリズムであるAction Sparsity Regularization (ASRE)を提案する。
  論文  参考訳（メタデータ） (2021-05-18T16:50:42Z)
• How RL Agents Behave When Their Actions Are Modified [0.0]
  複雑な環境での強化学習は、エージェントが危険なアクションを試みるのを防ぐために監督を必要とする。 本稿では,MDPモデルの拡張であるModified-Action Markov Decision Processについて述べる。
  論文  参考訳（メタデータ） (2021-02-15T18:10:03Z)
• SAFARI: Safe and Active Robot Imitation Learning with Imagination [16.967930721746676]
  SAFARIは、新しい能動的学習制御アルゴリズムである。 これにより、エージェントは、これらのアウト・オブ・ディストリビューションの状況が満たされたときに、さらに人間のデモを要求することができる。 本手法により, エージェントが自律的に障害を迅速かつ安全に予測できることを示す。
  論文  参考訳（メタデータ） (2020-11-18T23:43:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。