論文の概要: Enhancing RL Generalizability in Robotics through SHAP Analysis of Algorithms and Hyperparameters
- arxiv url: http://arxiv.org/abs/2605.02867v1
- Date: Mon, 04 May 2026 17:41:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-05 20:33:50.442104
- Title: Enhancing RL Generalizability in Robotics through SHAP Analysis of Algorithms and Hyperparameters
- Title（参考訳）: アルゴリズムとハイパーパラメータのSHAP解析によるロボットのRL一般化性向上
- Authors: Lingxiao Kong, Cong Yang, Oya Deniz Beyan, Zeyd Boukhers,
- Abstract要約: 本稿では,ロボット環境における強化学習のパフォーマンスを評価するための説明可能なフレームワークを提案する。
我々は,構成の影響パターンを経験的に分析し,一般化を促進するためにSHAP誘導構成選択を導入する。
- 参考スコア（独自算出の注目度）: 4.978287867181505
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Despite significant advances in Reinforcement Learning (RL), model performance remains highly sensitive to algorithm and hyperparameter configurations, while generalization gaps across environments complicate real-world deployment. Although prior work has studied RL generalization, the relative contribution of specific configurations to the generalization gap has not been quantitatively decomposed and systematically leveraged for configuration selection. To address this limitation, we propose an explainable framework that evaluates RL performance across robotic environments using SHapley Additive exPlanations (SHAP) to quantify configuration impacts. We establish a theoretical foundation connecting Shapley values to generalizability, empirically analyze configuration impact patterns, and introduce SHAP-guided configuration selection to enhance generalization. Our results reveal distinct patterns across algorithms and hyperparameters, with consistent configuration impacts across diverse tasks and environments. By applying these insights to configuration selection, we achieve improved RL generalizability and provide actionable guidance for practitioners.
- Abstract（参考訳）: 強化学習(RL)の大幅な進歩にもかかわらず、モデル性能はアルゴリズムやハイパーパラメータ設定に非常に敏感であり、環境間の一般化ギャップは現実のデプロイメントを複雑にしている。
以前の研究はRL一般化を研究していたが、特定の構成の一般化ギャップに対する相対的な寄与は、構成選択のために定量的に分解され、体系的に活用されることはなかった。
この制限に対処するために,SHAP(SHapley Additive ExPlanations)を用いてロボット環境におけるRL性能を定量的に評価するフレームワークを提案する。
我々は、Shapley値と一般化可能性とを結合する理論基盤を確立し、構成影響パターンを実験的に分析し、一般化を高めるためにSHAP誘導構成選択を導入する。
この結果から,アルゴリズムとハイパーパラメータにまたがる異なるパターンが明らかとなり,さまざまなタスクや環境に一貫した構成の影響が認められた。
これらの知見を構成選択に適用することにより、RLの一般化性の向上と実践者への実用的なガイダンスを提供する。
関連論文リスト
- SpecRLBench: A Benchmark for Generalization in Specification-Guided Reinforcement Learning [4.819678320271634]
仕様誘導強化学習(RL)は、複雑な時間的に拡張されたタスクを符号化するための原則的なフレームワークを提供する。
本稿では,一般化に基づくRL法の性能評価のためのベンチマークであるSpecRLBenchを紹介する。
論文 参考訳（メタデータ） (2026-04-27T17:40:18Z) - Poly-EPO: Training Exploratory Reasoning Models [62.82992914206963]
本稿では,学習後言語モデル(LM)の枠組みについて,楽観的な探索を明示的に奨励し,探索と搾取の相乗効果を促進する。
本稿では,この枠組みを探索と利用を明確に相乗化するための目的として,ポリクロミック探索政策最適化(Poly-EPO)を提案する。
論文 参考訳（メタデータ） (2026-04-19T22:54:19Z) - Benchmarking Reinforcement Learning via Stochastic Converse Optimality: Generating Systems with Known Optimal Policies [0.0]
雑音を伴う離散時間・制御アフィン非線形システムに逆最適性を拡張することで、厳密なベンチマークフレームワークを導入する。
本フレームワークは,所定値関数とポリシが構築システムに最適である,必要かつ十分な条件を提供する。
多様な環境を自動的に構築し、アルゴリズム間で制御され包括的な評価を行うためのフレームワークの能力を示すことによって、それを検証する。
論文 参考訳（メタデータ） (2026-03-18T11:52:21Z) - CDRL: A Reinforcement Learning Framework Inspired by Cerebellar Circuits and Dendritic Computational Strategies [4.274782706616976]
強化学習(Reinforcement Learning, RL)は、高次元の逐次意思決定タスクにおいて顕著な性能を発揮した。
本稿では, 大規模拡張, 疎結合, 疎活性化, 樹状突起レベルの変調を組み込んだ生物基盤型RLアーキテクチャを提案する。
ノイズの多い高次元RLベンチマークの実験では、小脳アーキテクチャと樹状調節の両方が、従来の設計に比べて標本効率、堅牢性、一般化を一貫して改善していることが示されている。
論文 参考訳（メタデータ） (2026-02-17T05:25:09Z) - Pimp My LLM: Leveraging Variability Modeling to Tune Inference Hyperparameters [0.3186130813218338]
大規模言語モデル(LLM)は、幅広いタスクでますます使われています。
彼らの相当な計算要求は、トレーニングと推論の両方のエネルギー効率と持続可能性に関する懸念を提起する。
最近の研究は、最適化手法を探求し、構成選択がエネルギー消費にどのように影響するかを分析している。
論文 参考訳（メタデータ） (2026-02-06T16:18:22Z) - TL-GRPO: Turn-Level RL for Reasoning-Guided Iterative Optimization [97.18886232580131]
大規模言語モデルは、ツール統合による複雑なタスクにおいて強力な推論能力を示している。
そこで我々はターンレベルグループサンプリングを行う軽量RLアルゴリズムであるTurn-Level GRPOを提案する。
論文 参考訳（メタデータ） (2026-01-23T06:21:33Z) - Towards A Unified PAC-Bayesian Framework for Norm-based Generalization Bounds [63.47271262149291]
PAC-Bayesianノルムに基づく一般化のための統一的なフレームワークを提案する。
提案手法の鍵となるのは、構造的重み摂動に関してネットワーク出力を定量化する感度行列である。
我々は、いくつかの既存のPAC-ベイジアン結果を特殊ケースとして回復する一般化境界の族を導出する。
論文 参考訳（メタデータ） (2026-01-13T00:42:22Z) - Sample-Efficient Neurosymbolic Deep Reinforcement Learning [49.60927398960061]
本稿では,背景記号知識を統合し,サンプル効率を向上させるニューロシンボリックディープRL手法を提案する。
オンライン推論は2つのメカニズムを通じてトレーニングプロセスのガイドを行う。
我々は、最先端の報奨機ベースラインよりも優れた性能を示す。
論文 参考訳（メタデータ） (2026-01-06T09:28:53Z) - Hyperparameter Optimisation with Practical Interpretability and Explanation Methods in Probabilistic Curriculum Learning [2.5352713493505785]
確率的カリキュラム学習(英: Probabilistic Curriculum Learning, PCL)は、エージェントの学習過程を構造化することにより、RLの性能を向上させるためのカリキュラム学習戦略である。
本稿では,超パラメータ相互作用の実証分析を行い,PCLアルゴリズムの性能に及ぼす効果について述べる。
論文 参考訳（メタデータ） (2025-04-09T08:41:27Z) - A General Framework for Sample-Efficient Function Approximation in
Reinforcement Learning [132.45959478064736]
モデルベースとモデルフリー強化学習を統合した汎用フレームワークを提案する。
最適化に基づく探索のための分解可能な構造特性を持つ新しい推定関数を提案する。
本フレームワークでは,OPERA (Optimization-based Exploration with Approximation) という新しいサンプル効率アルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-09-30T17:59:16Z) - Target-Embedding Autoencoders for Supervised Representation Learning [111.07204912245841]
本稿では,対象空間が高次元な純粋教師付き環境における一般化の枠組みを解析する。
我々は、教師付き予測のための目標埋め込みオートエンコーダ(TEA)の一般的なフレームワークのモチベーションと形式化を行い、特徴とターゲットの予測の両方から予測可能なように最適化された中間潜在表現を学習する。
論文 参考訳（メタデータ） (2020-01-23T02:37:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。