論文の概要: Inner Product Regularization for Imitation Learning
- arxiv url: http://arxiv.org/abs/2611.17159v1
- Date: Thu, 12 Nov 2026 17:38:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.572566
- Title: Inner Product Regularization for Imitation Learning
- Title(参考訳): 模倣学習のための内積正規化
- Abstract要約: 我々は、異なる州で同じ摂動を与えられたとき、政策のアウトプットがどう変化するかを考察する。
この知見を応用して、内積正則化(InneR)を開発する。
InneRは、ポリシーの模倣を制限することなく、摂動に対する一貫した応答を強制する。
- 参考スコア(独自算出の注目度): 8.962744258273622
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Robots that learn from demonstrations should extrapolate their policy despite state perturbations such as sensor noise, scene variation, and compounding errors. One approach to this robustness is regularization. Prior regularizers consider each state on its own and limit how sensitive the policy is to any perturbation at that state. By contrast, we explore how the policy's output shifts when given the same perturbation at different states. Our insight is that, locally, the robot should respond to state perturbations in a consistent manner: e.g., if changing an irrelevant object position does not impact the policy at one state, that same change should not shift the policy output at a nearby state. Applying this insight, we develop inner product regularization (InneR). We show that the inner product on action space induces an inner product on state space through the policy Jacobian (the Fisher information for stochastic policies), and that the null space of this inner product governs which state perturbations have a first-order effect on the policy. By clustering states whose inner products are aligned, averaging the inner products within each cluster, and minimizing the smallest eigenvalues of that average, InneR shapes the learned policy so that nearby states share a common null space. InneR enforces consistent responses to perturbations without limiting policy expressiveness, and can be appended to existing imitation learning pipelines for deterministic or stochastic policies. In simulated experiments, InneR makes learned policies more robust to irrelevant state dimensions and shifts between training and test distributions, whereas norm penalties often perform worse than behavior cloning. On a real robot arm performing three manipulation tasks, InneR raises the average success rate of a diffusion policy from 18% to 57% without additional data.
- Abstract(参考訳): デモから学ぶロボットは、センサーノイズ、シーンの変動、複合的なエラーといった状態の摂動に拘わらず、ポリシーを外挿する必要がある。
この堅牢性に対するアプローチの1つは、正規化である。
以前の正規化器は各州を独自に考慮し、その州における摂動に対して政策がどれほど敏感かを制限する。
対照的に、異なる状態における同じ摂動を与えると、政策のアウトプットがどう変化するかを検討する。
例えば、無関係な物体の位置を変更することが、ある状態におけるポリシーに影響を与えない場合、同じ変更が近くの状態におけるポリシーの出力を変えるべきではない。
この知見を応用して、内積正則化(InneR)を開発します。
作用空間上の内積は、ポリシージャコビアン(確率的ポリシーのためのフィッシャー情報)を通じて状態空間上の内積を誘導し、この内積の零空間は、状態摂動がポリシーに一階効果を持つかを支配していることを示す。
内部積が整列した状態のクラスタ化、各クラスタ内の内積の平均化、およびその平均の最小固有値の最小化により、InneRは学習されたポリシーを形作り、近くの状態が共通なヌル空間を共有する。
InneRは、ポリシー表現性を制限することなく摂動に対する一貫した応答を強制し、決定論的または確率的ポリシーのために既存の模倣学習パイプラインに追加することができる。
シミュレーション実験では、InneRは学習ポリシーをより堅牢にし、無関係な状態の次元とトレーニングとテストの分布のシフトに置き換える。
実際のロボットアームが3つの操作タスクを実行する場合、InneRは、追加データなしで拡散ポリシーの平均成功率を18%から57%に引き上げる。
関連論文リスト
- Beyond $L_\infty$-Norm Sets: Synthesizing Interpretable Non-Uniform Uncertainty Sets for Evaluation-Time State-Adversarial Robustness [2.9439848714137438]
連続制御タスクでは、異なる状態次元は異なる物理的意味を持ち、異なる程度に政策行動に影響を与える。
textbfPerformance-textbfDegradation textbfNon-textbfUniform textbfUncertainty textbfSet (method)を提案する。
論文 参考訳(メタデータ) (2026-11-02T06:01:30Z) - Implicit Neural Representations of Individual Behavior [0.0]
我々は、ラベルのない多都市行動データからポリシー表現学習を研究する。
振舞い INR は状態-作用関数の状態をその後の行動にマッピングするポリシーを表す。
振舞いINRは、最も厳しい状態-動作設定におけるポリシーの識別性を最も改善する。
論文 参考訳(メタデータ) (2026-06-10T15:19:41Z) - Robust Behavior Cloning Via Global Lipschitz Regularization [0.5767156832161817]
行動クローニングは効果的な模倣学習技術であり、自動運転車のような安全上重要な領域でも採用されている。
我々は、学習したポリシーネットワークの堅牢性を高めるために、グローバルなリプシッツ正規化アプローチを使用する。
ポリシの堅牢性を保証するために,リプシッツニューラルネットワークを構築する方法を提案する。
論文 参考訳(メタデータ) (2025-06-24T02:19:08Z) - How Generalizable Is My Behavior Cloning Policy? A Statistical Approach to Trustworthy Performance Evaluation [17.638831964639834]
行動クローニングポリシーは、人間のデモンストレーションから学ぶことで複雑なタスクを解決することに成功している。
本稿では,任意の環境下でのロボット性能について,より低バウンドなフレームワークを提案する。
実験では,シミュレーションとハードウェアの両方におけるビジュモータ操作のポリシーを評価する。
論文 参考訳(メタデータ) (2024-05-08T22:00:35Z) - Off-Policy Evaluation for Large Action Spaces via Policy Convolution [60.6953713877886]
ポリシ・コンボリューション(Policy Convolution)のファミリーは、アクション内の潜在構造を使用して、ログとターゲットポリシを戦略的に畳み込みます。
合成およびベンチマークデータセットの実験では、PCを使用する場合の平均二乗誤差(MSE)が顕著に改善されている。
論文 参考訳(メタデータ) (2023-10-24T01:00:01Z) - Robust Multi-Agent Reinforcement Learning via Adversarial
Regularization: Theoretical Foundation and Stable Algorithms [79.61176746380718]
MARL(Multi-Agent Reinforcement Learning)はいくつかの領域で有望な結果を示している。
MARLポリシーは、しばしば堅牢性を欠き、環境の小さな変化に敏感である。
政策のリプシッツ定数を制御することにより、ロバスト性を得ることができることを示す。
政策のリプシッツ連続性を促進する新しい堅牢なMARLフレームワークであるERNIEを提案する。
論文 参考訳(メタデータ) (2023-10-16T20:14:06Z) - Conformal Off-Policy Evaluation in Markov Decision Processes [53.786439742572995]
強化学習は、データから効率的な制御ポリシーを特定し評価することを目的としている。
この学習タスクのほとんどの方法は、Off-Policy Evaluation (OPE)と呼ばれ、正確さと確実性を保証するものではない。
本稿では,目標方針の真報を含む区間を所定の確信度で出力するコンフォーマル予測に基づく新しいOPE手法を提案する。
論文 参考訳(メタデータ) (2023-04-05T16:45:11Z) - Policy Dispersion in Non-Markovian Environment [53.05904889617441]
本稿では,非マルコフ環境下での国家行動ペアの歴史から,多様な政策の学習を試みる。
まず、ポリシー埋め込みを学習するために、トランスフォーマーベースの手法を採用する。
次に,政策埋め込みを積み重ねて分散行列を構築し,多様な政策の集合を誘導する。
論文 参考訳(メタデータ) (2023-02-28T11:58:39Z) - Dichotomy of Control: Separating What You Can Control from What You
Cannot [129.62135987416164]
政策の制御(行動)と政策の制御(環境)以外のメカニズムを分離する将来の条件付き教師あり学習フレームワークを提案する。
我々は,DoCが条件付入力と整合したポリシを出力し,学習したポリシを所望のハイリターン未来結果に条件付けすることで,高リターン行動が正しく引き起こされることを示す。
論文 参考訳(メタデータ) (2022-10-24T17:49:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。