論文の概要: Rethinking Demonstration Unlearning in Imitation Learning for Robotics
- arxiv url: http://arxiv.org/abs/2608.20784v1
- Date: Fri, 21 Aug 2026 06:53:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-24 14:49:32.42727
- Title: Rethinking Demonstration Unlearning in Imitation Learning for Robotics
- Title(参考訳): ロボットの模倣学習におけるデモアンラーニングの再考
- Abstract要約: 損失を忘れたり、単一のメンバシップアタックのような機械学習から継承されたメトリクスは、クローズドループに作用するポリシーから編集が取り除かれたものを確立しない。
そこで,本研究では,2つの軸に沿った実証的アンラーニング(unlearning)を読み取るリトレイン校正監査(retrain-calibrated audit)を導入する。
- 参考スコア(独自算出の注目度): 4.7767476304018075
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Imitation learning for robotics depends on human demonstrations, some of which people may later ask to remove. Retraining without them is the natural reference, but its cost grows with policy and dataset scale, motivating cheaper operators that edit a trained policy. Metrics inherited from machine unlearning, such as forgetting loss or a single membership attack, do not establish what an edit removed from a policy acting in closed loop. We therefore introduce a retrain-calibrated audit that reads demonstration unlearning along two axes: behavior, whether the edited policy acts like one retrained without the removed demonstrations, and evidence, whether an auditor can still detect it was trained on them. The behavior axis measures action divergence to that retrain at matched states, calibrated by a floor built from independent retrains, so a policy at the floor is as close to a retrain as retrains are to each other. The evidence axis applies a per-demonstration membership attack against a retrain null, reporting both its rank and its absolute member-loss level, since rank alone accepts operators that inflate member losses past the null. A conformal test then combines both axes into one hypothesis of joint retrain consistency, against a fleet of independent retrains large enough to reject at conventional significance. Across five preregistered conditions on three real-robot policy classes and two simulation suites, the axes dissociate in both directions on one checkpoint, as an edit may repair task behavior while leaving evidence unchanged, or reduce evidence while moving behavior away from retraining. On the ACT arm, a redirect edit restores blind-scored robot success to 18 of 20 trials.
- Abstract(参考訳): ロボットの模倣学習は人間のデモに依存するが、そのうちのいくつかは後に除去を求めるかもしれない。
しかし、そのコストはポリシーとデータセットのスケールによって増大し、訓練されたポリシーを編集するより安価なオペレーターを動機付けている。
損失を忘れたり、単一のメンバシップアタックのような機械学習から継承されたメトリクスは、クローズドループに作用するポリシーから編集が取り除かれたものを確立しない。
そこで,本研究では,2つの軸に沿った実証的アンラーニング(unlearning)を読み取るリトレイン校正監査(retrain-calibrated audit)を導入する。
行動軸は、独立した再列車から構築された床によって校正された整合状態における再列車に対する行動のばらつきを測定するため、床での政策は、再列車が互いに関連しているのと同じくらい、再列車に近い。
エビデンス軸は、列のみがヌルを超えるメンバ損失を増大させる演算子を受け入れるため、列と絶対メンバロスレベルの両方を報告し、再トレーニングヌルに対して、デモレーション毎のメンバシップアタックを適用します。
コンフォメーションテストは、2つの軸を1つの連立リトレイン整合性の仮説に結合し、従来の重要性で拒絶できるほど大きな独立したリトレインの群に対して行われる。
3つの実ロボットポリシークラスと2つのシミュレーションスイートに関する5つの事前登録条件の中で、軸は1つのチェックポイント上の両方の方向で解離する。
ACTアームでは、リダイレクト編集によって目隠しされたロボットの成功を20の試験のうち18に復元する。
関連論文リスト
- The Latent That Never Was: A Forensic Re-run of the CVAE Ablation in Action Chunking Transformer [3.4858077573471102]
Action Chunking Transformer (ACT)は、デモからロボット操作を学ぶために広く使われている。
条件付き変分オートエンコーダは、トレーニング中にデモの違いをキャプチャするエンコーダを含む。
ACTの論文は、エンコーダの除去によって、人間の実演でシミュレーションされた2つのタスクにおいて、平均成功率が35%から2%に低下したと報告した。
私たちは、このアブレーションを元のコードで再分類し、結果が実装やトレーニングデータに依存するかどうかを確認します。
論文 参考訳(メタデータ) (2026-09-15T07:18:26Z) - RecurSE: Bounded Recursive Self-Evaluation for LLM Rubric Judges [48.831446371402414]
RecurSEは、訓練可能な裁判官と同期されたポリシーコピーチェッカーをペアにして、裁判官のメタルーブリックに対する推論を監査し、スカラープロセスの報酬を提供する。
本稿では,RecurSEが医療,ペアワイド,要約,プロフェッショナルベンチマークにおいて一貫した一般化を実現していることを示す。
論文 参考訳(メタデータ) (2026-08-25T08:35:04Z) - Benign on Label, Malicious by Design: Clean-Label Dormant-to-Activated Backdoor via Machine Unlearning with Removable Camouflage [10.10240378510637]
既存のバックドアアタックは、バックドアの移植直後に有効になることが多く、そのため、エクスプロイト前に露出することがある。
トレーニング後に非アクティブに残し、選択したトレーニング記録が学習された後にのみ有効となることにより、マシン非学習活性化休眠バックドアを学習する。
本稿では,二元数学習に基づくクリーンラベルの未学習アクティベートバックドアフレームワークを提案し,二段階最適化問題として定式化する。
論文 参考訳(メタデータ) (2026-07-30T09:46:02Z) - TOUR: A Trajectory-Level Unlearning Benchmark for Offline Reinforcement Learning [18.411026872661083]
オフラインRL(TOUR)におけるトラジェクトリレベルのmemOrizationとUnlearningを導入する。
TOURは、トラジェクトリレベルのパーティショニング、マッチした非メンバーコントロール、参照の再トレーニング、保持されたパフォーマンスアンカー、プライバシ監査を組み合わせたものだ。
一般的な削除ベースラインは環境に依存したプライバシ・ユーティリティーの挙動を示す。
論文 参考訳(メタデータ) (2026-07-23T09:40:40Z) - Zero2Skill: Bootstrapping Robot Skills through Autonomous Data Collection, Training, and Deployment [53.913175773174636]
既存のパイプラインは、自己リセット、VLM検証、言語指導による修正を通じて、人間の労力を減らす。
Zero2Skill(ゼロ2スキル)は、人ロボットの共生型エージェントシステムで、丸ごとの修正を維持・再利用する。
論文 参考訳(メタデータ) (2026-07-15T17:16:24Z) - Perfect Demo Makes Poor Teacher: Learning Robust Alignment from Critical Motion Segments [53.85970147743299]
専門家によるデモンストレーションは、ロボット模倣学習における金の標準であると広く考えられている。
しかし、挿入、積み重ね、アライメントなどのきめ細かい操作のために、私たちは直感的な失敗モードを発見しました。
視覚言語モデルとアクションエキスパートをブリッジする,コンパクトな動的特徴であるSTAIRを導入する。
論文 参考訳(メタデータ) (2026-06-14T04:15:29Z) - Survive or Collapse: The Asymmetric Roles of Data Gating and Reward Grounding in Self-Play RL [76.45061154544568]
セルフプレイ強化学習は、言語モデルを独自の生成タスクで訓練し、人間ラベルなしでプロジェクタとソルバを共進化させる。
最近のシステムでは強い推理効果が報告されているが、崩壊と不安定性は広く観察され、理解されていない。
代わりに、自己プレイの安定性は、提案者生成タスクがトレーニングプールに入るかを判断するデータレベルゲートと、すでに認められたタスクに関するポリシーを更新する報酬信号の2つの異なるレバーによって管理されていると論じる。
論文 参考訳(メタデータ) (2026-05-21T09:19:23Z) - Conservative Offline Robot Policy Learning via Posterior-Transition Reweighting [36.23660195981511]
PTR(Posterior-Transition Reweighting)は、報酬のない、保守的なポストトレーニング手法である。
各トレーニングサンプルが管理された更新にどの程度影響するかを決定する。
PTRは、各サンプルの反応後の結果が現在の表現の下にあるかに応じてクレジットを再配置する。
論文 参考訳(メタデータ) (2026-03-17T14:05:35Z) - Embedding Classical Balance Control Principles in Reinforcement Learning for Humanoid Recovery [1.0883174135300417]
人間は転倒や回復不能な障害状態に対して脆弱であり、非構造化環境での実用性を制限する。
古典的バランス指標を埋め込むことにより、この制限に対処する統一的なRLポリシーを提案する。
このポリシーは、ランダム化された初期ポーズと記述されていないフォール設定で93.4%のリカバリ率を達成する。
論文 参考訳(メタデータ) (2026-03-09T17:02:30Z) - A Granular Study of Safety Pretraining under Model Abliteration [64.24346997570275]
本稿では,リフレクションに敏感な方向を除去する軽量プロジェクション技術であるモデルアブリーブレーションについて検討する。
我々は、バランスのとれた有害かつ無害なケースで100のプロンプトを発行し、複数の判断を用いて**Refusal*または***Non-Refusal*として応答を分類し、判断の忠実さを検証する。
本研究は,データ中心の安全コンポーネントが失語中も頑健であるチェックポイントレベルの特徴付けを行う。
論文 参考訳(メタデータ) (2025-10-03T07:01:45Z) - Reinforcement Learning with Verifiable yet Noisy Rewards under Imperfect Verifiers [90.50039419576807]
RLVR(Reinforcement Learning with Verifiable Rewards)は、人為的なラベル付けを避けるために、自動検証に対するポリシーを訓練する。
認証ハッキングの脆弱性を軽減するため、多くのRLVRシステムはトレーニング中にバイナリ$0,1$の報酬を破棄する。
この選択にはコストがかかる:textitfalse negatives(正しい回答、FNを拒絶)とtextitfalse positives(間違った回答、FPを受け入れる)を導入する。
論文 参考訳(メタデータ) (2025-10-01T13:56:44Z) - Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple
Logits Retargeting Approach [102.0769560460338]
我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。
提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
論文 参考訳(メタデータ) (2024-03-01T03:27:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。