論文の概要: TOUR: A Trajectory-Level Unlearning Benchmark for Offline Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2607.21111v1
• Date: Thu, 23 Jul 2026 09:40:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-24 18:26:25.352655
• Title: TOUR: A Trajectory-Level Unlearning Benchmark for Offline Reinforcement Learning
• Title（参考訳）: TOUR: オフライン強化学習のための軌道レベルアンラーニングベンチマーク
• Abstract要約: オフラインRL(TOUR)におけるトラジェクトリレベルのmemOrizationとUnlearningを導入する。 TOURは、トラジェクトリレベルのパーティショニング、マッチした非メンバーコントロール、参照の再トレーニング、保持されたパフォーマンスアンカー、プライバシ監査を組み合わせたものだ。 一般的な削除ベースラインは環境に依存したプライバシ・ユーティリティーの挙動を示す。
• 参考スコア（独自算出の注目度）: 18.411026872661083
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Offline Reinforcement Learning (RL) agents are trained on fixed behavioral trajectories, which makes trajectory-level deletion important when selected data must be removed after training. Evaluating such deletion is difficult because a lower membership score can reflect trajectory removal, residual memorization visible to another attack, or policy collapse that destroys useful behavior. We introduce Trajectory-level memOrization and Unlearning in offline RL (TOUR), a benchmark that combines trajectory-level partitioning, matched non-member controls, retraining references, retained-performance anchors, and multi-attack privacy auditing. Across D4RL locomotion experiments and an exploratory AntMaze extension, TOUR shows that common deletion baselines have environment-dependent privacy-utility behavior. Retraining and fine-tuning often provide stronger retained-utility references than uniform GA+Refit, while TrajDeleter remains a useful comparator but is not uniformly stronger under the same audit. Reference-model, threshold, deviation, equivalence, action-error, representation-based, and query-limited attacks further show that a single likelihood-based membership score can overstate deletion quality. In the evaluated settings, conclusions about offline RL unlearning are therefore not stable under single-score auditing. They depend on matched non-member construction, retraining-relative calibration, attack family, retained utility, and explicit scope for diagnostic architecture or component-level evidence.
• Abstract（参考訳）: オフライン強化学習(RL)エージェントは、固定された行動軌跡に基づいて訓練される。 このような削除を評価するのは難しいのは、低いメンバーシップスコアは、軌跡の除去、他の攻撃に目に見える残留記憶、または有用な行動を破壊する政策崩壊を反映できるためである。 オフラインRL(TOUR)におけるトラジェクトリレベルのミーモライゼーションとアンラーニングを導入する。これは、トラジェクトリレベルのパーティショニング、マッチした非メンバーコントロール、参照の再トレーニング、継続パフォーマンスアンカー、マルチアタックプライバシ監査を組み合わせたベンチマークである。 D4RLのローコモーション実験と探索的なAntMaze拡張を通じて、TOURは、一般的な削除ベースラインが環境依存のプライバシユーティリティ動作を持つことを示した。 リトレーニングや微調整はGA+Refitよりも強力なユーティリティ参照を提供することが多いが、TrajDeleterは有用なコンパレータでありながら、同じ監査下では一様に強力ではない。 参照モデル、しきい値、偏差、等価性、アクションエラー、表現ベース、クエリ制限攻撃はさらに、単一の可能性ベースのメンバーシップスコアが削除品質を上書きできることを示している。 評価設定では、オフラインRLアンラーニングに関する結論はシングルスコア監査では安定しない。 それらは一致した非メンバー構成、再訓練・相対校正、攻撃ファミリー、実用性維持、診断アーキテクチャやコンポーネントレベルの証拠の明示的なスコープに依存している。

関連論文リスト

• FlowBalance: Verifier-Grounded Self-Improvement from On-Policy Reasoning Experience [18.64380706071327]
  FlowBalanceは、完全応答上の正規化分布を学習する検証器による自己改善手法である。 オンラインの軌跡ごとに、同じポリシーの凍結されたトレーニングタイムビューは、特権付きコンテキストを使用してトークンレベルのログ確率ゲインを生成する。 分析では, 群内コントラスト保存, 最小値逆KL特性, 目標報酬の単調検証, 拒否応答に対する偽陽性自己誘導に対する正確な補正が確立された。
  論文  参考訳（メタデータ） (2026-09-03T00:47:11Z)
• ARISE-RL: Agentic Rubric-Grounded Iterative Self-Evolution with Reinforcement Learning [74.19730275669227]
  ARISE-RLは、オープンエンドエージェントをトレーニングするための新しいフルサイクルの自己進化フレームワークである。 Reward-Gated Self-Evolution Distillation (RG-SED)を提案する。 ECR-Benchは,シングルツールディープリサーチとマルチツールトラベルプランニングを対象とする,専門家校正型ルーリックベンチマークスイートである。
  論文  参考訳（メタデータ） (2026-09-01T10:54:13Z)
• Group-Reflective Self-Distillation for Agentic Reinforcement Learning [8.041052886037766]
  GRSD(Group-Reflective Self-Distillation)は、政策が検証したロールアウトから、能力の整合性と結果の差別的なガイダンスを導出する。 GRSDは競争ベースラインを一貫して上回り、目に見えないタスクをより効果的に一般化する。
  論文  参考訳（メタデータ） (2026-07-30T11:49:46Z)
• Why Multi-Step Tool-Use Reinforcement Learning Collapses and How Supervisory Signals Fix It [23.538941671680806]
  ツールの使用により、大きな言語モデルで複雑なタスクを実行できる。 近年のエージェント強化学習法では, モデル能力の向上が期待できる。 いくつかのモデルは破滅的な崩壊を示し、パフォーマンスが突然低下し、ツール呼び出し構造が失敗する。
  論文  参考訳（メタデータ） (2026-06-24T16:55:56Z)
• Erased, but Not Gone: Output Forgetting Is Not True Forgetting [9.095371772236932]
  標準出力レベル評価は、アンラーニングの成功を体系的に過大評価できることを示す。 この強いレンズの下では、現在の手法はしばしば出力層で忘れられ、再トレーニングに対して構造化ミスマッチを示す。 この構造ミスマッチは、非対称性を忘れ/保持し、方向ミスマッチ、およびリトレーニング関連方向に沿った集中残差を特徴とする。
  論文  参考訳（メタデータ） (2026-06-23T16:23:53Z)
• PACT: Privileged Trace Co-Training for Multi-Turn Tool-Use Agents [57.69188221227875]
  マルチターンツール利用エージェントのためのPrivileged trAce Co-Trainingフレームワークを提案する。 キーとなる考え方は、専門家のトレースをロールアウト時間ヒントではなく、トレーニング時の最適化信号としてのみ使用することだ。 PACT は強い SFT および RL ベースのベースラインよりも一貫して改善されていることを示す。
  論文  参考訳（メタデータ） (2026-06-15T04:46:23Z)
• What If Consensus Lies? Selective-Complementary Reinforcement Learning at Test Time [57.533031432715084]
  TTRL(Test-Time Reinforcement Learning)は、Large Language Models(LLM)が、ラベルのないテストストリームの推論能力を向上することを可能にする。 既存のTTRL法は、正の擬似ラベル戦略にのみ依存している。 本研究では,ラベル雑音増幅を効果的に緩和する堅牢なテスト時間強化学習フレームワークであるSCRLを提案する。
  論文  参考訳（メタデータ） (2026-03-20T11:47:12Z)
• CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
  検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。 エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。 CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
  論文  参考訳（メタデータ） (2025-12-22T16:34:21Z)
• Human-in-the-loop Online Rejection Sampling for Robotic Manipulation [55.99788088622936]
  Hi-ORSは、オンライン微調整中に負の報酬を得たサンプルをフィルタリングすることで、値推定を安定化する。 Hi-ORSは、わずか1.5時間でコンタクトリッチな操作をマスターするためのpiベースのポリシーを微調整する。
  論文  参考訳（メタデータ） (2025-10-30T11:53:08Z)
• TraceHiding: Scalable Machine Unlearning for Mobility Data [1.6042394978941517]
  TraceHidingは、移動軌道データのためのスケーラブルで重要な機械学習フレームワークである。 トレーニングされたディープモデルから特定のユーザトラジェクトリを、フルリトレーニングなしで削除する。 非学習精度が向上し、MIAレジリエンスが向上し、リトレーニングよりも最大40倍のスピードアップを実現している。
  論文  参考訳（メタデータ） (2025-09-21T21:29:24Z)
• UPCORE: Utility-Preserving Coreset Selection for Balanced Unlearning [57.081646768835704]
  ユーザ仕様や法的フレームワークは、しばしば、大きな言語モデル(LLM)を含む、事前訓練されたモデルから削除される情報を必要とする。 これは、既に訓練済みのモデルからデータポイントのセットを削除または"偽造"する必要がある。 本研究では,非学習時の副次的損傷を軽減するための手法に依存しないデータ選択フレームワークUPCOREを提案する。
  論文  参考訳（メタデータ） (2025-02-20T22:51:10Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• SMORE: Score Models for Offline Goal-Conditioned Reinforcement Learning [33.125187822259186]
  オフライン目標定義強化学習(GCRL)は、スパース報酬関数を使用して、オフラインデータセットから純粋な環境において、複数の目標を達成するための学習を行う。 我々は混合分布マッチングの新しいレンズの下でGCRLに新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-11-03T16:19:33Z)
• BRAC+: Improved Behavior Regularized Actor Critic for Offline Reinforcement Learning [14.432131909590824]
  オフライン強化学習は、以前に収集したデータセットを使用して効果的なポリシーをトレーニングすることを目的としている。 標準的なオフ・ポリティクスRLアルゴリズムは、アウト・オブ・ディストリビューション(探索されていない)アクションの値を過大評価する傾向がある。 動作の規則化によるオフライン強化学習を改善し,BRAC+を提案する。
  論文  参考訳（メタデータ） (2021-10-02T23:55:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。