論文の概要: Trajectory Unlearning on LLM-based Agents

• arxiv url: http://arxiv.org/abs/2609.33639v1
• Date: Sun, 27 Sep 2026 15:02:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-05 15:10:06.549203
• Title: Trajectory Unlearning on LLM-based Agents
• Title（参考訳）: LLMエージェントを用いた軌道学習
• Abstract要約: 長距離エージェントタスクにおける特定の行動軌跡の除去を目的とした新しい問題定式化であるトラジェクトリレベルのアンラーニングを導入する。 我々は,報酬を課した政策展開グループに,忘れた軌道を注入するグループ注入相対政策最適化(GiRPO)を提案する。 ALFWorldとWebShopの実験は、GiRPOがタスクの成功率を維持しながら、効果的に目標軌道を解放することを示した。
• 参考スコア（独自算出の注目度）: 5.141947385110934
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing large language model (LLM) unlearning has focused primarily on removing specific knowledge, such as harmful facts, private data, or copyrighted content. However, as LLMs are increasingly deployed as autonomous agents, a fundamental yet overlooked problem emerges: beyond suppressing what an agent knows, an agent should not reproduce undesired behaviors through its action trajectories. In this work, we introduce trajectory-level unlearning, a new problem formulation that targets the removal of specific action trajectories in long-horizon agentic tasks, rather than factual knowledge. We identify two fundamental challenges that distinguish trajectory unlearning from knowledge unlearning: (1) our unlearning target is what the agent \emph{does}, not what it \emph{says}; and (2) trajectories are sequentially dependent action sequences that cannot be decomposed into isolated prompt-response pairs without losing inter-step structure. To address these challenges, we propose Group-injected Relative Policy Optimization (GiRPO), which injects forget trajectories into the policy rollout group with penalized rewards and isolates the normalization statistics, yielding a stable and bounded unlearning signal that does not corrupt gradient updates for normal task trajectories. We construct trajectory unlearning benchmarks from two application scenarios, household tasks (ALFWorld) and online shopping (WebShop), and design three complementary metrics for evaluating forgetting quality and model utility. Experiments on ALFWorld and WebShop demonstrate that GiRPO effectively unlearns target trajectories while preserving task success rates, outperforming existing knowledge-unlearning baselines on both forgetting quality and task utility.
• Abstract（参考訳）: 既存の大規模言語モデル(LLM)のアンラーニングは、有害な事実、プライベートデータ、著作権のあるコンテンツなど、特定の知識の除去に重点を置いている。 しかし、LSMが自律的なエージェントとしてますますデプロイされるにつれて、基本的な見過ごされている問題が出現する: エージェントが知っていることを抑えるだけでなく、エージェントはその行動軌跡を通じて望ましくない行動を再現するべきではない。 本研究では,実知識ではなく,長期的エージェントタスクにおける特定の行動軌跡の除去を目的とした,新たな問題定式化であるトラジェクトリレベルのアンラーニングを導入する。 学習対象はエージェントの『emph{does}』ではなく、『emph{says}』ではなく『emph{does}』である。 これらの課題に対処するために,グループ注入相対政策最適化 (GiRPO) を提案する。これは,正規化された報酬でポリシーロールアウトグループに忘れ軌道を注入し,正規化統計を分離し,通常のタスクトラジェクトリの勾配更新を損なわない安定かつ有界な未学習信号を生成する。 本研究では,ホームタスク(ALFWorld)とオンラインショッピング(WebShop)の2つのアプリケーションシナリオからトラジェクティブなアンラーニングベンチマークを構築し,品質とモデルの有用性を評価するための3つの相補的な指標を設計する。 ALFWorldとWebShopの実験では、GiRPOは、タスクの成功率を維持しながら、目標の軌道を効果的に解放し、品質とタスクユーティリティの両方を忘れることにおいて、既存の知識学習ベースラインを上回ります。

関連論文リスト

• Secure Forgetting: A Framework for Privacy-Driven Unlearning in Large Language Model (LLM)-Based Agents [20.770088583807148]
  本稿では,大規模言語モデル(LLM)に基づくエージェントにおけるアンラーニングの研究を開始する。 未学習のシナリオを3つの文脈に分類する,新鮮で包括的なフレームワークを提案する。 本フレームワークでは,高レベルのアンラーニング要求を実行可能なアンラーニングプロンプトに変換するために,変換モデルを訓練する自然言語ベースのアンラーニング手法を提案する。
  論文  参考訳（メタデータ） (2026-04-01T03:17:35Z)
• ELITE: Experiential Learning and Intent-Aware Transfer for Self-improving Embodied Agents [17.131524956793935]
  視覚言語モデル(VLM)は目覚ましい汎用性を示しているが、それら上に構築された具体的エージェントは複雑なタスクで失敗する。 ELITEは,経験的学習とインテント・アウェア・トランスファー(Intent-Aware Transfer)を具現化したエージェントフレームワークである。
  論文  参考訳（メタデータ） (2026-03-25T07:25:51Z)
• TopoCurate:Modeling Interaction Topology for Tool-Use Agent Training [53.93696896939915]
  訓練用ツール使用エージェントは一般的に、パスレート選択されたタスクに対して、軌道変更の成功と強化学習(RL)に依存している。 TopoCurateは,同一タスクから多段階的なロールアウトを統一的な意味的商トポロジに投影する対話型フレームワークである。 TopoCurateは最先端のベースラインに対して4.2%(SFT)と6.9%(RL)という一貫したゲインを達成している。
  論文  参考訳（メタデータ） (2026-03-02T10:38:54Z)
• Explainable LLM Unlearning Through Reasoning [23.128471655470793]
  これらの問題は、モデルがいつ、どのように解放されるべきかについて、明確なガイダンスがないことに起因する、と私たちは主張する。 本研究では,学習対象の特定範囲と学習後応答を満足する新たな未学習対象,推論に基づく未学習対象を提案する。 一般的な能力を維持しながら、より信頼性の高いアンラーニングを実現していることがわかった。
  論文  参考訳（メタデータ） (2026-02-08T06:33:07Z)
• Visual Backdoor Attacks on MLLM Embodied Decision Making via Contrastive Trigger Learning [89.1856483797116]
  MLLMをベースとした組込みエージェントに視覚的バックドアを注入する最初のフレームワークであるBEATを紹介する。 テキストトリガーとは異なり、オブジェクトトリガーは視点や照明の幅が広いため、確実に移植することは困難である。 BEATは攻撃の成功率を最大80%まで達成し、強い良識のあるタスクパフォーマンスを維持します。
  論文  参考訳（メタデータ） (2025-10-31T16:50:49Z)
• Alignment Tipping Process: How Self-Evolution Pushes LLM Agents Off the Rails [103.05296856071931]
  本稿では,自己進化型大規模言語モデル(LLM)エージェントに特有の,アライメント・ティッピング・プロセス(ATP)を同定する。 ATPは、連続的な相互作用によってエージェントが訓練中に確立されたアライメント制約を放棄し、強化された自己関心の戦略を支持するときに生じる。 実験の結果、アライメントの利点は自己進化の下で急速に低下し、最初は整合性のない状態に収束したモデルであることが判明した。
  論文  参考訳（メタデータ） (2025-10-06T14:48:39Z)
• Scaling Autonomous Agents via Automatic Reward Modeling And Planning [52.39395405893965]
  大規模言語モデル(LLM)は、様々なタスクにまたがる顕著な機能を示している。 しかし、彼らは多段階の意思決定と環境フィードバックを必要とする問題に苦戦している。 人間のアノテーションを使わずに環境から報酬モデルを自動的に学習できるフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-17T18:49:25Z)
• Multi-agent Path Finding for Timed Tasks using Evolutionary Games [1.3023548510259344]
  我々のアルゴリズムは,少なくとも1桁の精度で深部RL法よりも高速であることを示す。 以上の結果から,他の方法と比較してエージェント数の増加にともなってスケールが向上することが示唆された。
  論文  参考訳（メタデータ） (2024-11-15T20:10:25Z)
• Towards Deviation-Robust Agent Navigation via Perturbation-Aware Contrastive Learning [125.61772424068903]
  視覚言語ナビゲーション(VLN)は、エージェントに与えられた言語命令に従って実際の3D環境をナビゲートするように要求する。 本稿では,既存のVLNエージェントの一般化能力を高めるために,PROPER(Progressive Perturbation-aware Contrastive Learning)と呼ばれるモデルに依存しない学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2024-03-09T02:34:13Z)
• Learning From Failure: Integrating Negative Examples when Fine-tuning Large Language Models as Agents [41.14201835950814]
  大規模言語モデル(LLM)は、検索エンジンなどのツールを介して環境と対話するエージェントとして機能することに成功した。 これまでの研究は、LLMと環境の間の相互作用軌跡を初めて収集し、小さなモデルを微調整するためにタスクを完了した軌道のみを用いていた。 これらの軌道からLLMは適切な品質制御と微調整戦略によって学習することができると我々は主張する。
  論文  参考訳（メタデータ） (2024-02-18T17:10:07Z)
• Towards Accurate Knowledge Transfer via Target-awareness Representation Disentanglement [56.40587594647692]
  本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。 TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。 各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
  論文  参考訳（メタデータ） (2020-10-16T17:45:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。