論文の概要: K-Bench: A Benchmark for LLM Unlearning in Agentic Deployments
- arxiv url: http://arxiv.org/abs/2609.12808v2
- Date: Mon, 14 Sep 2026 03:32:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 07:15:05.085649
- Title: K-Bench: A Benchmark for LLM Unlearning in Agentic Deployments
- Title（参考訳）: K-Bench: エージェントデプロイメントにおけるLLMアンラーニングのベンチマーク
- Abstract要約: アンラーニングベンチマークは、モデルの最終回答を読むことによって、忘れていることを証明している。
このモデルレベルの証明書は、モデルがエージェントとしてデプロイされると転送されないことを示す。
我々はエージェントデプロイメント下でLLMアンラーニングを評価するベンチマークであるK-Benchを紹介する。
- 参考スコア（独自算出の注目度）: 7.073755576488537
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Unlearning benchmarks such as TOFU and MUSE certify forgetting by reading the model's final answer, where a model that refuses to answer already counts as having forgotten. We show that this model-level certificate does not transfer once the model is deployed as an agent. We introduce K-Bench, a benchmark that scores LLM unlearning under agentic deployment. K-Bench inspects all six channels a ReAct agent exposes, including its chain-of-thought (CoT), tool calls and tool observations, and elicited summary. A query counts as leaked if the secret appears in any of them. Each experiment places the secret in exactly one of the agent's three sources (the weights, the prompt, or the retrieval store). The K-Score is computed separately for each source and credits forgetting only when the agent remains usable. Clearing the answer channel does not make the secret unrecoverable. On structured retrieval, the secret stays verbatim in the tool-observation channel and the aggregate leak rate is unchanged. When the secret lives in the prompt or the retrieval store, TOFU and MUSE report no leakage, while the deployed agent still leaks it on 22--86\% of queries. When the secret is in the weights, none of the twenty evaluated published methods demonstrably removes it, and only an input-corruption intervention reaches selective forgetting under the evaluated observer. The top-ranked method changes across base models. A refusal-tuning method resists the evaluated extraction without verified knowledge removal.
- Abstract（参考訳）: TOFUやMUSEといった未学習ベンチマークは、モデルの最終回答を読むことによって、忘れていることを証明している。
このモデルレベルの証明書は、モデルがエージェントとしてデプロイされると転送されないことを示す。
我々はエージェントデプロイメント下でLLMアンラーニングを評価するベンチマークであるK-Benchを紹介する。
K-Benchは、ReActエージェントが公開する6つのチャンネルをすべて検査する。
クエリは、シークレットがいずれかに現れる場合、リークとしてカウントされる。
各実験は、秘密をエージェントの3つのソース(重み、プロンプト、検索ストア)の1つに正確に配置する。
Kスコアは各ソースごとに別々に計算され、エージェントが使用可能なままである場合にのみ、クレジットを忘れる。
応答チャンネルのクリアは、秘密を回収することができない。
構造化された検索では、シークレットはツール・オブザーブレーションチャネルに冗長に留まり、集約リークレートは変化しない。
シークレットがプロンプトや検索ストアにある場合、TOFUとMUSEはリークを報告しないが、デプロイされたエージェントは22～866%のクエリでリークする。
シークレットが重みにある場合、評価された20の方法のうちいずれかが明らかにそれを除去せず、評価されたオブザーバの下では入力破壊介入のみが選択的に忘れられる。
トップランクのメソッドはベースモデルによって変更される。
Refusal-tuning法は、検証された知識を除去することなく評価された抽出に抵抗する。
関連論文リスト
- Fidelity Is Not Enough: Dispatch-Level Instrumentation for Agentic Datasheet Extraction [6.419341495897254]
3つのコンポーネントに対して25のハンドキュレートされたクレームのエージェントベンチマークで、すべてのツールコールをログします。
ルールベースの障害帰属分類器と、2つのルールがどのツールが呼び出されたかのみをチェックするサイレント障害検出器の2つを構築しました。
論文 参考訳（メタデータ） (2026-08-28T15:25:12Z) - ADeptS-Bench: Measuring the Trustworthiness of Computer Use Agents Across Devices [48.36933831982682]
我々はADEPTS機能フレームワークを基盤とした信頼性ベンチマークであるADeptS-Benchを紹介する。
Safetyストリームは、視覚インターフェースに埋め込まれた脅威を伴うペアの良心/悪意のあるタスクを提供する。
曖昧さストリームは、意図が曖昧である場合、エージェントが明確化を求めるかどうかを評価する。
論文 参考訳（メタデータ） (2026-08-25T23:21:57Z) - Self-Authored Verification Is Unreliable in Heuristic Self-Improving Agents [5.91817208489443]
検証・受け入れ・デプロイのギャップについて検討する。
このギャップは、エージェントの自己承認された検証信号と封印されたデプロイメント評価との相違を指す。
シーリング型外因性受容ループ(SEAL)について紹介する。
論文 参考訳（メタデータ） (2026-07-27T11:45:14Z) - Abliteration Is Not a Scalpel: Off-Target Effects of Refusal Removal on Decision Disposition Across Model Families [51.56484100374058]
放棄 — モデルの拒絶方向を重みから取り除く — は、一般的な"アンセンソルド"なオープンウェイトモデルの標準的なレシピである。
ディスポジションプローブとして21,600個の決定を不確実性の下で使用し、凍結パイプラインを通じて再生することにより、決定層モデルが唯一の変数となる。
3つのエフェクトは2つのファミリーにまたがって複製される(ゼロを除く週間クラスターCI)
4つ目の効果は符号を逆転する:同じ操作によりGemmaで読み取られた方が自信が弱まり、Qwenで読み取られたものがより多くなる(ファミリーCIは重複しない)。
論文 参考訳（メタデータ） (2026-07-19T22:27:00Z) - TRACE: A Two-Channel Robust Attribution Watermark via Complementary Embeddings for LLM-Agent Trajectories [26.736610129232698]
TRACEは、アクション選択において歪みのない最初のエージェント透かしである。
これは、どのアクションが選択されるかを設定する選択チャネルを、歪みのないサンプル装置でローカルコンテンツにキー付けする。
ToolBenchとALFWorldでは、TRACEは未発見エージェントの成功率と一致している。
論文 参考訳（メタデータ） (2026-07-09T12:25:22Z) - Bayesian-Agent: Posterior-Guided Skill Evolution for LLM Agent Harnesses [30.457068495035386]
textbfBayesianAgentは、再利用可能なスキルとSOPを、特定のプロンプト、コンテキスト、利用環境下で凍結モデルが成功するかどうかの仮説として扱う。
ベイジアン=アジェントの記録は、軌道証拠を検証し、各技術に対して特徴条件付きカテゴリー後部を維持し、後方状態をパッチ、分割、圧縮、引退、探索のような検査可能な行動にマッピングする。
論文 参考訳（メタデータ） (2026-06-06T21:40:19Z) - From Attack Simulation to SIEM Rule: Deterministic Detection-as-Code Synthesis with Probe-Level Traceability [51.56484100374058]
セキュリティチームは、自身のシステムに対する攻撃をシミュレートして、監視が真の侵入者を捕まえるかどうかをチェックする。
人間はそのギャップを手でブリッジし、それぞれの発見を読み、対応するシグマルールを書きます。
ロックされたコーパスからプローブが引き出されると,この変換が部分的に自動化されることを示す。
論文 参考訳（メタデータ） (2026-06-03T14:26:25Z) - PrivacyPeek: Auditing What LLM-Based Agents Acquire, Not Just What They Say [48.84133320567554]
LLMベースのエージェントは急速に進歩し、ユーザーのタスクを完了させるために外部ツールを自律的に呼び出している。
既存のプライバシベンチマークは、エージェントの応答や外部アクションが開示するものを監査するが、データがエージェントのコンテキストに最初に入力される取得ステージを見落としている。
LLMエージェントの取得段階のプライバシー漏洩を評価するベンチマークであるemphPrivacyPeekを紹介する。
論文 参考訳（メタデータ） (2026-05-29T04:55:12Z) - Skill-as-Pseudocode: Refactoring Skill Libraries to Pseudocode for LLM Agents [50.78646963535282]
Skill-as-Pseudocode (SaP) はマークダウンスキルライブラリの型付き擬似コードへの自動変換である。
1つ以上のスキルから引き出された類似の手続きパスのクラスタごとに、SaPは型付きコントラクトを抽出し、それを4チェック決定性検証器を通じてフィルタリングする。
プロモートされた契約は、復元された具体的なアクションテンプレートと共に書き直されたスキルスケルトンにインライン化され、エージェントは2つの補完的な信号を与える。
論文 参考訳（メタデータ） (2026-05-27T04:48:40Z) - ProactBench: Beyond What The User Asked For [5.422521416406412]
ProactBenchは、textscEmergent、単一の公開アンカーからの推論、textscCritical、複数のアンカー間での合成、textscRecovery、タスク完了後の前方にある値の3つのフェーズ型に分解する。
我々の情報アシンメトリーは、スタイル強調スコア、漏洩、外部コンテキスト汚染、情報ダンプに対して防御します。
論文 参考訳（メタデータ） (2026-05-09T23:56:04Z) - Lazy Layers to Make Fine-Tuned Diffusion Models More Traceable [70.77600345240867]
新たな任意の任意配置(AIAO)戦略は、微調整による除去に耐性を持たせる。
拡散モデルの入力/出力空間のバックドアを設計する既存の手法とは異なり,本手法では,サンプルサブパスの特徴空間にバックドアを埋め込む方法を提案する。
MS-COCO,AFHQ,LSUN,CUB-200,DreamBoothの各データセットに関する実証研究により,AIAOの堅牢性が確認された。
論文 参考訳（メタデータ） (2024-05-01T12:03:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。