論文の概要: TRACE: Temporal Risk Assessment and Concept Editing for Safer Language Generation

• arxiv url: http://arxiv.org/abs/2610.15365v1
• Date: Sun, 11 Oct 2026 05:42:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.203834
• Title: TRACE: Temporal Risk Assessment and Concept Editing for Safer Language Generation
• Title（参考訳）: TRACE: 安全言語生成のための時間的リスクアセスメントと概念編集
• Abstract要約: 大規模言語モデル(LLM)は、応答を生成しながら有害なコンテンツを生成することができる。 本稿では,世代間有害な応答リスクを追跡するフレームワークであるTRACEを提案する。 トークンのアクティベーションを選択的に編集し、その検出とステアリングの決定の監査可能な痕跡を残します。
• 参考スコア（独自算出の注目度）: 10.6686798314267
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) can produce harmful content while generating a response. A useful safeguard should not only detect this risk during generation but also intervene while leaving safe responses largely unchanged and provide an auditable record of the internal patterns supporting its decisions. We propose TRACE (Temporal Risk Assessment and Concept Editing), a framework that tracks harmful-response risk during generation, selectively edits token activations, and leaves an auditable trace of its detection and steering decisions. TRACE learns a codebook of recurring activation patterns, with each codebook vector representing a latent concept. At inference time, it assigns each token activation to the nearest codebook vector to obtain the corresponding concept. A gated recurrent unit (GRU) processes the activations and their assigned concept features to predict completed-response harmfulness and a monotone cumulative streaming risk. During steering, activations assigned to harmful concepts are steered along directions defined by nearby benign targets. An external LLM labels the learned concepts post hoc, making detection sequences and harmful-to-benign edit records interpretable. Experiments across three generators and the WildGuard and S-Eval benchmarks show that TRACE improves streaming F1 over Kelp in five of six comparisons while remaining competitive on completed-response detection. TRACE's selective steering reduces Harmbench attack success with little change in refusal on originally safe responses. The post-hoc audit reveals recurring semantic structure in the learned concepts and distinct traces associated with harmful detection, safe generation, and activation edits.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、応答を生成しながら有害なコンテンツを生成することができる。 有用なセーフガードは、生成中にこのリスクを検出するだけでなく、安全な応答をほとんど変更せずに介入し、その決定を支持する内部パターンの監査可能な記録を提供する必要がある。 提案するTRACE(Temporal Risk Assessment and Concept Editing)は, 生成中の有害応答リスクを追跡し, トークンのアクティベーションを選択的に編集し, 検出・操縦決定の監査可能な痕跡を残したフレームワークである。 TRACEは繰り返し発生するアクティベーションパターンのコードブックを学習し、各コードブックベクトルは潜在概念を表す。 推論時に、各トークンアクティベーションを最も近いコードブックベクトルに割り当て、対応する概念を得る。 ゲートリカレントユニット(GRU)は、アクティベーションとそれらに割り当てられた概念特徴を処理し、完了応答の有害性とモノトン累積ストリーミングリスクを予測する。 ステアリング中、有害な概念に割り当てられたアクティベーションは、近くの良性目標によって定義された方向に沿ってステアリングされる。 外部LLMは、学習した概念をポストホックにラベル付けし、検出シーケンスと有害で良質な編集レコードを解釈する。 3つのジェネレータとWildGuardとS-Evalベンチマークによる実験によると、TRACEは6つの比較のうち5つでKelp上のストリーミングF1を改善し、完全な応答検出では競争力を維持している。 TRACEの選択的ステアリングは、Harmbench攻撃の成功を減らし、もともと安全な応答を拒否することはほとんどない。 ポストホック監査では、学習概念の反復的意味構造と、有害な検出、安全な生成、アクティベーション編集に関連する異なる痕跡を明らかにする。

関連論文リスト

• When Collaboration Becomes a Trigger: Collective Evidence-Threshold Backdoors in Multi-Agent Systems [57.450132281381066]
  ピアエビデンスが単一のメッセージによって決定されるのではなく、隠れたしきい値に達すると、バックドアの動作が起動される。 我々は,MASとBundary-Conditioned Backdoor Injection(BCBI)のための集合的エビデンス-ホールドバックドアパラダイムを導入する。 クリーンな通信力学を学習し,異常なエージェント更新を隔離する,クリーンな唯一の潜時防御であるLATTEを提案する。
  論文  参考訳（メタデータ） (2026-08-02T08:38:44Z)
• SAFETY SENTRY: Context-Aware Human Intervention via EXECUTE-ASK-REFUSE Routing [21.334890816629237]
  LLMエージェントは、ツールコールを通じて現実世界の環境に作用する。 標準セーフガードは、提案された各アクションをセーフまたはアンセーフとラベル付けするガードモデルであるが、このバイナリビューは2つの異なる決定を混同している。 問題をEXECUTE, ASK, REFUSE に対してインスタンスごとの3方向ルーティング決定として再設定し,Safety Sentry でインスタンス化する。
  論文  参考訳（メタデータ） (2026-07-15T08:38:16Z)
• Tracing Target Answers in Poisoned Retrieval Corpora via Token Influence Attribution [45.91389330863296]
  TRACEは、トークン影響の帰属を通じて応答関連トークンを追跡することによって、毒攻撃を識別する。 TRACEはまず、検索した文書間で繰り返し発生する高影響キーワードを発見し、次にモデル予測への影響を確認するための二次検証を行う。
  論文  参考訳（メタデータ） (2026-06-24T11:39:26Z)
• From Risk Classification to Action Plan Remediation: A Guardrail Feedback Driven Framework for LLM Agents [35.39244077703096]
  ガードレールは通常、実行前に提案されたアクションや入力を評価することでエージェントを保護する。 既存のガードレールは、しばしばタスク全体を安全でないものとして一様にフラグを立て、脅威を阻止するが、良心的な部分を犠牲にする。 本稿では,ガードレール生成した言語フィードバックを誘導信号として活用し,エージェントを良質な目的に合わせるためのガードレール統合エージェントフレームワークTRIADを紹介する。
  論文  参考訳（メタデータ） (2026-06-04T07:34:35Z)
• CORA: Conformal Risk-Controlled Agents for Safeguarded Mobile GUI Automation [68.53387633351484]
  有害な行為に対する統計的保証を提供するポスト・ポリティクス・プレアクション保護フレームワークであるCORA(Conformal Risk-control GUI Agent)を提案する。 CORAは、安全を選択的行動実行として再定義する:我々は、提案されたステップごとに行動条件リスクを推定するためにガーディアンモデルを訓練する。 このパラダイムを厳格に評価するために、ステップレベルのハーモラベルを持つモバイル安全違反の新しいベンチマークであるPhone-Harmを紹介する。
  論文  参考訳（メタデータ） (2026-04-10T09:41:21Z)
• SafeRedir: Prompt Embedding Redirection for Robust Unlearning in Image Generation Models [67.84174763413178]
  我々はSafeRedirを紹介した。SafeRedirは、迅速な埋め込みリダイレクトによる堅牢なアンラーニングのための軽量な推論時フレームワークである。 SafeRedirは,効果的な非学習能力,意味的・知覚的保存能力,堅牢な画像品質,対人攻撃に対する耐性の向上を実現している。
  論文  参考訳（メタデータ） (2026-01-13T15:01:38Z)
• Fantastic Reasoning Behaviors and Where to Find Them: Unsupervised Discovery of the Reasoning Process [66.38541693477181]
  本稿では, アクティベーション空間の方向として, 異なる推論挙動を符号化する, 推論ベクトルの発見のための教師なしフレームワークを提案する。 思考の連鎖トレースを文レベルの「ステップ」にセグメント化することで、リフレクションやバックトラックのような解釈可能な振る舞いに対応する歪んだ特徴を明らかにする。 本研究では,SAEデコーダ空間における信頼性関連ベクトルを同定し,応答信頼性を制御する能力を示す。
  論文  参考訳（メタデータ） (2025-12-30T05:09:11Z)
• A Granular Study of Safety Pretraining under Model Abliteration [64.24346997570275]
  本稿では,リフレクションに敏感な方向を除去する軽量プロジェクション技術であるモデルアブリーブレーションについて検討する。 我々は、バランスのとれた有害かつ無害なケースで100のプロンプトを発行し、複数の判断を用いて**Refusal*または***Non-Refusal*として応答を分類し、判断の忠実さを検証する。 本研究は,データ中心の安全コンポーネントが失語中も頑健であるチェックポイントレベルの特徴付けを行う。
  論文  参考訳（メタデータ） (2025-10-03T07:01:45Z)
• LatentGuard: Controllable Latent Steering for Robust Refusal of Attacks and Reliable Response Generation [4.29885665563186]
  LATENTGUARDは、行動アライメントと教師付き潜在空間制御を組み合わせて、解釈可能で正確な安全操縦を行うフレームワークである。 本研究は, 実用性を損なうことなく, 安全性制御性と応答解釈性の両方を向上することを示す。
  論文  参考訳（メタデータ） (2025-09-24T07:31:54Z)
• Towards Copyright Protection for Knowledge Bases of Retrieval-augmented Language Models via Reasoning [58.57194301645823]
  大規模言語モデル(LLM)は、現実のパーソナライズされたアプリケーションにますます統合されている。 RAGで使用される知識基盤の貴重かつしばしばプロプライエタリな性質は、敵による不正使用のリスクをもたらす。 これらの知識基盤を保護するための透かし技術として一般化できる既存の方法は、一般的に毒やバックドア攻撃を含む。 我々は、無害な」知識基盤の著作権保護の名称を提案する。
  論文  参考訳（メタデータ） (2025-02-10T09:15:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。