論文の概要: LLM Detoxification via Transition-Aware Reward-Guided Representation Sampling

• arxiv url: http://arxiv.org/abs/2610.41165v1
• Date: Fri, 30 Oct 2026 02:42:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.593388
• Title: LLM Detoxification via Transition-Aware Reward-Guided Representation Sampling
• Title（参考訳）: トランジッションアウェア・リワード誘導型表現サンプリングによるLCMデトックス化
• Abstract要約: 本稿では,潜伏表現空間における毒性遷移に対する報酬誘導を学習するテストタイムフレームワークを提案する。 TARGRSは最先端のベースラインを一貫して上回り、RealToxicity Promptsの毒性を69.38%まで下げている。
• 参考スコア（独自算出の注目度）: 82.84041332685875
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large Language Models (LLMs) can generate toxic content, motivating effective test-time detoxification. Existing representation steering methods often rely on static or coarse interventions and provide imprecise guidance because they inadequately model transitions between toxic and non-toxic generations. We propose Transition-Aware Reward-Guided Representation Sampling (TARGRS), a test-time framework that learns reward guidance over toxicity transitions in latent representation space. During exploration, progressive steering along the toxicity direction constructs trajectories from non-toxic to toxic states. Toxicity scores along these trajectories turn sparse annotations into dense, listwise supervision for a transition-aware token-level reward model. During inference, TARGRS uses this model to guide coarse-to-fine sampling along the opposite, non-toxic direction: coarse sampling identifies the intervention needed to reach non-toxic regions, and refinement selects a detoxified representation with minimal perturbation. Experiments on 10 LLMs across RealToxicityPrompts, BOLD, and AttaQ show that TARGRS consistently outperforms state-of-the-art baselines, reducing toxicity by up to 69.38% on RealToxicityPrompts. TARGRS runs nearly as fast as the original LLM while preserving its core capabilities with minimal impact. By intervening in the language decoder space, TARGRS also extends to Large Vision-Language Models (LVLMs), reducing toxicity by up to 64.23% across 3 representative LVLMs.
• Abstract（参考訳）: 大規模言語モデル(LLM)は有害なコンテンツを生成し、効果的なテスト時間解毒を動機付ける。 既存の表現ステアリング法は、しばしば静的または粗い介入に依存し、毒性世代と非毒性世代間の遷移を不十分にモデル化するため、不正確なガイダンスを提供する。 本稿では,潜伏表現空間における毒性遷移に対する報酬ガイダンスを学習するテストタイムフレームワークであるTransition-Aware Reward-Guided Representation Sampling (TARGRS)を提案する。 探索中、毒性方向に沿った進行的な操舵は、毒性のない状態から毒性のある状態までの軌道を構成する。 これらの軌道に沿った毒性スコアは、スパースアノテーションを、トランジッション対応トークンレベルの報酬モデルのための厳密でリストワイズな監視に変換する。 粗いサンプリングは非毒性領域に到達するのに必要な介入を特定し、改良は最小の摂動で解毒された表現を選択する。 RealToxicity Prompts、BOLD、AttaQの10個のLLMの実験では、TARGRSは最先端のベースラインを一貫して上回り、RealToxicity Promptsの毒性を最大69.38%削減している。 TARGRSはオリジナルのLLMとほぼ同等の速度で動作し、最小限の影響でコア機能を維持する。 言語デコーダの分野での介入により、TARGRSはLVLM(Large Vision-Language Models)にも拡張され、3つの代表的なLVLMに対して最大64.23%の毒性が減少する。

関連論文リスト

• Where Does Toxicity Live? Mechanistic Localization and Targeted Suppression in Language Models [1.2040549525117266]
  大規模言語モデルは、しばしば有毒、憎悪、有害な内容を生成する。 我々は、特定の層やニューロンに毒性を局在させる2つの相補的リトレーニングフリーフレームワークであるMeow2XとTRNEを紹介する。 分析の結果,毒性は初期勾配層に不均等に符号化され,アーキテクチャによって異なり,単一評価装置によって体系的に過小評価されていることがわかった。
  論文  参考訳（メタデータ） (2026-05-27T05:41:19Z)
• Do Prompts Guarantee Safety? Mitigating Toxicity from LLM Generations through Subspace Intervention [6.808534332444413]
  大きな言語モデル(LLM)は強力なテキストジェネレータである。 LLMは、一見無害なプロンプトが与えられたとしても、有害または有害な内容物を生成することができる。 これは深刻な安全性の課題であり、現実世界に害を与える可能性がある。
  論文  参考訳（メタデータ） (2026-02-06T11:33:17Z)
• Projecting Out the Malice: A Global Subspace Approach to LLM Detoxification [73.77171973106567]
  大規模言語モデル(LLM)は例外的な性能を示すが、有害なコンテンツを生成する固有のリスクを生じさせる。 従来の手法では、パラメータの根底にある有害領域を排除できず、敵の攻撃に弱いモデルを残している。 我々は,このグローバルな部分空間をFFNパラメータから識別・排除することで毒性を緩和する軽量な方法であるGLOSSを提案する。
  論文  参考訳（メタデータ） (2026-01-09T09:34:53Z)
• Detoxifying Large Language Models via Autoregressive Reward Guided Representation Editing [77.75609817898035]
  大規模言語モデル(LLM)は、様々なタスクにわたって印象的なパフォーマンスを示してきたが、有害なコンテンツの生成には弱いままである。 textscAutoregressive textscReward textscGuided textscRe presentation textscEditing (ARGRE)を提案する。 ARGREは遅延表現空間内の毒性遷移を明示的にモデル化し、安定かつ正確な報酬誘導編集を可能にする。
  論文  参考訳（メタデータ） (2025-09-24T03:40:32Z)
• GloSS over Toxicity: Understanding and Mitigating Toxicity in LLMs via Global Toxic Subspace [62.68664365246247]
  本稿では,大規模言語モデル(LLM)の毒性発生機構について検討する。 GloSS(Global Toxic Subspace Suppression)は,FFNのパラメータからグローバルな毒性部分空間を同定・除去することにより毒性を緩和する軽量な4段階法である。
  論文  参考訳（メタデータ） (2025-05-20T08:29:11Z)
• Large Language Models can be Strong Self-Detoxifiers [82.6594169242814]
  SASA(Self-disciplined Autoregressive Smpling)は、大規模言語モデル(LLM)の毒性低減のための軽量制御復号アルゴリズムである。 SASAは、自己回帰サンプリング戦略を調整することにより、電流出力のマージンを追跡し、有害な部分空間から世代を分離する。 Llama-3.1-Instruct (8B), Llama-2 (7B), GPT2-L model with the RealToxicityPrompts, BOLD, and AttaQ benchmarks。
  論文  参考訳（メタデータ） (2024-10-04T17:45:15Z)
• DESTEIN: Navigating Detoxification of Language Models via Universal Steering Pairs and Head-wise Activation Fusion [16.989349884904943]
  ファインチューニングや補助モデルを含む現在のソリューションは通常、広範な計算資源を必要とする。 本稿では,資源と時間コストの低い活性化空間における表現工学を適用して,LMをデトックス化する新しい手法であるDeSteinを提案する。
  論文  参考訳（メタデータ） (2024-04-16T11:07:48Z)
• Unveiling the Implicit Toxicity in Large Language Models [77.90933074675543]
  大きな言語モデル(LLM)のオープンエンドネスと、その優れた機能を組み合わせることで、悪意のある使用のために悪用された場合、新たな安全性上の問題が発生する可能性がある。 LLMは、単純なゼロショットプロンプトによる検出が極めて困難である様々な暗黙的な有毒な出力を生成することができることを示す。 我々は,LLMの暗黙的毒性をさらに誘発する強化学習(RL)に基づく攻撃法を提案する。
  論文  参考訳（メタデータ） (2023-11-29T06:42:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。