論文の概要: Where Did It Go Wrong? Attributing Undesirable LLM Behaviors via Representation Gradient Tracing

• arxiv url: http://arxiv.org/abs/2510.02334v1
• Date: Fri, 26 Sep 2025 12:07:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-06 16:35:52.007665
• Title: Where Did It Go Wrong? Attributing Undesirable LLM Behaviors via Representation Gradient Tracing
• Title（参考訳）: どこで間違えたのか?表現勾配追跡による望ましくないLCM挙動の寄与
• Authors: Zhe Li, Wei Zhao, Yige Li, Jun Sun,
• Abstract要約: 大きな言語モデル(LLM)は目覚ましい機能を示しているが、そのデプロイメントは望ましくない振る舞いによってしばしば損なわれている。 本稿では,表現とその勾配を解析することによって,望ましくないLCMの挙動を診断する,新しい,効率的なフレームワークを提案する。 本手法は,有害な内容の追跡,バックドア中毒の検出,知識汚染の同定などのタスクに対して,系統的に評価する。
• 参考スコア（独自算出の注目度）: 12.835224376066769
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) have demonstrated remarkable capabilities, yet their deployment is frequently undermined by undesirable behaviors such as generating harmful content, factual inaccuracies, and societal biases. Diagnosing the root causes of these failures poses a critical challenge for AI safety. Existing attribution methods, particularly those based on parameter gradients, often fall short due to prohibitive noisy signals and computational complexity. In this work, we introduce a novel and efficient framework that diagnoses a range of undesirable LLM behaviors by analyzing representation and its gradients, which operates directly in the model's activation space to provide a semantically meaningful signal linking outputs to their training data. We systematically evaluate our method for tasks that include tracking harmful content, detecting backdoor poisoning, and identifying knowledge contamination. The results demonstrate that our approach not only excels at sample-level attribution but also enables fine-grained token-level analysis, precisely identifying the specific samples and phrases that causally influence model behavior. This work provides a powerful diagnostic tool to understand, audit, and ultimately mitigate the risks associated with LLMs. The code is available at https://github.com/plumprc/RepT.
• Abstract（参考訳）: 大きな言語モデル(LLM)は目覚ましい能力を示しているが、その展開は有害なコンテンツ、事実的不正確さ、社会的偏見などの望ましくない振る舞いによってしばしば損なわれている。 これらの障害の根本原因を診断することは、AIの安全性にとって重要な課題となる。 既存の帰属法、特にパラメータ勾配に基づくものは、しばしば禁止的なノイズ信号と計算複雑性のために不足する。 本研究では,表現とその勾配を解析することにより,所望のLCMの動作範囲を診断し,モデルのアクティベーション空間内で直接動作させることにより,学習データに出力を関連付ける意味的に有意な信号を提供する,斬新で効率的なフレームワークを提案する。 本手法は,有害な内容の追跡,バックドア中毒の検出,知識汚染の同定などのタスクに対して,系統的に評価する。 その結果,本手法は,サンプルレベルの属性に優れるだけでなく,詳細なトークンレベルの分析が可能であり,モデル行動に因果的に影響を及ぼす特定のサンプルやフレーズを正確に同定できることがわかった。 この研究は、LSMに関連するリスクを理解し、監査し、最終的に軽減するための強力な診断ツールを提供する。 コードはhttps://github.com/plumprc/RepT.comで公開されている。

関連論文リスト

• Unlearning Isn't Invisible: Detecting Unlearning Traces in LLMs from Model Outputs [23.538087984484207]
  大規模言語モデル(LLM)のための機械学習(MU)は、特定の望ましくないデータや知識を訓練されたモデルから取り除こうとする。 未学習のトレース検出という新たな脆弱性を特定します。 非学習トレースを90%以上の精度で検出できることを示す。
  論文  参考訳（メタデータ） (2025-06-16T21:03:51Z)
• LLM Performance for Code Generation on Noisy Tasks [0.41942958779358674]
  大規模言語モデル(LLM)は、テキストが人間の読み手には理解できないレベルまで難解なタスクを解くことができることを示す。 汚染されたデータセットと目に見えないデータセットの異なる性能劣化パターンの実証的証拠を報告する。 そこで本研究では, 難燃化下での性能低下を, データセット汚染検出の可能な戦略として提案する。
  論文  参考訳（メタデータ） (2025-05-29T16:11:18Z)
• Beyond Next Token Probabilities: Learnable, Fast Detection of Hallucinations and Data Contamination on LLM Output Distributions [60.43398881149664]
  LLM出力シグナチャの効率的な符号化を訓練した軽量アテンションベースアーキテクチャであるLOS-Netを紹介する。 非常に低い検出レイテンシを維持しながら、さまざまなベンチマークやLLMで優れたパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2025-03-18T09:04:37Z)
• LLMScan: Causal Scan for LLM Misbehavior Detection [12.411972858200594]
  大規模言語モデル(LLM)は、非現実的でバイアスがあり、有害な応答を生成する。 この研究は、因果解析に基づく革新的なモニタリング技術であるLLMScanを導入している。
  論文  参考訳（メタデータ） (2024-10-22T02:27:57Z)
• Large Language Models can be Strong Self-Detoxifiers [82.6594169242814]
  SASA(Self-disciplined Autoregressive Smpling)は、大規模言語モデル(LLM)の毒性低減のための軽量制御復号アルゴリズムである。 SASAは、自己回帰サンプリング戦略を調整することにより、電流出力のマージンを追跡し、有害な部分空間から世代を分離する。 Llama-3.1-Instruct (8B), Llama-2 (7B), GPT2-L model with the RealToxicityPrompts, BOLD, and AttaQ benchmarks。
  論文  参考訳（メタデータ） (2024-10-04T17:45:15Z)
• Large Language Models for Anomaly Detection in Computational Workflows: from Supervised Fine-Tuning to In-Context Learning [9.601067780210006]
  本稿では,大規模言語モデル(LLM)を用いて,複雑なデータパターンの学習能力を活用することにより,ワークフローの異常検出を行う。 教師付き微調整 (SFT) では, 文分類のためのラベル付きデータに基づいて事前学習したLCMを微調整し, 異常を識別する。
  論文  参考訳（メタデータ） (2024-07-24T16:33:04Z)
• Exploring Automatic Cryptographic API Misuse Detection in the Era of LLMs [60.32717556756674]
  本稿では,暗号誤用の検出において,大規模言語モデルを評価するための体系的評価フレームワークを提案する。 11,940個のLCM生成レポートを詳細に分析したところ、LSMに固有の不安定性は、報告の半数以上が偽陽性になる可能性があることがわかった。 最適化されたアプローチは、従来の手法を超え、確立されたベンチマークでこれまで知られていなかった誤用を明らかにすることで、90%近い顕著な検出率を達成する。
  論文  参考訳（メタデータ） (2024-07-23T15:31:26Z)
• Model Surgery: Modulating LLM's Behavior Via Simple Parameter Editing [63.20133320524577]
  パラメータの小さなサブセットを編集することで、大きな言語モデル(LLM)の特定の振る舞いを効果的に調節できることを示す。 我々の手法は、RealToxicityPromptsデータセットで最大90.0%の毒性を減少させ、ToxiGenで49.2%を達成する。
  論文  参考訳（メタデータ） (2024-07-11T17:52:03Z)
• Get my drift? Catching LLM Task Drift with Activation Deltas [55.75645403965326]
  タスクドリフトは攻撃者がデータを流出させたり、LLMの出力に影響を与えたりすることを可能にする。 そこで, 簡易線形分類器は, 分布外テストセット上で, ほぼ完全なLOC AUCでドリフトを検出することができることを示す。 このアプローチは、プロンプトインジェクション、ジェイルブレイク、悪意のある指示など、目に見えないタスクドメインに対して驚くほどうまく一般化する。
  論文  参考訳（メタデータ） (2024-06-02T16:53:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。