論文の概要: LEMON: Equivariant Learning over Attention Maps for Zero-Shot Misbehavior Monitoring on New LLMs

• arxiv url: http://arxiv.org/abs/2610.22723v1
• Date: Thu, 15 Oct 2026 22:53:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.693196
• Title: LEMON: Equivariant Learning over Attention Maps for Zero-Shot Misbehavior Monitoring on New LLMs
• Title（参考訳）: LEMON:Zero-Shot Misbehavior Monitoring on New LLMs
• Abstract要約: 大規模言語モデルは、高い状況下でのデプロイメントを妨げる誤った振る舞いを示す。 外部LPMをモニターとして使用するが、これは違法に高価である。 私たちは、これらの対称性の下で予測が不変であるオンライングラフニューラルネットワークベースのモニタであるLEMONを構築します。
• 参考スコア（独自算出の注目度）: 49.12186270844699
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models exhibit misbehaviors that hinder deployment in high-stakes settings. One approach to monitor such failures is to use an external LLM as a monitor, but this is prohibitively expensive. A well-known and efficient class of monitors can detect such failures from internal representations (such as activation probes), but are tied to the model they were trained on, requiring costly re-annotation as new LLMs appear. A natural way to avoid this repeated annotation cost is to develop internal-representation based monitors that transfer zero-shot across LLMs. However, such transfer is challenging because internal representations are not naturally aligned across models; in particular, attention maps, known to contain signals of misbehavior, may differ in head function, ordering, and model depth. In this work, we characterize those cross-model attention mismatches as algebraic symmetries and use geometric deep learning principles to build LEMON (Language-model Equivariant MOnitoring Network) an online graph neural network-based monitor, whose predictions are invariant under these symmetries. LEMON processes attention maps token-by-token, as they are produced and outputs a score after every token (or every window of $W$ tokens) at negligible cost. Across 16 LLMs and six datasets, in the zero-shot cross-model setting, LEMON outperforms all baselines on both hallucination and jailbreak monitoring tasks, improving over the strongest by up to 14 ROC-AUC points.
• Abstract（参考訳）: 大規模な言語モデルは、高い状況下でのデプロイメントを妨げる誤った振る舞いを示す。 このような障害を監視する1つのアプローチは、外部のLCMをモニターとして使用することだが、これは違法に高価である。 よく知られた効率的なモニタのクラスは、内部表現(アクティベーションプローブなど)からそのような障害を検出することができるが、トレーニングされたモデルと結びついており、新しいLSMが現れるにつれて、コストがかかる。 この繰り返しアノテーションのコストを回避する自然な方法は、LCM間でゼロショットを転送する内部表現ベースのモニターを開発することである。 しかし、そのような伝達は、内部表現がモデル間で自然に整列していないため、特に、注意マップは、不適切な行動の信号を含むことが知られており、ヘッド関数、順序付け、モデルの深さが異なる可能性があるため、困難である。 本研究では,これらのクロスモデル注意ミスマッチを代数対称性として特徴付け,幾何学的深層学習原理を用いて,これらの対称性の下で予測が不変であるオンライングラフニューラルネットワークベースのモニタLEMON(Language-model Equivariant Monitoring Network)を構築する。 LEMONはトークンごとにアテンションマップを処理し、トークンが生成されるたびにスコア(または$W$トークンのウィンドウ)を無視できるコストで出力する。 16のLLMと6つのデータセットが、ゼロショットのクロスモデル設定で、LEMONは幻覚とジェイルブレイクモニタリングの両方のタスクですべてのベースラインを上回り、最大14のOC-AUCポイントで改善している。

関連論文リスト

• From Early Encoding to Late Suppression: Interpreting LLMs on Character Counting Tasks [49.57538588967748]
  LLM(Large Language Model)は、複雑なベンチマークでは優れているにもかかわらず、単語中の文字数などの基本的な記号的タスクにおいて失敗を示す。 我々は、LLaMA、Qwen、Gemmaなど、現代のアーキテクチャにまたがる一貫した現象を発見した。 LLMにおけるシンボリック推論失敗は,表現不足やスケール不足によるものではなく,モデル計算グラフ内の構造的干渉によるものであることを示す。
  論文  参考訳（メタデータ） (2026-04-01T11:40:12Z)
• GrAInS: Gradient-based Attribution for Inference-Time Steering of LLMs and VLMs [56.93583799109029]
  GrAInSは推論時ステアリングのアプローチで、言語のみのモデルと視覚言語の両方のモデルとタスクで動作する。 推論中、GrAInSはトークンレベルの属性信号によって誘導されるトランスフォーマー層で隠されたアクティベーションを隠蔽し、アクティベーションを正規化し、表現スケールを保存する。 微調整と既存のステアリングベースラインの両方を一貫して上回る。
  論文  参考訳（メタデータ） (2025-07-24T02:34:13Z)
• RL-Obfuscation: Can Language Models Learn to Evade Latent-Space Monitors? [6.861292004336852]
  潜在空間モニタは、その内部表現を活用することで、大規模言語モデルにおける望ましくない振る舞いを検出することを目的としている。 これは重要な疑問を提起する。モデルがそのようなモニターを避けることができるか? RL-Obfuscationを導入し,LLMを強化学習により微調整し,遅延空間モニタを回避する。 トークンレベルのモニタはこの攻撃に対して非常に脆弱であるのに対して、最大プールやアテンションベースのプローブのようなより包括的なモニタは堅牢である。
  論文  参考訳（メタデータ） (2025-06-17T07:22:20Z)
• Unlearning Isn't Invisible: Detecting Unlearning Traces in LLMs from Model Outputs [23.538087984484207]
  大規模言語モデル(LLM)のための機械学習(MU)は、特定の望ましくないデータや知識を訓練されたモデルから取り除こうとする。 未学習のトレース検出という新たな脆弱性を特定します。 非学習トレースを90%以上の精度で検出できることを示す。
  論文  参考訳（メタデータ） (2025-06-16T21:03:51Z)
• Factual Self-Awareness in Language Models: Representation, Robustness, and Scaling [56.26834106704781]
  大規模言語モデル(LLM)のユビキタス展開における主要な関心事の一つは、生成されたコンテンツの事実的誤りである。 我々は, LLMの内部コンパスの存在を裏付ける証拠を提供し, 生成時の事実的リコールの正しさを規定する。 モデルサイズにわたる実験のスケールとトレーニングのダイナミクスは、トレーニング中に自己認識が急速に出現し、中間層でピークとなることを浮き彫りにしている。
  論文  参考訳（メタデータ） (2025-05-27T16:24:02Z)
• Beyond Next Token Probabilities: Learnable, Fast Detection of Hallucinations and Data Contamination on LLM Output Distributions [60.43398881149664]
  LLM出力シグナチャの効率的な符号化を訓練した軽量アテンションベースアーキテクチャであるLOS-Netを紹介する。 非常に低い検出レイテンシを維持しながら、さまざまなベンチマークやLLMで優れたパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2025-03-18T09:04:37Z)
• HuRef: HUman-REadable Fingerprint for Large Language Models [44.9820558213721]
  HuRefは、大きな言語モデルのための人間可読指紋である。 トレーニングやモデルパラメータを公開することなく、ベースモデルを独自に識別する。
  論文  参考訳（メタデータ） (2023-12-08T05:01:47Z)
• TRACE: A Comprehensive Benchmark for Continual Learning in Large Language Models [52.734140807634624]
  調整された大規模言語モデル(LLM)は、タスク解決、指示に従うこと、安全性を確保することにおいて、例外的な能力を示す。 既存の連続学習ベンチマークでは、LLMをリードする上で十分な課題が欠如している。 LLMにおける継続学習を評価するための新しいベンチマークであるTRACEを紹介する。
  論文  参考訳（メタデータ） (2023-10-10T16:38:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。