論文の概要: A Mechanistic Study of AI-Text Detection Neurons in Frozen BERT: Sparse Probing and Activation Patching on RAID

• arxiv url: http://arxiv.org/abs/2609.30287v1
• Date: Tue, 08 Sep 2026 17:52:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-05 14:48:16.124909
• Title: A Mechanistic Study of AI-Text Detection Neurons in Frozen BERT: Sparse Probing and Activation Patching on RAID
• Title（参考訳）: 凍結したBERTにおけるAI-Text検出ニューロンの力学的検討 : RAIDのスパースプロビングと活性化パッチング
• Abstract要約: 凍結したBERTベース非ケースエンコーダのどのニューロンがAIテキスト検出をサポートするかを検討した。 我々は、純ベースモデルと命令調整モデルにまたがる6つのジェネレータのRAIDベンチマークを使用する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: AI-generated text detectors achieve high accuracy on standard benchmarks, yet the internal representations that drive these predictions remain poorly understood. We study which neurons in a frozen BERT-base-uncased encoder support AI-text detection, using the RAID benchmark across six generators spanning pure-base and instruction-tuned models. We apply the L1-to-L2 sparse-probing protocol of Gurnee et al. (2023) to all 9,216 CLS hidden-state dimensions (12 layers x 768), which we call neurons. The procedure recovers a stable set of under 1% of neurons per generator, consistent across folds and seeds; a probe restricted to that set retains most of the full-feature detection accuracy. Bidirectional activation patching confirms this set's causal relevance: in both directions it flips predictions an order of magnitude more often than size-matched random sets. Mean-ablating the same neurons leaves accuracy largely intact; the signal is therefore redundantly distributed. Cross-generator analysis reveals a bipartite structure: instruction-tuned generators concentrate 30-36% of stable neurons in BERT's final layer while both base generators fall below 14%, consistent with a layer-12 footprint of post-training alignment. Leave-one-family-out evaluation shows the selected neurons retain 86-94% of the full-feature ceiling on unseen generator families, so a detector can operate on a small fixed subspace without re-identifying neurons per generator.
• Abstract（参考訳）: AI生成したテキスト検出器は標準ベンチマークで高い精度を達成するが、これらの予測を駆動する内部表現はいまだに理解されていない。 我々は、純ベースモデルと命令調整モデルにまたがる6つのジェネレータにわたるRAIDベンチマークを用いて、凍結したBERTベース非ケースエンコーダのどのニューロンがAIテキスト検出をサポートするかを調べた。 我々は、Gurnee et al (2023) の L1-to-L2 スパースプロービングプロトコルを、ニューロンと呼ばれる9,216個のCLS隠れ状態次元 (12層 x 768) に適用した。 このプロシージャは1ジェネレータあたりの神経細胞の1%未満の安定なセットを回復し、折りたたみや種子に一貫性を持ち、そのセットに制限されたプローブは、完全な検出精度のほとんどを保持する。 双方向のアクティベーションパッチは、このセットの因果関係を裏付ける:どちらの方向も、サイズマッチングされたランダムセットよりも桁違いに頻繁に予測を反転させる。 同じニューロンを平均的に翻訳することは精度をほとんど損なわず、信号は冗長に分散される。 命令調整されたジェネレータはBERTの最終層に30～36%の安定ニューロンを集中させ、両方のベースジェネレータはトレーニング後のアライメントの層12のフットプリントと一致して14%以下に低下する。 左ワンファミリーアウト評価では、選択されたニューロンは、未確認のジェネレータファミリーのフルフィーチャー天井の86-94%を保持しており、検出器は、ジェネレータごとにニューロンを再識別することなく、小さな固定サブスペースで操作することができる。

関連論文リスト

• DeBERTa-ConPara: Attack-Aware and Deployment-Realistic Detection of AI-Generated Text [42.255101883505056]
  DeBERTa-ConParaは,HC3 Plus,M4,MAGE,RAIDで学習した文脈変換器エンコーダと,攻撃対応Unicode前処理を組み合わせたデプロイメント指向検出器である。 我々の中心的な発見は、前処理が適用された場所によって反対方向に作用することである。 2つの配置の因子的変化は、正規化推論による生のトレーニングを最高の設定として独立に識別する。 12種類の攻撃クラスのうち、ホモグリーフとゼロ幅空間の挿入は11.05%から1.12%から96.98%に増加した。
  論文  参考訳（メタデータ） (2026-10-01T00:57:33Z)
• A Few Neurons Reveal When LLMs Misuse Tools: Sparse Detection and Selective Steering for Reliable Tool Use [28.57781785937644]
  PRISMS(Probing Representations In Support of Monitoring and Steering)は,スパース検出とアクティベーションの間に障害特異的ニューロンベースを共有するクローズループフレームワークである。 6つのモデル全体で、PRISMSはプールされたオーバーコール率を80%削減し、ツール要求の精度を14.2%向上させた。
  論文  参考訳（メタデータ） (2026-07-31T19:03:44Z)
• Amplifying, Not Learning: Fine-Tuned AI Text Detectors Amplify a Pretrained Direction [51.56484100374058]
  テキスト検出器は、事前訓練された典型軸を増幅する。 タスク監督前の生エンコーダでは、3つのアーキテクチャでNYT-vs-HC3 AUROC 0.806/0.944/0.834を達成する。 RoBERTaベースでは、生のプロジェクションは微調整を超えるが、RoBERTaベースでは、フル微調整は、試験された流線型人口の双方で生よりも識別を小さくする。
  論文  参考訳（メタデータ） (2026-05-20T19:08:38Z)
• Rethinking Cross-Generator Image Forgery Detection through DINOv3 [62.80415066351157]
  クロスジェネレータ検出は、新しい挑戦フォージェネレータモデルとして登場した。 凍結した視覚基盤モデル、特にDINOv3は、既に強力なクロスジェネレータ検出能力を持っていることを示す。 トレーニング不要なトークンランク戦略を導入し、続いて軽量な線形プローブを用いて、認証関連トークンの小さなサブセットを選択する。
  論文  参考訳（メタデータ） (2025-11-27T14:01:50Z)
• Exploring Spiking Neural Networks for Binary Classification in Multivariate Time Series at the Edge [0.9282545044546486]
  多変量時系列のバイナリ分類を行うために、スパイキングニューラルネットワーク(SNN)を訓練するための一般的なフレームワークを提案する。 ガンマ線スペクトルデータにおける低信号-雑音比放射源の検出に応用する。 その結果、49個の神経細胞と66個のシナプスを持つSNNは、51.8%の真の正の速度(TPR)を1/hrの誤報率で達成した。 マイクロカスピアンニューロモルフィックプラットフォーム上のハードウェア展開は、2mWの消費電力と20.2msのレイテンシを示す。
  論文  参考訳（メタデータ） (2025-10-23T20:52:11Z)
• Mixture-of-Rookies: Saving DNN Computations by Predicting ReLU Outputs [0.0]
  本稿では, 各ReLu活性化ニューロンの出力が0か正かを予測する手法を提案する。 私たちの予測器はMixture-of-Rookiesと呼ばれ、2つの安価なコンポーネントを組み合わせています。 我々は最先端のDNNアクセラレータ上にハイブリッドゼロ出力予測器を実装した。
  論文  参考訳（メタデータ） (2022-02-10T12:39:21Z)
• Understanding Interlocking Dynamics of Cooperative Rationalization [90.6863969334526]
  選択的合理化(Selective rationalization)は、ニューラルネットワークの出力を予測するのに十分な入力の小さなサブセットを見つけることによって、複雑なニューラルネットワークの予測を説明する。 このような合理化パラダイムでは,モデルインターロックという大きな問題が浮かび上がっている。 A2Rと呼ばれる新しい合理化フレームワークを提案し、アーキテクチャに第3のコンポーネントを導入し、選択とは対照的にソフトアテンションによって駆動される予測器を提案する。
  論文  参考訳（メタデータ） (2021-10-26T17:39:18Z)
• And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
  ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。 そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。 MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
  論文  参考訳（メタデータ） (2021-02-15T08:19:05Z)
• Sample Complexity Bounds for 1-bit Compressive Sensing and Binary Stable Embeddings with Generative Priors [52.06292503723978]
  生成モデルを用いた圧縮センシングの進歩により, 生成モデルを用いた1ビット圧縮センシングの問題点を考察した。 まずノイズのない1ビット測定を考察し, ガウス測度に基づく近似回復のためのサンプル複雑性境界を提供する。 また,リプシッツ連続生成モデルを用いた1ビット圧縮センシングにも有効であることを示すため,評価誤差と雑音に対する再構成の堅牢性を示すBinary $epsilon$-Stable Embedding特性を実証した。
  論文  参考訳（メタデータ） (2020-02-05T09:44:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。