論文の概要: Feature-Level Insights into Artificial Text Detection with Sparse Autoencoders

• arxiv url: http://arxiv.org/abs/2503.03601v1
• Date: Wed, 05 Mar 2025 15:33:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-06 15:52:35.576795
• Title: Feature-Level Insights into Artificial Text Detection with Sparse Autoencoders
• Title（参考訳）: スパースオートエンコーダを用いた人工テキスト検出における特徴レベル視点
• Authors: Kristian Kuznetsov, Laida Kushnareva, Polina Druzhinina, Anton Razzhigaev, Anastasia Voznyuk, Irina Piontkovskaya, Evgeny Burnaev, Serguei Barannikov,
• Abstract要約: Sparse Autoencoders (SAE) を用いてGemma-2-2b残ストリームから特徴を抽出する。 解釈可能な特徴と効率的な特徴の両方を識別し,その意味と妥当性を解析する。 提案手法は, さまざまなモデルからのテキストと人文コンテンツとの相違点について, 貴重な知見を提供する。
• 参考スコア（独自算出の注目度）: 20.557610461777344
• License:
• Abstract: Artificial Text Detection (ATD) is becoming increasingly important with the rise of advanced Large Language Models (LLMs). Despite numerous efforts, no single algorithm performs consistently well across different types of unseen text or guarantees effective generalization to new LLMs. Interpretability plays a crucial role in achieving this goal. In this study, we enhance ATD interpretability by using Sparse Autoencoders (SAE) to extract features from Gemma-2-2b residual stream. We identify both interpretable and efficient features, analyzing their semantics and relevance through domain- and model-specific statistics, a steering approach, and manual or LLM-based interpretation. Our methods offer valuable insights into how texts from various models differ from human-written content. We show that modern LLMs have a distinct writing style, especially in information-dense domains, even though they can produce human-like outputs with personalized prompts.
• Abstract（参考訳）: 高度な大規模言語モデル (LLM) の台頭に伴い, 人工テキスト検出 (ATD) の重要性が高まっている。 多くの努力にもかかわらず、異なるタイプの未知のテキストに対して一貫したアルゴリズムや、新しいLLMへの効果的な一般化を保証するアルゴリズムは存在しない。 解釈可能性はこの目標を達成する上で重要な役割を担います。 本研究では,スパースオートエンコーダ (SAE) を用いて, Gemma-2-2b 残差ストリームから特徴を抽出することにより, ATD の解釈性を向上させる。 我々は,解釈可能な特徴と効率的な特徴の両方を識別し,その意味と関連性を,ドメイン固有統計学とモデル固有統計学,ステアリングアプローチ,手動またはLLMに基づく解釈を通じて分析する。 提案手法は, さまざまなモデルからのテキストと人文コンテンツとの相違点について, 貴重な知見を提供する。 現代のLCMは、パーソナライズされたプロンプトで人的なアウトプットを生成できるにもかかわらず、特に情報密度ドメインにおいて、異なる書体スタイルを持つことを示す。

関連論文リスト

• Human Variability vs. Machine Consistency: A Linguistic Analysis of Texts Generated by Humans and Large Language Models [0.0]
  人文テキストと大言語モデル(LLM)で生成されたテキストとの有意な差異を同定する。 以上の結果から,人間は認知的要求の少ない文章を書けること,意味的内容の充実,感情的内容の充実などが示唆された。
  論文  参考訳（メタデータ） (2024-12-04T04:38:35Z)
• GigaCheck: Detecting LLM-generated Content [72.27323884094953]
  本稿では,GigaCheckを提案することによって生成したテキスト検出の課題について検討する。 本研究は,LLM生成テキストとLLM生成テキストを区別する手法と,Human-Machine協調テキストにおけるLLM生成間隔を検出する手法について検討する。 具体的には,テキスト内のAI生成間隔をローカライズするために,コンピュータビジョンから適応したDETRのような検出モデルと組み合わせて,微調整の汎用LLMを用いる。
  論文  参考訳（メタデータ） (2024-10-31T08:30:55Z)
• Unveiling Large Language Models Generated Texts: A Multi-Level Fine-Grained Detection Framework [9.976099891796784]
  大型言語モデル (LLM) は文法の修正、内容の拡張、文体の改良によって人間の書き方を変えてきた。 既存の検出方法は、主に単一機能分析とバイナリ分類に依存しているが、学術的文脈においてLLM生成テキストを効果的に識別することができないことが多い。 低レベル構造, 高レベル意味, 深層言語的特徴を統合することで, LLM生成テキストを検出する多レベルきめ細粒度検出フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-18T07:25:00Z)
• Detecting Machine-Generated Long-Form Content with Latent-Space Variables [54.07946647012579]
  既存のゼロショット検出器は主に、現実世界のドメインシフトに弱いトークンレベルの分布に焦点を当てている。 本稿では,イベント遷移などの抽象的要素を機械対人文検出の鍵となる要因として組み込んだ,より堅牢な手法を提案する。
  論文  参考訳（メタデータ） (2024-10-04T18:42:09Z)
• Spotting AI's Touch: Identifying LLM-Paraphrased Spans in Text [61.22649031769564]
  我々は、新しいフレームワーク、パラフレーズテキストスパン検出(PTD)を提案する。 PTDは、テキスト内でパラフレーズ付きテキストを識別することを目的としている。 パラフレーズ付きテキストスパン検出のための専用データセットであるPASTEDを構築した。
  論文  参考訳（メタデータ） (2024-05-21T11:22:27Z)
• Towards Next-Generation Steganalysis: LLMs Unleash the Power of Detecting Steganography [18.7168443402118]
  言語ステガノグラフィーは、特にAI生成技術の出現と共に、メッセージを隠蔽するための便利な実装を提供する。 既存の手法は、記号統計学の側面から、ステガノグラフテキストと正規テキストの分布差を見つけることに限定されている。 本稿では,大規模言語モデル(LLM)のヒューマンライクなテキスト処理機能を用いて,人間の知覚との違いを実現することを提案する。
  論文  参考訳（メタデータ） (2024-05-15T04:52:09Z)
• A Simple yet Efficient Ensemble Approach for AI-generated Text Detection [0.5840089113969194]
  大規模言語モデル(LLM)は、人間の文章によく似たテキストを生成する際、顕著な能力を示した。 人工的に生成されたテキストと人間が作成したテキストを区別できる自動化アプローチを構築することが不可欠である。 本稿では,複数の構成 LLM からの予測をまとめて,シンプルで効率的な解を提案する。
  論文  参考訳（メタデータ） (2023-11-06T13:11:02Z)
• Successor Features for Efficient Multisubject Controlled Text Generation [48.37713738712319]
  本稿では,後継機能 (SF) と言語モデル修正の2つの基本概念を基礎とするSF-GENを紹介する。 SF-GENはこの2つをシームレスに統合し、LCMのパラメータを変更することなくテキスト生成の動的ステアリングを可能にする。 我々の知る限り、本研究はテキスト生成における後継機能の最初の応用である。
  論文  参考訳（メタデータ） (2023-11-03T00:17:08Z)
• Harnessing Explanations: LLM-to-LM Interpreter for Enhanced Text-Attributed Graph Representation Learning [51.90524745663737]
  重要なイノベーションは、機能として説明を使用することで、下流タスクにおけるGNNのパフォーマンス向上に利用できます。 提案手法は、確立されたTAGデータセットの最先端結果を実現する。 本手法はトレーニングを著しく高速化し,ogbn-arxivのベースラインに最も近い2.88倍の改善を実現した。
  論文  参考訳（メタデータ） (2023-05-31T03:18:03Z)
• MAGE: Machine-generated Text Detection in the Wild [82.70561073277801]
  大規模言語モデル(LLM)は人間レベルのテキスト生成を実現し、効果的なAI生成テキスト検出の必要性を強調している。 我々は、異なるLLMによって生成される多様な人文やテキストからテキストを収集することで、包括的なテストベッドを構築する。 問題にもかかわらず、トップパフォーマンス検出器は、新しいLCMによって生成された86.54%のドメイン外のテキストを識別することができ、アプリケーションシナリオの実現可能性を示している。
  論文  参考訳（メタデータ） (2023-05-22T17:13:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。