論文の概要: Explaining Generalization of AI-Generated Text Detectors Through Linguistic Analysis

• arxiv url: http://arxiv.org/abs/2601.07974v1
• Date: Mon, 12 Jan 2026 20:16:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-14 18:27:18.932918
• Title: Explaining Generalization of AI-Generated Text Detectors Through Linguistic Analysis
• Title（参考訳）: 言語解析によるAI生成テキスト検出器の一般化
• Authors: Yuxi Xia, Kinga Stańczak, Benjamin Roth,
• Abstract要約: 本稿では,言語分析による一般化行動の説明を目的とした系統的研究について述べる。 6つのプロンプト戦略、7つの大規模言語モデル(LLM)、4つのドメインデータセットにまたがるベンチマークを構築した。 我々は、様々な世代設定に基づいて分類に基づく検出器を微調整し、それらのクロスプロンプト、クロスモデル、およびクロスデータセットの一般化を評価する。
• 参考スコア（独自算出の注目度）: 2.626100048563503
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: AI-text detectors achieve high accuracy on in-domain benchmarks, but often struggle to generalize across different generation conditions such as unseen prompts, model families, or domains. While prior work has reported these generalization gaps, there are limited insights about the underlying causes. In this work, we present a systematic study aimed at explaining generalization behavior through linguistic analysis. We construct a comprehensive benchmark that spans 6 prompting strategies, 7 large language models (LLMs), and 4 domain datasets, resulting in a diverse set of human- and AI-generated texts. Using this dataset, we fine-tune classification-based detectors on various generation settings and evaluate their cross-prompt, cross-model, and cross-dataset generalization. To explain the performance variance, we compute correlations between generalization accuracies and feature shifts of 80 linguistic features between training and test conditions. Our analysis reveals that generalization performance for specific detectors and evaluation conditions is significantly associated with linguistic features such as tense usage and pronoun frequency.
• Abstract（参考訳）: AIテキスト検出器は、ドメイン内のベンチマークで高い精度を達成するが、見えないプロンプト、モデルファミリー、ドメインなど、さまざまな生成条件をまたいだ一般化に苦慮することが多い。 以前の研究ではこれらの一般化のギャップが報告されているが、根本原因についての洞察は限られている。 本研究では,言語分析による一般化行動の説明を目的とした系統的研究について述べる。 我々は6つのプロンプト戦略、7つの大規模言語モデル(LLM)、4つのドメインデータセットにまたがる包括的なベンチマークを構築し、その結果、人間とAIが生成するテキストの多様なセットを得る。 このデータセットを用いて、様々な世代設定に基づいて分類に基づく微調整を行い、それらのクロスプロンプト、クロスモデル、およびクロスデータセットの一般化を評価する。 性能のばらつきを説明するために,一般化精度と学習条件とテスト条件の80の言語的特徴の特徴変化の相関を計算した。 解析の結果,特定検出器の一般化性能と評価条件は,テンソル使用率や代名詞頻度などの言語的特徴と大きく関連していることがわかった。

関連論文リスト

• BAID: A Benchmark for Bias Assessment of AI Detectors [9.156813547624923]
  本稿では,AI検出器の各種バイアスに対する包括的評価フレームワークであるBAIDを提案する。 人口統計,年齢,教育年数,方言,形式,政治的傾倒,話題の7つのカテゴリーにまたがる200万以上のサンプルを紹介した。 検出性能には一貫した相違があり、特に低表現群からのテキストのリコールレートは低い。
  論文  参考訳（メタデータ） (2025-12-12T12:01:42Z)
• Group-Adaptive Threshold Optimization for Robust AI-Generated Text Detection [58.419940585826744]
  本稿では,確率的AIテキスト検出のためのグループ固有しきい値最適化アルゴリズムであるFairOPTを紹介する。 属性(例えば、テキストの長さと書き込みスタイル)に基づいてデータをサブグループに分割し、FairOPTを実装して、各グループに対する決定しきい値の学習を行い、不一致を低減しました。 我々のフレームワークは、後処理によるAI生成コンテンツ検出において、より堅牢な分類の道を開く。
  論文  参考訳（メタデータ） (2025-02-06T21:58:48Z)
• Beyond Memorization: Assessing Semantic Generalization in Large Language Models Using Phrasal Constructions [3.0906699069248806]
  Construction Grammar (CxG) は、一般化をテストするための精神言語学的基盤となるフレームワークである。 我々のデータセットは英語のフレーズ構造で構成されており、話者は共通の場所のインスタンス化を抽象化できることが知られている。 その結果、GPT-o1を含む最先端モデルでは、第2タスクで40%以上の性能低下が見られた。
  論文  参考訳（メタデータ） (2025-01-08T18:15:10Z)
• Evaluating Structural Generalization in Neural Machine Translation [13.880151307013318]
  SGETは,単語や文構造を制御して,様々な種類の合成一般化を包含するデータセットである。 ニューラルネットワーク翻訳モデルは、語彙的一般化よりも構造的一般化に苦慮していることを示す。 また、セマンティック解析と機械翻訳において、様々なタスクにおける評価の重要性を示す様々なパフォーマンストレンドを見出した。
  論文  参考訳（メタデータ） (2024-06-19T09:09:11Z)
• SLOG: A Structural Generalization Benchmark for Semantic Parsing [68.19511282584304]
  合成一般化ベンチマークの目的は、モデルがいかにして新しい複雑な言語表現に一般化するかを評価することである。 既存のベンチマークは、しばしば語彙一般化に焦点を当て、訓練に精通した構文構造における新しい語彙項目の解釈は、しばしば不足している。 SLOGは,COGSを拡張したセマンティック解析データセットである。
  論文  参考訳（メタデータ） (2023-10-23T15:39:09Z)
• How to Handle Different Types of Out-of-Distribution Scenarios in Computational Argumentation? A Comprehensive and Fine-Grained Field Study [59.13867562744973]
  この研究は、オフ・オブ・ディストリビューション(OOD)シナリオにおけるLMの能力を体系的に評価する。 このような学習パラダイムの有効性は,OODの種類によって異なることがわかった。 具体的には、ICLはドメインシフトに優れているが、プロンプトベースの微調整はトピックシフトに勝っている。
  論文  参考訳（メタデータ） (2023-09-15T11:15:47Z)
• Sentiment Analysis on Brazilian Portuguese User Reviews [0.0]
  本研究は,システム結果の極性を仮定して,文書埋め込み戦略の予測性能を解析する。 この分析には、単一のデータセットに統合されたブラジルの5つの感情分析データセットと、トレーニング、テスト、バリデーションセットの参照パーティショニングが含まれている。
  論文  参考訳（メタデータ） (2021-12-10T11:18:26Z)
• Did the Cat Drink the Coffee? Challenging Transformers with Generalized Event Knowledge [59.22170796793179]
  Transformers Language Models (TLMs) を数学的適合のテクトダイナミックな評価のためのベンチマークで検証した。 以上の結果から, TLM は SDM に匹敵する性能が得られることが示された。 しかし、さらなる分析は、TLMがイベント知識の重要な側面を捉えていないことを一貫して示唆している。
  論文  参考訳（メタデータ） (2021-07-22T20:52:26Z)
• Detecting and Understanding Generalization Barriers for Neural Machine Translation [53.23463279153577]
  本稿では,未知の入力文内での一般化バリアワードの同定と理解を試みる。 本稿では,一般化バリアワードの原理的定義と,計算において抽出可能な修正版を提案する。 次に、Zh$Leftrightarrow$En NISTベンチマークで検出された一般化障壁ワードについて広範な解析を行う。
  論文  参考訳（メタデータ） (2020-04-05T12:33:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。