論文の概要: Not all tokens are created equal: Perplexity Attention Weighted Networks for AI generated text detection

• arxiv url: http://arxiv.org/abs/2501.03940v2
• Date: Wed, 22 Jan 2025 10:39:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-23 16:52:43.304650
• Title: Not all tokens are created equal: Perplexity Attention Weighted Networks for AI generated text detection
• Title（参考訳）: すべてのトークンが等しく作成されるわけではない: AI生成したテキスト検出のための複雑注意重み付きネットワーク
• Authors: Pablo Miralles-González, Javier Huertas-Tato, Alejandro Martín, David Camacho,
• Abstract要約: 大規模言語モデル(LLM)の検出に理論的に魅力的なアプローチを提供する次点分布出力 本稿では,LLMの最後の隠蔽状態を用いて,列長の次トーケン分布のメトリクスに基づく一連の特徴量の重み付けを行うパープレキシティ注意重み付けネットワーク(PAWN)を提案する。 PAWNは、トレーニング可能なパラメータのごく一部を持つ最強のベースラインよりも、競争力があり、より優れた分散性能を示している。
• 参考スコア（独自算出の注目度）: 49.15148871877941
• License:
• Abstract: The rapid advancement in large language models (LLMs) has significantly enhanced their ability to generate coherent and contextually relevant text, raising concerns about the misuse of AI-generated content and making it critical to detect it. However, the task remains challenging, particularly in unseen domains or with unfamiliar LLMs. Leveraging LLM next-token distribution outputs offers a theoretically appealing approach for detection, as they encapsulate insights from the models' extensive pre-training on diverse corpora. Despite its promise, zero-shot methods that attempt to operationalize these outputs have met with limited success. We hypothesize that one of the problems is that they use the mean to aggregate next-token distribution metrics across tokens, when some tokens are naturally easier or harder to predict and should be weighted differently. Based on this idea, we propose the Perplexity Attention Weighted Network (PAWN), which uses the last hidden states of the LLM and positions to weight the sum of a series of features based on metrics from the next-token distribution across the sequence length. Although not zero-shot, our method allows us to cache the last hidden states and next-token distribution metrics on disk, greatly reducing the training resource requirements. PAWN shows competitive and even better performance in-distribution than the strongest baselines (fine-tuned LMs) with a fraction of their trainable parameters. Our model also generalizes better to unseen domains and source models, with smaller variability in the decision boundary across distribution shifts. It is also more robust to adversarial attacks, and if the backbone has multilingual capabilities, it presents decent generalization to languages not seen during supervised training, with LLaMA3-1B reaching a mean macro-averaged F1 score of 81.46% in cross-validation with nine languages.
• Abstract（参考訳）: 大規模言語モデル(LLM)の急速な進歩は、コヒーレントで文脈に関連のあるテキストを生成する能力を大幅に向上させ、AI生成コンテンツの誤用に対する懸念を高め、それを検出することの重要性を高めている。 しかし、この課題は、特に目に見えない領域や慣れていないLLMにおいて、依然として困難なままである。 LLMの次トーケン分布の出力を活用することで、様々なコーパスに対するモデルによる広範な事前学習からの洞察をカプセル化することによって、理論的に魅力的な検出手法を提供する。 その約束にもかかわらず、これらの出力を運用しようとするゼロショットメソッドは、限られた成功を収めた。 トークンが自然に容易に、あるいは容易に予測でき、異なる重み付けをすべきである場合、トークン間で次のトーケン分布のメトリクスを集約するのに平均を使う、という仮説を立てています。 この考え方に基づいて,LLMの最後の隠れ状態と位置を用いて,列長の次トーケン分布のメトリクスに基づく一連の特徴量の重み付けを行うPerplexity Attention Weighted Network (PAWN)を提案する。 ゼロショットではないが、最後の隠蔽状態と次のトーケン分布メトリクスをディスクにキャッシュすることができ、トレーニングリソースの要求を大幅に削減できる。 PAWNは、トレーニング可能なパラメータのごく一部を持つ最強のベースライン(微調整されたLM)よりも、競争力があり、より優れた分散性能を示す。 このモデルはまた、分布シフト間の決定境界のばらつきを小さくし、未確認領域やソースモデルに対してより良く一般化する。 LLaMA3-1Bは9つの言語とのクロスバリデーションで平均81.46%のマクロ平均F1スコアに達する。

関連論文リスト

• Large Language Diffusion Models [77.02553707673418]
  自己回帰モデル(ARM)は、大規模言語モデル(LLM)の基盤として広く見なされている。 我々は,事前学習および教師付き微調整パラダイムの下で,ゼロから学習した拡散モデルであるLLaDAを紹介する。 広範なベンチマークを通じて、LLaDAは強力なスケーラビリティを示し、自己構築されたARMベースラインを上回っています。
  論文  参考訳（メタデータ） (2025-02-14T08:23:51Z)
• Token Assorted: Mixing Latent and Text Tokens for Improved Language Model Reasoning [44.84219266082269]
  大規模言語モデル(LLM)は、チェーン・オブ・シークレット(CoT)データに基づいて訓練された場合、推論と計画が優れている。 そこで我々は,遅延離散トークンを用いて推論過程を部分的に抽象化するハイブリッド表現を提案する。
  論文  参考訳（メタデータ） (2025-02-05T15:33:00Z)
• Registering Source Tokens to Target Language Spaces in Multilingual Neural Machine Translation [26.737542701290153]
  多言語ニューラルマシン翻訳(MNMT)は、複数の言語にまたがる任意の翻訳を目的としている。 我々は,小規模なMNMT特化モデルが大規模言語モデル(LLM)と競合することを可能にする新しい手法である登録を導入する。 大規模ベンチマークであるEC-40の実験から,本手法がMNMTの最先端技術に進展することを示す。
  論文  参考訳（メタデータ） (2025-01-06T12:42:54Z)
• Exact Byte-Level Probabilities from Tokenized Language Models for FIM-Tasks and Model Ensembles [23.134664392314264]
  トークン化は言語モデル(LM)における多くの未理解の欠点と関連している 本研究は, トークン化がモデルとバイトレベルのモデルを比較し比較することによって, モデル性能に与える影響について検討する。 我々は、さらなるトレーニングや最適化を必要とせず、トークン化バイアスを除去する次世代サンプリングアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2024-10-11T23:30:42Z)
• Pretraining Data Detection for Large Language Models: A Divergence-based Calibration Method [108.56493934296687]
  本研究では,乱数から発散する概念に触発された偏差に基づくキャリブレーション手法を導入し,プリトレーニングデータ検出のためのトークン確率のキャリブレーションを行う。 我々は,中国語テキスト上でのLLMの検出手法の性能を評価するために,中国語のベンチマークであるPatentMIAを開発した。
  論文  参考訳（メタデータ） (2024-09-23T07:55:35Z)
• Amortizing intractable inference in large language models [56.92471123778389]
  難治性後部分布のサンプルとして, 償却ベイズ推定を用いる。 我々は,LLMファインチューニングの分散マッチングパラダイムが,最大習熟の代替となることを実証的に実証した。 重要な応用として、チェーン・オブ・ソート推論を潜在変数モデリング問題として解釈する。
  論文  参考訳（メタデータ） (2023-10-06T16:36:08Z)
• Generation-driven Contrastive Self-training for Zero-shot Text Classification with Instruction-following LLM [31.25193238045053]
  我々は、より小さな言語モデルの訓練を支援するために、大規模言語モデルの強力な生成力を利用する新しい手法、GenCoを導入する。 本手法では,LLMは2つの重要な方法で,より小さなモデルの自己学習ループにおいて重要な役割を果たす。 予測ラベルに条件付き入力テキストを書き換えることで、高品質なトレーニングペアの開発を支援する。
  論文  参考訳（メタデータ） (2023-04-24T07:35:38Z)
• GanLM: Encoder-Decoder Pre-training with an Auxiliary Discriminator [114.8954615026781]
  本稿では,補助判別器を導入して,エンコーダ・デコーダ事前学習のためのGANスタイルのモデルを提案する。 GanLMは2つのトレーニング済みの目標 – トークン検出の置き換えとトークン記述の置き換え – でトレーニングされている。 言語生成ベンチマークの実験では、強力な言語理解能力を持つ GanLM が、様々な強力な事前学習言語モデルより優れていることが示されている。
  論文  参考訳（メタデータ） (2022-12-20T12:51:11Z)
• Bridging the Gap between Language Models and Cross-Lingual Sequence Labeling [101.74165219364264]
  大規模言語間事前学習言語モデル (xPLM) は、言語間シーケンスラベリングタスクにおいて有効であることを示す。 大きな成功にもかかわらず、事前学習と微調整の段階の間には訓練対象のギャップがあるという経験的観察を描いている。 本稿では,まず,言語間インフォーマティブ・スパン・マスキング(CLISM)と呼ばれるxSLのための事前学習タスクを設計し,目的のギャップを解消する。 第2に、コントラスト学習を利用して入力並列表現間の一貫性を促進するContrAstive-Consistency Regularization (CACR)を提案する。
  論文  参考訳（メタデータ） (2022-04-11T15:55:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。