論文の概要: Interpretable Predictability-Based AI Text Detection: A Replication Study
- arxiv url: http://arxiv.org/abs/2603.15034v1
- Date: Mon, 16 Mar 2026 09:36:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-17 18:28:57.989578
- Title: Interpretable Predictability-Based AI Text Detection: A Replication Study
- Title(参考訳): 解釈可能な予測可能性に基づくAIテキスト検出:レプリケーション研究
- Authors: Adam Skurla, Dominik Macko, Jakub Simko,
- Abstract要約: 本稿では,AuTexTification 2023で使用されている機械生成テキストの著者帰属のための共有タスクを再現し,拡張する。
より新しい多言語言語モデルをテストし,26種類の文書レベルのテクスチャ機能を追加した。
- 参考スコア(独自算出の注目度): 5.21159141167126
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper replicates and extends the system used in the AuTexTification 2023 shared task for authorship attribution of machine-generated texts. First, we tried to reproduce the original results. Exact replication was not possible because of differences in data splits, model availability, and implementation details. Next, we tested newer multilingual language models and added 26 document-level stylometric features. We also applied SHAP analysis to examine which features influence the model's decisions. We replaced the original GPT-2 models with newer generative models such as Qwen and mGPT for computing probabilistic features. For contextual representations, we used mDeBERTa-v3-base and applied the same configuration to both English and Spanish. This allowed us to use one shared configuration for Subtask 1 and Subtask 2. Our experiments show that the additional stylometric features improve performance in both tasks and both languages. The multilingual configuration achieves the results that are comparable to or better than language-specific models. The study also shows that clear documentation is important for reliable replication and fair comparison of systems.
- Abstract(参考訳): 本稿では,AuTexTification 2023で使用されている機械生成テキストの著者帰属のための共有タスクを再現し,拡張する。
まず、元の結果を再現しようと試みた。
データ分割、モデルの可用性、実装の詳細の違いのため、正確なレプリケーションは不可能だった。
次に、より新しい多言語言語モデルをテストし、26の文書レベルのスタイメメトリック機能を追加した。
また、モデル決定にどの特徴が影響を及ぼすかを調べるためにSHAP分析を適用した。
我々は従来のGPT-2モデルをQwenやmGPTといった新しい生成モデルに置き換えて確率的特徴を計算した。
文脈表現にはmDeBERTa-v3-baseを使用し、英語とスペイン語の両方に同じ設定を適用しました。
これにより、Subtask 1とSubtask 2の共有構成をひとつ使用できます。
実験の結果,追加のスタイリスティックな特徴により,タスクおよび両言語のパフォーマンスが向上することがわかった。
多言語構成は、言語固有のモデルに匹敵する結果を得る。
この研究は、システムの信頼性と公正な比較のために、明確なドキュメンテーションが重要であることも示している。
関連論文リスト
- XFEVER: Exploring Fact Verification across Languages [40.1637899493061]
本稿では,異なる言語間で事実検証モデルをベンチマークするために設計された言語間ファクト抽出と検証データセットを提案する。
我々は、Fact extract and VERificationデータセットのクレームとエビデンステキストを6言語に翻訳して構築した。
トレーニングセットと開発セットは機械翻訳を使用して翻訳され、テストセットはプロの翻訳者によって翻訳されたテキストと機械翻訳されたテキストを含む。
論文 参考訳(メタデータ) (2023-10-25T01:20:17Z) - To token or not to token: A Comparative Study of Text Representations
for Cross-Lingual Transfer [23.777874316083984]
ゼロショットと少数ショットの両方の評価を重み付けして表現できるスコアリング言語クオシアン計量を提案する。
解析の結果,言語が密接に関連し,視覚的に類似したスクリプトを共有する場合,画像ベースモデルは言語間移動に優れることがわかった。
単語関係が重要な役割を果たす依存性解析タスクでは、キャラクタレベルに焦点を当てたモデルが他よりも優れています。
論文 参考訳(メタデータ) (2023-10-12T06:59:10Z) - Improving Massively Multilingual ASR With Auxiliary CTC Objectives [40.10307386370194]
FLEURSは102言語によるオープンASRベンチマークである。
我々は,最近のコネクショニスト時間分類(CTC)研究から着想を得た手法を考察し,モデルが多数の言語を扱えるようにした。
コンバータアーキテクチャを用いた自己教師型モデルを用いた最先端システムでは,相対28.4%CERによるFLEURSの先行研究よりも改善されている。
論文 参考訳(メタデータ) (2023-02-24T18:59:51Z) - Beyond Contrastive Learning: A Variational Generative Model for
Multilingual Retrieval [109.62363167257664]
本稿では,多言語テキスト埋め込み学習のための生成モデルを提案する。
我々のモデルは、$N$言語で並列データを操作する。
本手法は, 意味的類似性, ビットクストマイニング, 言語間質問検索などを含む一連のタスクに対して評価を行う。
論文 参考訳(メタデータ) (2022-12-21T02:41:40Z) - Detecting Text Formality: A Study of Text Classification Approaches [78.11745751651708]
本研究は,統計的,ニューラルベース,トランスフォーマーベースの機械学習手法に基づく形式性検出手法の体系的研究を初めて行う。
単言語,多言語,言語横断の3種類の実験を行った。
本研究は,モノリンガルおよび多言語形式分類タスクのためのトランスフォーマーベースモデルに対するChar BiLSTMモデルの克服を示す。
論文 参考訳(メタデータ) (2022-04-19T16:23:07Z) - How much do language models copy from their training data? Evaluating
linguistic novelty in text generation using RAVEN [63.79300884115027]
現在の言語モデルは高品質なテキストを生成することができる。
彼らは、これまで見たテキストを単にコピーしているか、それとも一般化可能な言語的抽象化を学んだのか?
本稿では、生成したテキストの新規性を評価するための分析スイートであるRAVENを紹介する。
論文 参考訳(メタデータ) (2021-11-18T04:07:09Z) - Incorporating Linguistic Knowledge for Abstractive Multi-document
Summarization [20.572283625521784]
ニューラルネットワークに基づく抽象的多文書要約(MDS)モデルを開発した。
依存関係情報を言語誘導型注意機構に処理する。
言語信号の助けを借りて、文レベルの関係を正しく捉えることができる。
論文 参考訳(メタデータ) (2021-09-23T08:13:35Z) - Paraphrastic Representations at Scale [134.41025103489224]
私たちは、英語、アラビア語、ドイツ語、フランス語、スペイン語、ロシア語、トルコ語、中国語の訓練されたモデルをリリースします。
我々はこれらのモデルを大量のデータでトレーニングし、元の論文から大幅に性能を向上した。
論文 参考訳(メタデータ) (2021-04-30T16:55:28Z) - Abstractive Text Summarization based on Language Model Conditioning and
Locality Modeling [4.525267347429154]
BERT言語モデルに基づいてTransformerベースのニューラルモデルをトレーニングする。
さらに,BERTウィンドウサイズよりも長いテキストのチャンクワイズ処理が可能なBERTウィンドウ方式を提案する。
我々のモデルの結果は、CNN/Daily Mailデータセットのベースラインと最先端モデルと比較される。
論文 参考訳(メタデータ) (2020-03-29T14:00:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。