論文の概要: IndicDetect: Evaluating Cross-Lingual LLM-Generated Text Detection for Hindi, Telugu, and Tamil
- arxiv url: http://arxiv.org/abs/2608.29919v1
- Date: Sun, 30 Aug 2026 17:21:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:31.116594
- Title: IndicDetect: Evaluating Cross-Lingual LLM-Generated Text Detection for Hindi, Telugu, and Tamil
- Title(参考訳): IndicDetect:ヒンディー語、テルグ語、タミル語における言語間LLMテキスト検出の評価
- Abstract要約: 我々は,ヒンディー語,テルグ語,タミル語におけるAI生成テキスト検出のベンチマークを示す。
IndicDetectは、現実的な分布シフトの下で検出器の堅牢性を評価するように設計されている。
- 参考スコア(独自算出の注目度): 32.21285778019889
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The rapid proliferation of LLMs has further heightened the need to develop dependable AI-generated text detection, especially beyond English. Nevertheless, current benchmarks pay little attention to Indic languages and test detectors in idealized settings that do not represent the real world. We present a generalized benchmark for AI-generated text detection in Hindi, Telugu, and Tamil, which we call IndicDetect, designed to assess the robustness of detectors under realistic distribution shifts. IndicDetect comprises highly curated human-written texts matched with LLM-generated counterparts across various domains and generators, and systematically evaluates detectors in the presence of domain shift, generator shift, and adversarial perturbation. Using a single and repeatable evaluation scheme, we evaluate a wide range of statistical and neural detectors. We find substantial robustness failures: supervised neural detectors perform well in-distribution, while training-free methods degrade considerably under unseen generators and adversarial attacks. The severity of these failures varies across languages, with Hindi exhibiting the largest overall degradation under adversarial perturbations. These results highlight that the primary weakness of existing detectors in Indic settings lies in their robustness, not in their peak accuracy. IndicDetect provides standard data splits, an evaluation protocol, and baselines to establish a robust, language-aware foundation for AI-generated text detection in Indic scripts.
- Abstract(参考訳): LLMの急速な普及は、特に英語以外の、信頼できるAI生成テキスト検出を開発する必要性をさらに高めた。
しかしながら、現在のベンチマークでは、実世界を表すものではない理想化された設定において、Indic言語やテストディテクターにはほとんど注意を払わない。
我々は,Hindi,Telugu,TamilでAIによるテキスト検出を一般化したベンチマークを提案し,これをIndicDetectと呼び,現実的な分布シフト下での検出器の堅牢性を評価する。
IndicDetectは、様々なドメインやジェネレータにまたがってLLM生成のテキストにマッチする高度にキュレートされた人文テキストを含み、ドメインシフト、ジェネレータシフト、および対向的摂動の存在下で、検出器を体系的に評価する。
単一かつ繰り返し可能な評価手法を用いて、幅広い統計的およびニューラル検出器を評価する。
教師付きニューラル検出器はよく分布するが、トレーニングフリーの手法は未知のジェネレータや敵の攻撃で著しく劣化する。
これらの失敗の深刻さは言語によって異なり、ヒンディー語は逆境の摂動の下で最大の全体的な劣化を示す。
これらの結果は、Indic設定における既存の検出器の最大の弱点は、そのピーク精度ではなく、その堅牢性にあることを浮き彫りにしている。
IndicDetectは、標準のデータ分割、評価プロトコル、ベースラインを提供し、IndicスクリプトでAI生成したテキスト検出のための堅牢で言語対応の基盤を確立する。
関連論文リスト
- Base Models Look Human To AI Detectors [68.7723287560362]
ベースモデルから生成されたテキストは圧倒的に人間的であると判断されることが多いが、命令で調整されたテキストはそうではない。
提案するHumanization by Iterative Paraphrasing (HIP)は,ベースモデルをパラフラザーに最小限微調整し,反復的に適用する検出器非依存パイプラインである。
以上の結果から,現在の検出器は,機械生成テキストの概念よりも,命令チューニングやローカルコンテキストのアーティファクトを追跡していることが示唆された。
論文 参考訳(メタデータ) (2026-05-19T08:13:12Z) - DetectRL-X: Towards Reliable Multilingual and Real-World LLM-Generated Text Detection [68.92080038934164]
本研究では8次元の先進検出器を評価するためのベンチマークであるTreatorRL-Xを紹介する。
このベンチマークは、商業的文脈で一般的に使用される8つの言語を含み、誤用を受けやすい6つのドメインから人書きのテキストを収集する。
論文 参考訳(メタデータ) (2026-05-15T01:29:26Z) - Human Texts Are Outliers: Detecting LLM-generated Texts via Out-of-distribution Detection [71.59834293521074]
我々は,人間によるテキストと機械によるテキストを区別する枠組みを開発した。
提案手法は,DeepFakeデータセット上で98.3%のAUROCとAUPRを8.9%のFPR95で達成する。
コード、事前トレーニングされたウェイト、デモがリリースされる。
論文 参考訳(メタデータ) (2025-10-07T08:14:45Z) - Stress-testing Machine Generated Text Detection: Shifting Language Models Writing Style to Fool Detectors [4.7713095161046555]
本稿では,最新のMGT検出器の言語情報による敵攻撃に対するレジリエンスをテストするパイプラインを提案する。
我々は、MGTスタイルを人文テキスト(HWT)にシフトするために、言語モデルを微調整する。
これは検出器が構造的な手がかりに頼っていることを悪用し、新しい世代を検知することがより困難になる。
論文 参考訳(メタデータ) (2025-05-30T12:33:30Z) - Your Language Model Can Secretly Write Like Humans: Contrastive Paraphrase Attacks on LLM-Generated Text Detectors [77.82885394684202]
テキスト検出を効果的に欺く訓練不要な方法である textbfContrastive textbfParaphrase textbfAttack (CoPA) を提案する。
CoPAは、大規模言語モデルによって生成される人間のような分布とは対照的に、補助的な機械的な単語分布を構築している。
我々の理論的分析は、提案された攻撃の優越性を示唆している。
論文 参考訳(メタデータ) (2025-05-21T10:08:39Z) - A Practical Examination of AI-Generated Text Detectors for Large Language Models [25.919278893876193]
機械生成コンテンツ検出器は、様々な条件や言語モデルからそのようなテキストを識別する。
本稿では、これらの主張を、これらの検出器がこれまで遭遇していなかった領域、データセット、モデルにおいて、いくつかの一般的な検出器を評価することによって、批判的に評価する。
論文 参考訳(メタデータ) (2024-12-06T15:56:11Z) - Navigating the Shadows: Unveiling Effective Disturbances for Modern AI Content Detectors [24.954755569786396]
AIテキスト検出は、人間と機械が生成したコンテンツを区別するために現れた。
近年の研究では、これらの検出システムは、しばしば頑丈さを欠き、摂動テキストを効果的に区別する難しさを欠いていることが示されている。
我々の研究は、非公式な文章と専門的な文章の両方で現実世界のシナリオをシミュレートし、現在の検出器のアウト・オブ・ボックスのパフォーマンスを探求する。
論文 参考訳(メタデータ) (2024-06-13T08:37:01Z) - Red Teaming Language Model Detectors with Language Models [114.36392560711022]
大規模言語モデル(LLM)は、悪意のあるユーザによって悪用された場合、重大な安全性と倫理的リスクをもたらす。
近年,LLM生成テキストを検出し,LLMを保護するアルゴリズムが提案されている。
1) LLMの出力中の特定の単語を, 文脈が与えられたシノニムに置き換えること, 2) 生成者の書き方を変更するための指示プロンプトを自動で検索すること,である。
論文 参考訳(メタデータ) (2023-05-31T10:08:37Z) - Can AI-Generated Text be Reliably Detected? [50.95804851595018]
大規模言語モデル(LLM)は、様々なアプリケーションで非常によく機能します。
盗作、偽ニュースの発生、スパムなどの活動においてこれらのモデルが誤用される可能性があることは、彼らの責任ある使用に対する懸念を引き起こしている。
我々は、攻撃者の存在下で、これらのAIテキスト検出装置の堅牢性を強調テストする。
論文 参考訳(メタデータ) (2023-03-17T17:53:19Z) - MOST: A Multi-Oriented Scene Text Detector with Localization Refinement [67.35280008722255]
シーンテキスト検出のための新しいアルゴリズムを提案し、テキストローカリゼーションの品質を大幅に向上させる一連の戦略を提案する。
具体的には,テキスト・フィーチャー・アライメント・モジュール (TFAM) を提案し,特徴の受容領域を動的に調整する。
信頼できないものを排除するために、位置認識非最大抑制(PA-NMS)モジュールを考案する。
論文 参考訳(メタデータ) (2021-04-02T14:34:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。