論文の概要: Large Language Model Turnover Undermines Screening for Artificial Intelligence-Assisted Scientific Writing

• arxiv url: http://arxiv.org/abs/2610.11599v1
• Date: Thu, 08 Oct 2026 09:44:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.934359
• Title: Large Language Model Turnover Undermines Screening for Artificial Intelligence-Assisted Scientific Writing
• Title（参考訳）: 大規模言語モデル変更は、人工知能による科学的な文章作成のスクリーニングを損なう
• Abstract要約: 我々は、このLCMの回転が科学写本のスクリーニングにどのように影響するかを定量化する。 4000の事前ChatGPTの抽象化と、23のLLMバージョンを3つのベンダーから書き直した。 その後、新しいバージョンで再訓練された検出器から、一度トレーニングされた1回、更新されていない1回の検出器まで、メンテナンスシナリオ下でのディテクターのトレーニングを行いました。
• 参考スコア（独自算出の注目度）: 0.9453554184019106
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Journals and conferences have begun to screen submitted manuscripts for text written using large language models (LLMs). The reliability of this screening rests on benchmark evaluations against a fixed set of LLM versions, while the versions in actual use keep changing. Here we quantify how this LLM turnover affects the screening of scientific manuscripts. We paired 4,000 pre-ChatGPT abstracts from the Proceedings of the National Academy of Sciences with their rewrites by 23 LLM versions from three vendors, released between June 2023 and August 2026. We then trained detectors under maintenance scenarios ranging from a detector retrained on every new version to one trained once and never updated. Detectors trained only on a vendor's past versions can collapse at the boundaries between model generations: calibrated to falsely flag 1% of human-written abstracts, they catch above 99% of rewrites just before the sharpest boundary and 3.8% just after it. Detectors trained on later versions can also miss rewrites of earlier ones. Vocabulary differences between versions largely track where detection transfers and where it fails. In the two screening scenarios we simulated, screens covering all 23 versions either flagged one in eight human-written abstracts or missed one in three rewrites of the newest version. Indeed, a commercial detector missed most rewrites of the version just after the sharpest boundary while flagging almost no human-written abstracts. Research-integrity policy should therefore treat the benchmark accuracy of a detector as provisional, to be re-verified with every LLM release, including earlier versions.
• Abstract（参考訳）: 雑誌や会議は、大きな言語モデル(LLM)を使用して書かれたテキストの原稿をスクリーニングし始めた。 このスクリーニングの信頼性は、固定されたLLMバージョンに対するベンチマーク評価にかかっているが、実際の使用時のバージョンは変わっていない。 ここでは、このLCMの回転が科学写本のスクリーニングにどのように影響するかを定量化する。 私たちは、2023年6月から2026年8月までにリリースされた3つのベンダーから23のLLM版を書き換えて、全米科学アカデミー紀要から4000の事前ChatGPTの抽象化をペアにしました。 その後、新しいバージョンで再訓練された検出器から、一度トレーニングされた1回、更新されていない1回の検出器まで、メンテナンスシナリオ下でのディテクターのトレーニングを行いました。 ベンダーの過去のバージョンのみにトレーニングされたディテクタは、モデル世代間のバウンダリで崩壊する可能性がある。人間による抽象化の1%を誤ってフラグ付けするように調整され、最もシャープなバウンダリの直前に99%以上、その直後に3.8%をリライトする。 後のバージョンでトレーニングされた検出器は、以前のバージョンの書き換えを見逃すこともできる。 バージョン間の語彙差は、主に検出の転送場所と失敗箇所を追跡する。 シミュレーションした2つのスクリーニングシナリオでは、23バージョンすべてをカバーするスクリーンが8つに1つにフラグを付けるか、最新バージョンの3つに1つを欠いたかのどちらかでした。 実際、商業用検出器は、最もシャープな境界のすぐ後にバージョンをほとんどの書き直しを見逃した。 したがって、調査統合ポリシーは、検出器のベンチマーク精度を暫定的に扱い、以前のバージョンを含む全てのLCMリリースで再検証する必要がある。

関連論文リスト

• Team MSU GenText-Forensics Challenge 2026 Technical Report [42.874268801024066]
  文書の偽造は単純なピクセルレベルの操作を超えて進化してきた。 ACM MM 2026 GenText-Forensics Challengeは、多言語テキストイメージが偽造されているかどうかを決定するシステムを必要とする。 本稿では,文書改ざん検出(DTD)と2つのQwen3-VL-32B視覚言語モデルを組み合わせたCoTパイプラインを提案する。
  論文  参考訳（メタデータ） (2026-09-29T18:49:01Z)
• ARB: A Matched Authorship-Rewriting Benchmark Dataset for AI-Text Detector Evaluation [1.6901808995670524]
  Authorship-Rewriting Benchmark (ARB)は1,800の人文テキストと4つのオープンウェイトジェネレータから構築されている。 FastDetectGPTとBinoculars-falcon-7bは直接LLMテキストの91.2%と93.5%を検出したが、LLMが書き直した人間のテキストの30.8%と15.1%しか検出しなかった。 これらの結果から,従来のHuman-vs.LLMベンチマークで測定された検出性能は,LLMによって改訂された人間によるテキストに転送されないことがわかった。
  論文  参考訳（メタデータ） (2026-07-31T15:35:57Z)
• DetectAnyLLM: Towards Generalizable and Robust Detection of Machine-Generated Text Across Domains and Models [60.713908578319256]
  タスク指向の知識で検出器を最適化するために,DDL(Direct Discrepancy Learning)を提案する。 そこで本研究では,最新のMGTD性能を実現する統合検出フレームワークであるTectAnyLLMを紹介する。 MIRAGEは5つのテキストドメインにまたがる10のコーパスから人書きテキストをサンプリングし、17個の最先端のLLMを使用して再生成または修正する。
  論文  参考訳（メタデータ） (2025-09-15T10:59:57Z)
• Large Language Model Hacking: Quantifying the Hidden Risks of Using LLMs for Text Annotation [66.84286617519258]
  大規模言語モデルは、データアノテーションやテキスト分析といった労働集約的なタスクの自動化を可能にすることで、社会科学の研究を変革している。 このような変異は、系統的なバイアスやランダムなエラーを導入し、下流の分析に伝播し、タイプI(偽陽性)、タイプII(偽陰性)、タイプS(重み付け効果)、タイプM(誇張効果)のエラーを引き起こす。 意図的なLSMハッキングは驚くほど単純であることがわかった。21の社会科学研究から37のデータアノテーションタスクを複製することで、ほんのわずかのプロンプトの言い回しで、事実上何であれ統計的に重要なものとして表現できることがわかりました。
  論文  参考訳（メタデータ） (2025-09-10T17:58:53Z)
• RAFT: Realistic Attacks to Fool Text Detectors [16.749257564123194]
  大規模言語モデル(LLM)は、様々なタスクにまたがって顕著な流速を示した。 偽情報の拡散など倫理的でない応用が懸念されている。 RAFT:既存のLLM検出器に対する文法エラーのないブラックボックス攻撃について述べる。
  論文  参考訳（メタデータ） (2024-10-04T17:59:00Z)
• Learning to Rewrite: Generalized LLM-Generated Text Detection [19.9477991969521]
  大規模言語モデル(LLM)は、非現実的コンテンツを生成し、大規模に偽情報を拡散する際に大きなリスクをもたらす。 本稿では、未知の領域に例外的な一般化を伴うAI生成テキストを検出するための新しいフレームワークであるLearning2Rewriteを紹介する。
  論文  参考訳（メタデータ） (2024-08-08T05:53:39Z)
• Spotting LLMs With Binoculars: Zero-Shot Detection of Machine-Generated Text [98.28130949052313]
  密接に関連する2つの言語モデルとの対比に基づくスコアは、人文と機械文の分離に極めて正確である。 本稿では,一対の事前学習 LLM を用いた簡単な計算しか必要としない新しい LLM 検出器を提案する。 Binocularsと呼ばれるこの方法は、トレーニングデータなしで最先端の精度を実現する。
  論文  参考訳（メタデータ） (2024-01-22T16:09:47Z)
• Red Teaming Language Model Detectors with Language Models [114.36392560711022]
  大規模言語モデル(LLM)は、悪意のあるユーザによって悪用された場合、重大な安全性と倫理的リスクをもたらす。 近年,LLM生成テキストを検出し,LLMを保護するアルゴリズムが提案されている。 1) LLMの出力中の特定の単語を, 文脈が与えられたシノニムに置き換えること, 2) 生成者の書き方を変更するための指示プロンプトを自動で検索すること,である。
  論文  参考訳（メタデータ） (2023-05-31T10:08:37Z)
• MAGE: Machine-generated Text Detection in the Wild [82.70561073277801]
  大規模言語モデル(LLM)は人間レベルのテキスト生成を実現し、効果的なAI生成テキスト検出の必要性を強調している。 我々は、異なるLLMによって生成される多様な人文やテキストからテキストを収集することで、包括的なテストベッドを構築する。 問題にもかかわらず、トップパフォーマンス検出器は、新しいLCMによって生成された86.54%のドメイン外のテキストを識別することができ、アプリケーションシナリオの実現可能性を示している。
  論文  参考訳（メタデータ） (2023-05-22T17:13:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。