論文の概要: Science or Slop?: Benchmarking and Mitigating Scientific Slop in AI-Generated Papers

• arxiv url: http://arxiv.org/abs/2610.00531v1
• Date: Wed, 30 Sep 2026 18:16:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.691293
• Title: Science or Slop?: Benchmarking and Mitigating Scientific Slop in AI-Generated Papers
• Title（参考訳）: サイエンスかスロープか?:AI生成論文における科学のスロープのベンチマークと緩和
• Abstract要約: しかし、AIが生成する科学論文には、既存のトークンベースのAI検出器では容易に検出できない、より複雑なパターンがある。 これらの失敗を、構造、論証、アーティファクトの6つの尺度を通じて科学的にスロープしたものとして評価する。 本研究では,SciSlopHarnessを提案する。SciSlopHarnessは,実験記録が変更をサポートする場合にのみスロープを修正するための固定LDMをガイドするフレームワークである。
• 参考スコア（独自算出の注目度）: 59.059012465617634
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: AI-generated content, often called AI slop, is increasingly common everywhere, particularly in academia. Slop in AI-generated scientific papers, however, has more complex patterns that cannot be easily detected by existing token-based AI detectors. Each part of such a paper looks plausible while the scientific reasoning that connects the parts breaks down, which can mislead how readers assess the work. We benchmark these failures as scientific slop through six measures across Structure, Argument, and Artifacts. We construct SciSlopBench with 390 AI-generated papers, mostly in computer science but spanning the life, social, and natural sciences, each paired with a human-written paper matched by research problem and contribution type. Our measures identify the AI paper in each pair with 85.9% accuracy, compared with 68.7% for Binoculars. Higher scientific slop accompanies lower ICLR ratings and distinguishes rejected from accepted papers above chance in every year from 2017 to 2025. Reducing these patterns, however, is not as simple as directly optimizing the measures. We therefore propose SciSlopHarness, a harness-level framework that guides a fixed LLM to revise slop only where the experiment records support the change. While standard revisions leave residual slop and direct slop-aware prompting triggers reward hacking, SciSlopHarness reduces the remaining AI-human gap by 63% over the strongest revision baseline without requiring human reference targets. Overall, we demonstrate that AI-generated scientific papers leave fundamental traces in their global reasoning, and that responsible mitigation demands strict evidentiary grounding rather than mere prose refinement.
• Abstract（参考訳）: AI生成コンテンツ(しばしばAI slopと呼ばれる)は、特にアカデミックにおいて、至るところでますます一般的になっている。 しかし、AIが生成する科学論文には、既存のトークンベースのAI検出器では容易に検出できない、より複雑なパターンがある。 このような論文のそれぞれの部分はもっともらしく見えるが、部品を繋ぐ科学的推論は崩壊し、読者の作業評価の仕方を誤解させる可能性がある。 これらの失敗を、構造、論証、アーティファクトの6つの尺度を通じて科学的にスロープしたものとして評価する。 我々はSciSlopBenchを390のAI生成論文で構築し、主にコンピュータ科学であるが、生活、社会、自然科学にまたがる。 我々の測定では、それぞれのペアのAI論文を85.9%の精度で識別し、Binocularsは68.7%である。 より高度な科学的スロープは、2017年から2025年までの毎年、ICLRの格付けを低くし、承認された論文と区別する。 しかし、これらのパターンを減らすことは、測定を直接最適化するほど単純ではない。 そこで我々は,SciSlopHarnessを提案する。SciSlopHarnessは固定LDMをガイドし,実験記録が変更をサポートする場合にのみスロープを修正するためのハーネスレベルのフレームワークである。 しかしSciSlopHarnessは、人間の参照ターゲットを必要とせずに、最強のリビジョンベースラインに対してAIと人間のギャップを63%削減する。 全体として、AIが生成する科学論文は、その世界的推論に基本的な痕跡を残しており、責任の軽減には、単なる散文の洗練よりも厳格な明確な根拠が必要であることを実証する。

関連論文リスト

• PaperDoctor: Evidence-Grounded and Actionable Feedback for Scientific Papers in Progress [130.58520199343707]
  PaperDoctorは,3つの重要なイノベーションを備えた,サブミッション前のフィードバックのためのエージェントフレームワークである。 まず、全体論的階層的なフレームワークは、書き込み、レイアウト、参照、コード、理論、先行作業、実験を評価します。 第二に、各発見には、観察、文、方程式、コードラインなどの特定の証拠へのポインタ、修正提案が含まれる。 第3に、PaperDoctorはクレームの重要性と計算予算に基づいて実験を選択的に再構築し、再実行する。
  論文  参考訳（メタデータ） (2026-09-15T11:08:11Z)
• Does Multi-Agent Debate Improve AI Feedback on Research Papers? [0.0]
  44のメタアナリシスの著者は、自身の論文で3つのAIレポートを、改善に有用性でランク付けした。 完成した論文に対する知覚的有用性を測定し,AIが論文を参照すべきかどうかを別途問う。
  論文  参考訳（メタデータ） (2026-07-16T08:24:27Z)
• Towards Automating Scientific Review with Google's Paper Assistant Tool [43.64244794415017]
  Paper Assistant Tool (PAT)は、ディープ・サイエンス・レビューと検証のために開発されたエージェントAIフレームワークである。 2つの主要なコンピュータサイエンスカンファレンスの著者のための事前提出ツールとしてのPATのパイロット展開は、重大なエラーを識別する能力を示している。 PATは、レビュープロセスの結果をコントロールしながら、レフェリーに置かれる認知的負担を軽減する。
  論文  参考訳（メタデータ） (2026-06-26T17:19:17Z)
• On the limits and opportunities of AI reviewers: Reviewing the reviews of Nature-family papers with 45 expert scientists [113.03797263688519]
  多くの科学者は、AIレビュアーを研究を評価する専門知識のない確率的システムと見なしている。 既存のAIレビュアーの評価では、評決が人間の評決に合致するかどうかに焦点が当てられている。
  論文  参考訳（メタデータ） (2026-05-20T03:33:55Z)
• AI for Auto-Research: Roadmap & User Guide [107.0834449839233]
  研究ライフサイクル全体にわたってAIをエンドツーエンドに分析する。 我々は、信頼できる援助と信頼できない自律性の間に、鋭くステージに依存した境界を特定できる。 障害モードを排除するのではなく、より大きな自動化が不明瞭であることが示されています。
  論文  参考訳（メタデータ） (2026-05-18T17:08:26Z)
• Stop Automating Peer Review Without Rigorous Evaluation [51.53099943385505]
  このポジションペーパーは、今日のAIシステムは、論文レビューの作成に使用すべきではない、と論じている。 1)AIレビュアーは、視点の多様性を低下させる論文内および新聞内における過剰な合意の隠れた効果を示す。 ピアレビューの危機に対処するには、ピアレビューの自動化の科学が必要です。
  論文  参考訳（メタデータ） (2026-05-04T22:41:04Z)
• When AI reviews science: Can we trust the referee? [73.47745294608072]
  私たちは、トレーニングとデータ検索、デスクレビュー、深いレビュー、反論、システムレベルといった、レビューライフサイクル全体のアタックをマップします。 評価スコアに高名度フレーミング, 断定力, 反抗薬効, 文脈中毒の因果効果を分離するために, 2つの高度なLCMベースの審判を用いた。
  論文  参考訳（メタデータ） (2026-04-26T08:03:32Z)
• When AI Co-Scientists Fail: SPOT-a Benchmark for Automated Verification of Scientific Research [19.97666809905332]
  大規模言語モデル(LLM)は、AIコサイシストと呼ばれる自動科学的発見のビジョンを加速させた。 大規模言語モデル(LLM)の最近の進歩は、しばしばAIコサイシストと呼ばれる自動科学的発見のビジョンを加速させた。
  論文  参考訳（メタデータ） (2025-05-17T05:45:16Z)
• Evaluating Sakana's AI Scientist: Bold Claims, Mixed Results, and a Promising Future? [20.188659973082643]
  サカナは先日,AI Scientistを導入して,自律的に研究を行うこと,すなわち,私たちがARI(Artificial Research Intelligence)と呼ぶものを達成したことを示唆している,と主張している。 AI Scientistの評価は、重大な欠点を明らかにします。
  論文  参考訳（メタデータ） (2025-02-20T06:22:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。