論文の概要: ChatGPT: Excellent Paper! Accept It. Editor: Imposter Found! Review Rejected
- arxiv url: http://arxiv.org/abs/2512.20405v2
- Date: Thu, 25 Dec 2025 23:50:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-29 13:23:29.819064
- Title: ChatGPT: Excellent Paper! Accept It. Editor: Imposter Found! Review Rejected
- Title(参考訳): ChatGPT: 優れたペーパー! 受け入れて! 編集者: Imposter Found!
- Authors: Kanchon Gharami, Sanjiv Kumar Sarkar, Yongxin Liu, Shafika Showkat Moni,
- Abstract要約: 大規模言語モデル(LLM)は、現在では科学論文の執筆やレビューに広く使われている。
この研究は、この増大する脅威の攻撃的側面と防御的側面の両方を探求する。
- 参考スコア(独自算出の注目度): 2.8267286544376797
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Models (LLMs) like ChatGPT are now widely used in writing and reviewing scientific papers. While this trend accelerates publication growth and reduces human workload, it also introduces serious risks. Papers written or reviewed by LLMs may lack real novelty, contain fabricated or biased results, or mislead downstream research that others depend on. Such issues can damage reputations, waste resources, and even endanger lives when flawed studies influence medical or safety-critical systems. This research explores both the offensive and defensive sides of this growing threat. On the attack side, we demonstrate how an author can inject hidden prompts inside a PDF that secretly guide or "jailbreak" LLM reviewers into giving overly positive feedback and biased acceptance. On the defense side, we propose an "inject-and-detect" strategy for editors, where invisible trigger prompts are embedded into papers; if a review repeats or reacts to these triggers, it reveals that the review was generated by an LLM, not a human. This method turns prompt injections from vulnerability into a verification tool. We outline our design, expected model behaviors, and ethical safeguards for deployment. The goal is to expose how fragile today's peer-review process becomes under LLM influence and how editorial awareness can help restore trust in scientific evaluation.
- Abstract(参考訳): ChatGPTのような大規模言語モデル(LLM)は、現在では科学論文の執筆やレビューに広く使われている。
この傾向は出版物の成長を加速させ、人的負担を減らす一方で、深刻なリスクももたらします。
LLMによって書かれた、またはレビューされた論文は、真に斬新さを欠いたり、製造された結果や偏見のある結果を含んでいたり、他者が依存する下流の研究を誤解させたりする可能性がある。
このような問題は、医療や安全に重要なシステムに欠陥のある研究が影響を及ぼすと、評判や資源の浪費、さらには命が危うくなる恐れがある。
この研究は、この増大する脅威の攻撃的側面と防御的側面の両方を探求する。
攻撃側では、著者がPDF内に隠れたプロンプトを注入し、LLMレビュアーをひそかにガイドしたり「ジェイルブレイク」して過度に肯定的なフィードバックを与え、受け入れをバイアスする様子を実証する。
防衛面では,目に見えないトリガープロンプトを紙に埋め込んだ編集者のための"インジェクト・アンド・デテクスト"戦略を提案し,レビューが繰り返されたり,反応したりすると,レビューは人間ではなくLDMによって生成されたことが明らかとなった。
この方法は脆弱性からのインジェクションを検証ツールに変える。
当社の設計、期待されるモデル行動、デプロイメントのための倫理的保護について概説します。
目標は、今日のピアレビュープロセスがLLMの影響下にあること、そして編集意識が科学的評価の信頼を取り戻すのにどのように役立つかを明らかにすることである。
関連論文リスト
- Publish to Perish: Prompt Injection Attacks on LLM-Assisted Peer Review [17.869642243653985]
大規模言語モデル(LLM)は、科学的なピアレビュープロセスに統合されつつある。
本研究は,著者が論文のPDFに敵対的テキストを埋め込む,隠れたプロンプトインジェクション攻撃の可能性について検討する。
論文 参考訳(メタデータ) (2025-08-28T14:57:04Z) - Paper Summary Attack: Jailbreaking LLMs through LLM Safety Papers [61.57691030102618]
我々は新しいジェイルブレイク手法であるペーパー・サプリメント・アタック(llmnamePSA)を提案する。
攻撃に焦点をあてたLLM安全紙からコンテンツを合成し、敵のプロンプトテンプレートを構築する。
実験では、ベースLLMだけでなく、Deepseek-R1のような最先端の推論モデルにも重大な脆弱性がある。
論文 参考訳(メタデータ) (2025-07-17T18:33:50Z) - Detecting LLM-Generated Peer Reviews [37.51215252353345]
大規模言語モデル(LLM)の台頭は、一部のレビュアーが独立して記述するのではなく、レビューを生成するためにこれらのツールに依存するのではないかという懸念を提起している。
論文のPDFを通じて間接的インジェクションを行うアプローチを考察し,LLMが生成したレビューに隠された透かしを埋め込むよう促す。
本稿では,複数のレビューにまたがって家族的誤り率を制御し,標準的な修正よりも高い統計力を実現する透かし方式と仮説テストを導入する。
論文 参考訳(メタデータ) (2025-03-20T01:11:35Z) - Are We There Yet? Revealing the Risks of Utilizing Large Language Models in Scholarly Peer Review [66.73247554182376]
大規模言語モデル(LLM)がピアレビューに統合された。
未確認のLLMの採用は、ピアレビューシステムの完全性に重大なリスクをもたらす。
5%のレビューを操作すれば、論文の12%が上位30%のランキングでその地位を失う可能性がある。
論文 参考訳(メタデータ) (2024-12-02T16:55:03Z) - "Kelly is a Warm Person, Joseph is a Role Model": Gender Biases in
LLM-Generated Reference Letters [97.11173801187816]
大規模言語モデル(LLM)は、個人が様々な種類のコンテンツを書くのを支援する効果的なツールとして最近登場した。
本稿では, LLM 生成した参照文字の性別バイアスについて批判的に検討する。
論文 参考訳(メタデータ) (2023-10-13T16:12:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。