論文の概要: The Feasibility of Topic-Based Watermarking on Academic Peer Reviews

• arxiv url: http://arxiv.org/abs/2505.21636v1
• Date: Tue, 27 May 2025 18:09:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-29 17:35:50.218872
• Title: The Feasibility of Topic-Based Watermarking on Academic Peer Reviews
• Title（参考訳）: 学術ピアレビューにおけるトピックベースの透かしの可能性
• Authors: Alexander Nemecek, Yuzhou Jiang, Erman Ayday,
• Abstract要約: 大規模言語モデル(LLM)に対する話題ベース透かし(TBW)の評価を行った。 以上の結果から,TBWは非透かし出力と比較してレビュー品質を保ちつつ,パラフレージングに基づく回避を強く示している。
• 参考スコア（独自算出の注目度）: 46.71493672772134
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are increasingly integrated into academic workflows, with many conferences and journals permitting their use for tasks such as language refinement and literature summarization. However, their use in peer review remains prohibited due to concerns around confidentiality breaches, hallucinated content, and inconsistent evaluations. As LLM-generated text becomes more indistinguishable from human writing, there is a growing need for reliable attribution mechanisms to preserve the integrity of the review process. In this work, we evaluate topic-based watermarking (TBW), a lightweight, semantic-aware technique designed to embed detectable signals into LLM-generated text. We conduct a comprehensive assessment across multiple LLM configurations, including base, few-shot, and fine-tuned variants, using authentic peer review data from academic conferences. Our results show that TBW maintains review quality relative to non-watermarked outputs, while demonstrating strong robustness to paraphrasing-based evasion. These findings highlight the viability of TBW as a minimally intrusive and practical solution for enforcing LLM usage in peer review.
• Abstract（参考訳）: 大規模言語モデル(LLM)は学術的なワークフローに統合され、多くのカンファレンスやジャーナルが言語の改良や文学の要約といったタスクに使えるようになった。 しかし、機密性侵害、幻覚コンテンツ、一貫性のない評価に関する懸念から、査読における彼らの使用は依然として禁止されている。 LLM生成したテキストが人間の文章と区別しにくくなるにつれ、レビュープロセスの完全性を維持するための信頼性の高い帰属機構の必要性が高まっている。 本研究では,LLM生成テキストに検出可能な信号を埋め込む軽量な意味認識技術であるトピックベースの透かし (TBW) を評価する。 我々は,学術会議のピアレビューデータを用いて,ベース,少数ショット,微調整など,複数のLCM構成の総合的な評価を行う。 以上の結果から,TBWは非透かし出力に対するレビュー品質を維持しつつ,パラフレーズベースの回避に強い堅牢性を示した。 これらの結果から, TBW はピアレビューにおいて LLM の使用を強制するための最小限の侵入的, 実用的ソリューションである可能性が示唆された。

関連論文リスト

• In-Context Watermarks for Large Language Models [71.29952527565749]
  In-Context Watermarking (ICW)は、インシデントエンジニアリングのみで生成されたテキストに透かしを埋め込む。 粒度の異なる4つのICW戦略について検討した。 本実験は,モデルに依存しない実用的な透かし手法としてのICWの実現可能性を検証するものである。
  論文  参考訳（メタデータ） (2025-05-22T17:24:51Z)
• Detecting LLM-Generated Peer Reviews [37.51215252353345]
  大規模言語モデル(LLM)の台頭は、一部のレビュアーが独立して記述するのではなく、レビューを生成するためにこれらのツールに依存するのではないかという懸念を提起している。 論文のPDFを通じて間接的インジェクションを行うアプローチを考察し,LLMが生成したレビューに隠された透かしを埋め込むよう促す。 本稿では,複数のレビューにまたがって家族的誤り率を制御し,標準的な修正よりも高い統計力を実現する透かし方式と仮説テストを導入する。
  論文  参考訳（メタデータ） (2025-03-20T01:11:35Z)
• Large Language Models Penetration in Scholarly Writing and Peer Review [43.600778691549706]
  学術的な視点と次元にまたがる大規模言語モデルの浸透を評価する。 本実験は,学術的プロセスにおけるLLMの役割の増大を明らかにするために,textttLLMetricaの有効性を実証した。 これらの知見は、学術的信頼性を維持するために、LLMの使用における透明性、説明責任、倫理的実践の必要性を強調した。
  論文  参考訳（メタデータ） (2025-02-16T16:37:34Z)
• Are We There Yet? Revealing the Risks of Utilizing Large Language Models in Scholarly Peer Review [66.73247554182376]
  大規模言語モデル(LLM)がピアレビューに統合された。 未確認のLLMの採用は、ピアレビューシステムの完全性に重大なリスクをもたらす。 5%のレビューを操作すれば、論文の12%が上位30%のランキングでその地位を失う可能性がある。
  論文  参考訳（メタデータ） (2024-12-02T16:55:03Z)
• Streamlining the review process: AI-generated annotations in research manuscripts [0.5735035463793009]
  本研究では,Large Language Models (LLM) をピアレビュープロセスに統合し,効率を向上する可能性について検討する。 我々は、AIと人間のコラボレーションの潜在的な領域として、写本の注釈、特に抜粋ハイライトに焦点を当てている。 本稿では,GPT-4を利用した原稿レビュープラットフォームAnnotateGPTを紹介する。
  論文  参考訳（メタデータ） (2024-11-29T23:26:34Z)
• Can Watermarking Large Language Models Prevent Copyrighted Text Generation and Hide Training Data? [62.72729485995075]
  著作権文書の生成に対する抑止剤としての透かしの有効性について検討する。 我々は、透かしがメンバーシップ推論攻撃(MIA)の成功率に悪影響を及ぼすことを発見した。 透かしにおける最近のMIAの成功率を改善するための適応的手法を提案する。
  論文  参考訳（メタデータ） (2024-07-24T16:53:09Z)
• Peer Review as A Multi-Turn and Long-Context Dialogue with Role-Based Interactions [62.0123588983514]
  大規模言語モデル(LLM)は様々な分野にまたがる幅広い応用を実証してきた。 我々は、ピアレビュープロセスを多ターン長文対話として再構築し、著者、レビュアー、意思決定者に対して異なる役割を担っている。 複数の情報源から収集された92,017件のレビューを含む26,841件の論文を含む包括的データセットを構築した。
  論文  参考訳（メタデータ） (2024-06-09T08:24:17Z)
• FABLES: Evaluating faithfulness and content selection in book-length summarization [55.50680057160788]
  本稿では,本書の忠実度と内容選択の大規模評価を行う。 LLMが生成した26冊のサマリーで作成した3,158冊の注釈のデータセットであるFABLESを5.2KUSDで収集する。 注釈の分析によると、ほとんどの不誠実な主張は出来事や登場人物の状態に関係しており、物語を無効にするために間接的推論を必要とする。
  論文  参考訳（メタデータ） (2024-04-01T17:33:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。