論文の概要: Style over Substance? Linguistic Bias in LLM-based Peer Review Copy title

• arxiv url: http://arxiv.org/abs/2610.35254v1
• Date: Mon, 26 Oct 2026 11:34:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.844278
• Title: Style over Substance? Linguistic Bias in LLM-based Peer Review Copy title
• Title（参考訳）: LLMによるPeer Review Copyタイトルの言語的バイアス
• Abstract要約: 大きな言語モデル(LLM)は、ピアレビューをサポートするためにますます使われています。 LLMは、科学的内容とは無関係な言語的特徴に影響される可能性がある。 我々は、(i)母国英語や非母国英語の文章に関連する言語的特徴と、(ii)高信頼または低信頼の言語的特徴を示すために、論文を書き直す。
• 参考スコア（独自算出の注目度）: 36.72970347583841
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The number of paper submissions to major AI conferences has increased dramatically in recent years, substantially increasing the peer-review workload of researchers. At the same time, large language models (LLMs) are increasingly used to support peer review, both by individual reviewers and by conference organizations. While LLM capabilities have improved considerably, their evaluations may be influenced by linguistic characteristics that are unrelated to scientific content. In this work, we introduce a controlled experimental framework for studying such effects by systematically perturbing the linguistic style of research papers. Specifically, we rewrite papers to exhibit (i) linguistic features associated with native or non-native English writing, and (ii) high- or low-confidence linguistic features. To construct these interventions, we derive fine-grained rewriting instructions grounded in the linguistic literature and apply them using LLMs. Crucially, our interventions are designed to preserve the underlying scientific content. We then evaluate the resulting papers using different LLM reviewers. Our experiments expose a critical vulnerability in LLM-based peer review: reviewers systematically reward confident rhetoric independent of scientific content, raising serious concerns about the robustness of their assessments.
• Abstract（参考訳）: 近年、主要なAIカンファレンスへの論文提出件数は劇的に増加し、研究者のピアレビューワークロードが大幅に増加した。 同時に、大きな言語モデル(LLM)は、個々のレビュアーやカンファレンス組織によるピアレビューをサポートするために、ますます使われています。 LLMの能力はかなり改善されているが、その評価は科学的内容とは無関係な言語的特徴の影響を受けている可能性がある。 本研究では,研究論文の言語的スタイルを体系的に摂動させることにより,そのような効果を研究するための制御された実験枠組みを紹介する。 具体的には 論文を書き直して展示します 一 ネイティブ英語又は非ネイティブ英語の文章に関連する言語的特徴、及び (ii)高信頼・低信頼の言語的特徴。 これらの介入を構築するために,言語学に根ざした微粒な書き直し命令を導出し,LLMを用いて適用する。 重要なことは、我々の介入は、基礎となる科学的内容を保存するために設計されている。 次に、異なるLCMレビュアーを用いて、得られた論文を評価する。 我々の実験は、LLMベースのピアレビューにおいて重大な脆弱性を露呈している。レビュアーは、科学的内容から独立して自信あるレトリックを体系的に報酬し、彼らの評価の堅牢性に対する深刻な懸念を提起する。

関連論文リスト

• Impact of large language models on peer review opinions from a fine-grained perspective: Evidence from top conference proceedings in AI [12.04501354723317]
  大規模言語モデル(LLM)の出現に伴う学術論文のピアレビューレポートの変化について検討する。 その結果, LLMの出現に伴い, 要約や表面面の明瞭さに重点を置いたピアレビューテキストが, より長く, より流動的になってきていることが示唆された。 同時に、独創性、複製性、ニュアンスドクリティカルな推論など、より深い評価次元への注意は減少している。
  論文  参考訳（メタデータ） (2026-04-21T15:33:53Z)
• Counterfactual LLM-based Framework for Measuring Rhetorical Style [15.917819866091191]
  本稿では,機械学習論文の実体的内容から修辞的スタイルを遠ざけるための,反実的LLMベースのフレームワークを提案する。 2017年から2025年にかけてサンプリングされた8,485 ICLRへのこの手法の適用により、25万件以上の偽造書を生成する。 視線フレーミングは、ピアレビュー評価を制御した後でも、引用やメディアの注意を含む下流の注意を著しく予測する。
  論文  参考訳（メタデータ） (2025-12-22T22:22:46Z)
• LLM-REVal: Can We Trust LLM Reviewers Yet? [70.58742663985652]
  大規模言語モデル(LLM)は研究者に、学術的なワークフローに広く組み込むよう刺激を与えている。 本研究は、LLMのピアレビューと研究プロセスへの深い統合が学術的公正性にどのように影響するかに焦点を当てる。
  論文  参考訳（メタデータ） (2025-10-14T10:30:20Z)
• Large Language Models Penetration in Scholarly Writing and Peer Review [43.600778691549706]
  学術的な視点と次元にまたがる大規模言語モデルの浸透を評価する。 本実験は,学術的プロセスにおけるLLMの役割の増大を明らかにするために,textttLLMetricaの有効性を実証した。 これらの知見は、学術的信頼性を維持するために、LLMの使用における透明性、説明責任、倫理的実践の必要性を強調した。
  論文  参考訳（メタデータ） (2025-02-16T16:37:34Z)
• Are We There Yet? Revealing the Risks of Utilizing Large Language Models in Scholarly Peer Review [66.73247554182376]
  大規模言語モデル(LLM)がピアレビューに統合された。 未確認のLLMの採用は、ピアレビューシステムの完全性に重大なリスクをもたらす。 5%のレビューを操作すれば、論文の12%が上位30%のランキングでその地位を失う可能性がある。
  論文  参考訳（メタデータ） (2024-12-02T16:55:03Z)
• LLMs Assist NLP Researchers: Critique Paper (Meta-)Reviewing [106.45895712717612]
  大規模言語モデル(LLM)は、様々な生成タスクにおいて顕著な汎用性を示している。 本研究は,NLP研究者を支援するLLMの話題に焦点を当てる。 私たちの知る限りでは、このような包括的な分析を提供するのはこれが初めてです。
  論文  参考訳（メタデータ） (2024-06-24T01:30:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。