論文の概要: Are we still able to recognize pearls? Machine-driven peer review and the risk to creativity: An explainable RAG-XAI detection framework with markers extraction

• arxiv url: http://arxiv.org/abs/2604.07964v1
• Date: Thu, 09 Apr 2026 08:25:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-10 18:34:05.801175
• Title: Are we still able to recognize pearls? Machine-driven peer review and the risk to creativity: An explainable RAG-XAI detection framework with markers extraction
• Title（参考訳）: 真珠はまだ認識できるのか? 機械駆動のピアレビューと創造性へのリスク:マーカー抽出による説明可能なRAG-XAI検出フレームワーク
• Authors: Alin-Gabriel Văduva, Simona-Vasilica Oprea, Adela Bâra,
• Abstract要約: 本稿では、レビュー品質を評価し、自動パターンを検出するための説明可能なフレームワーク(RAG-XAI)を提案する。 XGBoost、Random Forest、LightGBMは99.61%、AUC-ROCは0.999以上、F1スコアは0.9925である。
• 参考スコア（独自算出の注目度）: 7.723181091241251
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The integration of large language models (LLMs) into peer review raises a concern beyond authorship and detection: the potential cascading automation of the entire editorial process. As reviews become partially or fully machine-generated, it becomes plausible that editorial decisions may also be delegated to algorithmic systems, leading to a fully automated evaluation pipeline. They risk reshaping the criteria by which scientific work is assessed. This paper argues that machine-driven assessment may systematically favor standardized, pattern-conforming research while penalizing unconventional and paradigm-shifting ideas that require contextual human judgment. We consider that this shift could lead to epistemic homogenization, where researchers are implicitly incentivized to optimize their work for algorithmic approval rather than genuine discovery. To address this risk, we introduce an explainable framework (RAG-XAI) for assessing review quality and detecting automated patterns using markers LLM extractor, aiming to preserve transparency, accountability and creativity in science. The proposed framework achieves near-perfect detection performance, with XGBoost, Random Forest and LightGBM reaching 99.61% accuracy, AUC-ROC above 0.999 and F1-scores of 0.9925 on the test set, while maintaining extremely low false positive rates (<0.23%) and false negative rates (~0.8%). In contrast, the logistic regression baseline performs substantially worse (89.97% accuracy, F1-score 0.8314). Feature importance and SHAP analyses identify absence of personal signals and repetition patterns as the dominant predictors. Additionally, the RAG component achieves 90.5% top-1 retrieval accuracy, with strong same-class clustering in the embedding space, further supporting the reliability of the framework's outputs.
• Abstract（参考訳）: 大規模言語モデル(LLM)をピアレビューに統合することで、著者や検出以上の懸念が生まれ、編集プロセス全体をカスケードする可能性がある。 レビューが部分的にあるいは完全に機械生成されるにつれて、編集決定がアルゴリズムシステムに委譲される可能性が高くなり、完全に自動化された評価パイプラインがもたらされる。 彼らは科学的な研究が評価される基準を改定するリスクがある。 本稿では, 機械駆動型評価は, 文脈的人的判断を必要とする非伝統的な, パラダイムシフトの考え方を罰する一方で, 標準化されたパターンコンフォーミング研究を体系的に好む可能性があることを論じる。 この変化は、真の発見ではなく、アルゴリズムの承認のために研究を最適化するために暗黙のインセンティブを与えられている、てんかんの均質化に繋がる可能性があると考えている。 このリスクに対処するために,学術における透明性,説明責任,創造性を維持することを目的として,レビュー品質を評価し,マーカーLPM抽出器を用いて自動パターンを検出するための説明可能なフレームワーク(RAG-XAI)を導入する。 XGBoost、Random Forest、LightGBMは99.61%、AUC-ROCは0.999以上、F1スコアは0.9925であり、非常に低い偽陽性率 (0.23%) と偽陰性率 (~0.8%) を維持している。 対照的に、ロジスティック回帰ベースラインは著しく悪化する(89.97%の精度、F1スコア0.8314)。 特徴的重要性とSHAP分析は、個人信号と反復パターンの欠如を支配的な予測因子として同定する。 さらに、RAGコンポーネントは90.5%のTop-1検索精度を達成し、埋め込み空間に強い同クラスのクラスタリングを行い、フレームワークの出力の信頼性をさらに向上する。

関連論文リスト

• Severe Domain Shift in Skeleton-Based Action Recognition:A Study of Uncertainty Failure in Real-World Gym Environments [0.0]
  本稿では,新しいGym2DデータセットとUCF101データセットを用いて,厳しい領域シフトの体系的研究を行う。 我々の研究は、標準的なデプロイメント仮定に挑戦し、セマンティックスケルトン認識と幾何学的スケルトン認識の両方のデプロイの安全性を原則として分析する。
  論文  参考訳（メタデータ） (2026-03-16T17:37:17Z)
• Moral Anchor System: A Predictive Framework for AI Value Alignment and Drift Prevention [0.0]
  重要なリスクはバリュードリフトであり、進化するコンテキストや学習ダイナミクス、意図しない最適化によって、AIシステムが一致した値から逸脱する。 我々は,AIエージェントの値ドリフトを検出し,予測し,緩和する新しいフレームワークであるMoral Anchor System(MAS)を提案する。
  論文  参考訳（メタデータ） (2025-10-05T07:24:23Z)
• Automatic Reviewers Fail to Detect Faulty Reasoning in Research Papers: A New Counterfactual Evaluation Framework [55.078301794183496]
  我々は、高品質なピアレビューを支えるコアレビュースキル、すなわち欠陥のある研究ロジックの検出に注力する。 これは、論文の結果、解釈、クレームの間の内部の一貫性を評価することを含む。 本稿では,このスキルを制御条件下で分離し,テストする,完全自動対物評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-08-29T08:48:00Z)
• A Contrastive Learning-Guided Confident Meta-learning for Zero Shot Anomaly Detection [17.73056562717683]
  CoZADは、新しいゼロショット異常検出フレームワークである。 ソフト・インテリジェンス・ラーニングとメタラーニングとコントラスト的特徴表現を統合している。 7つの産業ベンチマークのうち6つで既存の手法を上回ります。
  論文  参考訳（メタデータ） (2025-08-25T09:27:31Z)
• Retrieval is Not Enough: Enhancing RAG Reasoning through Test-Time Critique and Optimization [58.390885294401066]
  Retrieval-augmented Generation (RAG) は知識基底型大規模言語モデル(LLM)を実現するためのパラダイムとして広く採用されている。 RAGパイプラインは、モデル推論が得られた証拠と整合性を維持するのに失敗することが多く、事実上の矛盾や否定的な結論につながる。 批判駆動アライメント(CDA)に基づく新しい反復的枠組みであるAlignRAGを提案する。 AlignRAG-autoは、動的に洗練を終了し、批判的な反復回数を事前に指定する必要がなくなる自律的な変種である。
  論文  参考訳（メタデータ） (2025-04-21T04:56:47Z)
• Human-Calibrated Automated Testing and Validation of Generative Language Models [3.2855317710497633]
  本稿では,ジェネレーティブ言語モデル(GLM)の評価と検証のための包括的枠組みを提案する。 銀行などの高額な領域に展開される検索・拡張世代(RAG)システムに焦点を当てている。
  論文  参考訳（メタデータ） (2024-11-25T13:53:36Z)
• From Adversarial Arms Race to Model-centric Evaluation: Motivating a Unified Automatic Robustness Evaluation Framework [91.94389491920309]
  テキストの敵対攻撃は、セマンティック保存されているが、入力に誤解を招く摂動を加えることでモデルの弱点を発見することができる。 既存のロバストネス評価の実践は、包括的評価、非現実的評価プロトコル、無効な対人サンプルの問題を示す可能性がある。 我々は、敵攻撃の利点を活用するために、モデル中心の評価にシフトする統合された自動ロバストネス評価フレームワークを構築した。
  論文  参考訳（メタデータ） (2023-05-29T14:55:20Z)
• GREAT Score: Global Robustness Evaluation of Adversarial Perturbation using Generative Models [60.48306899271866]
  GREATスコア(GREAT Score)と呼ばれる新しいフレームワークを提案する。 我々は,ロバストベンチにおける攻撃ベースモデルと比較し,高い相関性を示し,GREATスコアのコストを大幅に削減した。 GREAT Scoreは、プライバシーに敏感なブラックボックスモデルのリモート監査に使用することができる。
  論文  参考訳（メタデータ） (2023-04-19T14:58:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。