論文の概要: CitePrism: Human-in-the-Loop AI for Citation Auditing and Editorial Integrity
- arxiv url: http://arxiv.org/abs/2605.16000v1
- Date: Fri, 15 May 2026 14:31:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-18 21:22:26.319257
- Title: CitePrism: Human-in-the-Loop AI for Citation Auditing and Editorial Integrity
- Title(参考訳): CitePrism: Citation Auditingと編集統合のためのAI
- Authors: Gowrika Mahesh, Budanur Madappa Darshan Gowda, Kavana Gopladevarahalli Papegowda, Prajwal Basavaraj, Binh Vu, Swati Chandna, Mehrdad Jalali,
- Abstract要約: CitePrismは、編集引用監査のための透過的なハイブリッドな意思決定支援フレームワークである。
引用地区の抽出、参照メタデータの強化、融合関連スコアの計算、メタデータのサーフェス、自己引用レビュープロンプト。
CitePrismは、自動的な不正検出や自動編集決定システムではなく、パイロット段階の意思決定支援を意図している。
- 参考スコア(独自算出の注目度): 0.2625927677887832
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Editors and reviewers are expected to ensure that manuscripts cite relevant, accurate, current, and ethically appropriate literature, yet manuscript-level citation auditing remains largely manual, fragmented, and difficult to scale. Citation context, metadata quality, self-citation patterns, and bibliographic integrity all affect whether a reference appropriately supports a local claim. We present CitePrism, a transparent hybrid decision-support framework for editorial citation auditing that combines LLM-assisted contextual reasoning, embedding-based semantic similarity, metadata verification, integrity-oriented flags, and human-in-the-loop analyst review. CitePrism extracts citation neighborhoods, enriches reference metadata, computes fused relevance scores, surfaces metadata and self-citation review prompts, and supports configurable threshold-based triage. In a preliminary validation on a single case-study manuscript with 104 references from pavement engineering, agreement with human binary relevance labels reached Cohen's kappa = 0.429. At operating threshold tau = 17, CitePrism flagged all human-labeled irrelevant citations, while also producing false positives requiring analyst review. These results suggest that CitePrism may support conservative editorial screening and citation-quality triage, but they do not establish general editorial performance. CitePrism is intended as pilot-stage decision support, not as an autonomous misconduct detector or automated editorial decision system. Broader validation across manuscripts, domains, annotators, baselines, and deployment settings is required before operational use.
- Abstract(参考訳): 編集者やレビュアーは、写本が関連性、正確、現在、倫理的に適切な文献を引用することを確実にするが、原稿レベルの引用監査は主に手作業で行われ、断片化され、拡張が困難である。
引用コンテキスト、メタデータの品質、自己引用パターン、書誌の完全性はすべて、参照が局所的なクレームを適切にサポートするかどうかに影響します。
CitePrismは,LLMによる文脈推論,埋め込みに基づく意味的類似性,メタデータ検証,整合性指向フラグ,ループ内アナリストレビューを組み合わせた,編集引用監査のための透過的ハイブリッド意思決定支援フレームワークである。
CitePrismは、引用近所を抽出し、参照メタデータを強化し、融合関連スコアを計算し、メタデータと自己引用レビュープロンプトをサーフェスし、設定可能なしきい値ベースのトリアージをサポートする。
舗装工学から104点の文献を引用した1つのケーススタディ写本の予備的検証において、人間の二項関係ラベルとの合意はコーエンのカッパ=0.429に達した。
運用しきい値タウ=17では、CitePrismは、すべての人間ラベルの無関係な引用をフラグ付けし、アナリストのレビューを必要とする偽陽性を生成した。
これらの結果は、CitePrismが保守的な編集のスクリーニングと引用品質のトリアージをサポートするかもしれないが、一般的な編集性能は確立していないことを示唆している。
CitePrismは、自動的な不正検出や自動編集決定システムではなく、パイロット段階の意思決定支援を意図している。
運用に先立って、原稿、ドメイン、アノテーション、ベースライン、デプロイメント設定をより広く検証する必要がある。
関連論文リスト
- FactReview: Evidence-Grounded Reviews with Literature Positioning and Execution-Based Claim Verification [57.196748998757954]
本稿では,クレーム抽出,文献位置決定,実行に基づくクレーム検証を組み合わせたエビデンスベースレビューシステムであるFactReviewを紹介する。
FactReviewは論文を提出すると、主要なクレームを特定し、その結果を報告し、論文の技術的な位置を明らかにするために近くの作業を取り出し、コードが利用可能であれば、リリースされたリポジトリを実行する。
その後、簡潔なレビューと、主要な請求を5つのラベルのうち1つに割り当てるエビデンスレポートを生成する。
論文 参考訳(メタデータ) (2026-04-05T11:45:22Z) - CiteAudit: You Cited It, But Did You Read It? A Benchmark for Verifying Scientific References in the LLM Era [51.63024682584688]
大規模言語モデル (LLM) は新たなリスクを導入している。
本稿では,科学文献における幻覚的引用のための総合的なベンチマークおよび検出フレームワークについて紹介する。
我々のフレームワークは、精度と解釈可能性の両方において、先行手法を著しく上回っている。
論文 参考訳(メタデータ) (2026-02-26T19:17:39Z) - SemanticCite: Citation Verification with AI-Powered Full-Text Analysis and Evidence-Based Reasoning [0.0]
本稿では,全文ソース解析による引用精度の検証を行うAIシステムであるSemanticCiteを紹介する。
提案手法は,複数の検索手法と,ニュアンスド・クレーム・ソース関係を抽出する4クラス分類システムを組み合わせたものである。
我々は、詳細なアライメント、機能分類、セマンティックアノテーション、およびバイオロメトリメタデータを備えた1000以上の引用からなる包括的なデータセットをコントリビュートする。
論文 参考訳(メタデータ) (2025-11-20T10:05:21Z) - A Comparative Analysis of Faithfulness Metrics and Humans in Citation Evaluation [22.041561519672456]
大型言語モデル(LLM)は、しばしば「幻覚」として知られる、サポートされていない、または検証できないコンテンツを生成する。
本稿では,3段階のサポートレベル間での引用を識別する上で,メトリクスの有効性を評価するための比較評価フレームワークを提案する。
以上の結果から,全ての評価において一貫した指標が存在しないことが示唆され,詳細なサポートレベルを正確に評価することの難しさが強調された。
論文 参考訳(メタデータ) (2024-08-22T13:44:31Z) - Towards Fine-Grained Citation Evaluation in Generated Text: A Comparative Analysis of Faithfulness Metrics [22.041561519672456]
大型言語モデル(LLM)は、しばしば「幻覚」として知られる、サポートされていない、または検証できないコンテンツを生成している。
本稿では,3段階のサポートレベル間での引用を識別する上で,メトリクスの有効性を評価するための比較評価フレームワークを提案する。
以上の結果から,全ての評価において一貫した指標が得られず,きめ細かな支援評価の複雑さが明らかとなった。
論文 参考訳(メタデータ) (2024-06-21T15:57:24Z) - ALiiCE: Evaluating Positional Fine-grained Citation Generation [54.19617927314975]
本稿では,微細な引用生成のための最初の自動評価フレームワークであるALiiCEを提案する。
我々のフレームワークはまず、文のクレームを依存性分析によって原子クレームに解析し、次に原子クレームレベルでの引用品質を計算する。
複数大言語モデルの2つの長文QAデータセット上での位置的きめ細かな引用生成性能を評価する。
論文 参考訳(メタデータ) (2024-06-19T09:16:14Z) - End-to-End Page-Level Assessment of Handwritten Text Recognition [69.55992406968495]
HTRシステムは、文書のエンドツーエンドのページレベルの書き起こしに直面している。
標準メトリクスは、現れる可能性のある不整合を考慮していない。
本稿では、転写精度とROの良さを別々に検討する2つの評価法を提案する。
論文 参考訳(メタデータ) (2023-01-14T15:43:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。