論文の概要: WarrantScore: Modeling Warrants between Claims and Evidence for Substantiation Evaluation in Peer Reviews
- arxiv url: http://arxiv.org/abs/2601.17377v1
- Date: Sat, 24 Jan 2026 08:54:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-27 15:23:07.699348
- Title: WarrantScore: Modeling Warrants between Claims and Evidence for Substantiation Evaluation in Peer Reviews
- Title（参考訳）: WarrantScore:ピアレビューにおける主張と証拠間の警告のモデル化
- Authors: Kiyotada Mori, Shohei Tanaka, Tosho Hirasawa, Tadashi Kozuno, Koichiro Yoshino, Yoshitaka Ushiku,
- Abstract要約: 論文の提出が急速に増えているため、科学的査読プロセスは人的資源不足に直面している。
本稿では,クレームとエビデンスの間の論理的推論を評価する科学的レビューコメントのための新しい評価基準を提案する。
- 参考スコア（独自算出の注目度）: 19.27332072329702
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The scientific peer-review process is facing a shortage of human resources due to the rapid growth in the number of submitted papers. The use of language models to reduce the human cost of peer review has been actively explored as a potential solution to this challenge. A method has been proposed to evaluate the level of substantiation in scientific reviews in a manner that is interpretable by humans. This method extracts the core components of an argument, claims and evidence, and assesses the level of substantiation based on the proportion of claims supported by evidence. The level of substantiation refers to the extent to which claims are based on objective facts. However, when assessing the level of substantiation, simply detecting the presence or absence of supporting evidence for a claim is insufficient; it is also necessary to accurately assess the logical inference between a claim and its evidence. We propose a new evaluation metric for scientific review comments that assesses the logical inference between claims and evidence. Experimental results show that the proposed method achieves a higher correlation with human scores than conventional methods, indicating its potential to better support the efficiency of the peer-review process.
- Abstract（参考訳）: 論文の提出が急速に増えているため、科学的査読プロセスは人的資源不足に直面している。
ピアレビューの人的コストを削減するために言語モデルを使用することは、この課題に対する潜在的な解決策として積極的に検討されている。
人間によって解釈される方法で、科学的レビューにおいてサブスタンティゼーションのレベルを評価する方法が提案されている。
この方法は、議論、クレーム、エビデンスのコアコンポーネントを抽出し、エビデンスによって支持されるクレームの割合に基づいてサブストラテテーションのレベルを評価する。
サブストラテレーションのレベルは、主張が客観的事実に基づく範囲を指す。
しかし, サブストラテテーションのレベルを評価する場合, クレームの支持証拠の有無を簡易に検出することは不十分であり, クレームとその証拠の間の論理的推論を正確に評価する必要がある。
本稿では,クレームとエビデンスの間の論理的推論を評価する科学的レビューコメントのための新しい評価基準を提案する。
実験の結果,提案手法は従来の方法よりも高い相関性を示し,ピアレビュープロセスの効率を向上する可能性が示唆された。
関連論文リスト
- Beyond "Not Novel Enough": Enriching Scholarly Critique with LLM-Assisted Feedback [81.0031690510116]
本稿では,3段階を通して専門家レビューアの動作をモデル化する,自動ノベルティ評価のための構造化アプローチを提案する。
本手法は,人文のノベルティレビューを大規模に分析した結果から得られたものである。
182 ICLR 2025 の提出で評価されたこの手法は、人間の推論と86.5%の一致と、新規性の結論に関する75.3%の合意を達成している。
論文 参考訳（メタデータ） (2025-08-14T16:18:37Z) - Dispute Resolution in Peer Review with Abstract Argumentation and OWL DL [0.12289361708127876]
本研究は、議論理論から形式的手法を適用して、ピアレビューにおいて透明で偏見のない紛争解決を支援することによる課題に対処する。
我々は,学術的ピアレビューを,著者とレビュアーの間での1つの混合論証論争として概念化し,抽象論証フレームワークを用いて形式化する。
我々は,学術的ピアレビューのコーパスを抽象的な議論フレームワークで注釈付けし,議論を解決するために概念実証を適用することによって,我々のアプローチを検証する。
論文 参考訳（メタデータ） (2025-07-18T12:21:25Z) - Identifying Aspects in Peer Reviews [59.02879434536289]
我々は、ピアレビューのコーパスからアスペクトを抽出するデータ駆動スキーマを開発した。
我々は、アスペクトを付加したピアレビューのデータセットを導入し、コミュニティレベルのレビュー分析にどのように使用できるかを示す。
論文 参考訳（メタデータ） (2025-04-09T14:14:42Z) - Ev2R: Evaluating Evidence Retrieval in Automated Fact-Checking [11.300523252168327]
Evtextsuperscript2Rは、基準ベースの評価と検証レベルのプロキシスコアの長所を組み合わせる。
Evtextsuperscript2Rは、精度と堅牢性において既存のスコアリング手法より一貫して優れている。
論文 参考訳（メタデータ） (2024-11-08T07:05:06Z) - From Relevance to Utility: Evidence Retrieval with Feedback for Fact Verification [118.03466985807331]
我々は、FVの関連性よりも、クレーム検証者が取得した証拠から導出する実用性に焦点を当てる必要があると論じる。
本稿では,エビデンス検索プロセスの最適化に,クレーム検証器からのフィードバックを取り入れたフィードバックベースのエビデンス検索手法(FER)を提案する。
論文 参考訳（メタデータ） (2023-10-18T02:59:38Z) - Assessing the Sufficiency of Arguments through Conclusion Generation [15.69811781628757]
前提が合理的に妥当な結論を下す議論は、議論品質研究において十分と呼ばれる。
本稿では,その前提から十分な議論の結論を導き出すことができると仮定する。
我々の最良のモデルはF1スコアの.885を達成し、過去の最先端を上回り、人間の専門家と同等である。
論文 参考訳（メタデータ） (2021-10-26T08:47:53Z) - On the Interaction of Belief Bias and Explanations [4.211128681972148]
我々は,信念バイアスの概観,人的評価における役割,そしてNLP実践者の考え方について述べる。
本研究では,評価における信念バイアスを考慮に入れることの重要性を指摘しながら,このような制御を導入する際に,最高性能の手法に関する結論が変化することを示す。
論文 参考訳（メタデータ） (2021-06-29T12:49:42Z) - AmbiFC: Fact-Checking Ambiguous Claims with Evidence [57.7091560922174]
実世界の情報ニーズから10kクレームを抽出したファクトチェックデータセットであるAmbiFCを提示する。
アンビFCの証拠に対する主張を比較する際に,曖昧さから生じる不一致を分析した。
我々は,このあいまいさをソフトラベルで予測するモデルを開発した。
論文 参考訳（メタデータ） (2021-04-01T17:40:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。