論文の概要: Ontology-Guided Multi-Agent Extraction of Evaluation Objects from Academic Review Texts: Evidence from Chinese Library and Information Science
- arxiv url: http://arxiv.org/abs/2608.29526v1
- Date: Sun, 30 Aug 2026 03:09:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:30.989799
- Title: Ontology-Guided Multi-Agent Extraction of Evaluation Objects from Academic Review Texts: Evidence from Chinese Library and Information Science
- Title（参考訳）: 学術レビューテキストから評価対象のオントロジーガイドによるマルチエージェント抽出:中国図書館と情報科学のエビデンス
- Abstract要約: 本研究では,オブジェクト抽出評価のためのオントロジー誘導型マルチエージェントフレームワークを提案する。
90.33%の精度、84.55%のリコール、87.34%のエンティティレベルF1、79.78%のStrict Typed F1、91.35%の型精度を実現している。
- 参考スコア（独自算出の注目度）: 6.306930443447107
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Academic reviews, scholarly commentaries, and book reviews serve as sources of evaluative statements about theories, methods, literature, institutions, and policies, providing valuable evidence for scholarly evaluation. Existing scientific entity extraction methods mainly target research articles and are less effective for evaluation objects, which are often abstract, context-dependent, and characterized by ambiguous type boundaries. This study proposes an ontology-guided multi-agent framework for evaluation object extraction. The framework combines candidate discovery, ontology-constrained classification, and domain review. Experimental results show that it achieves a Precision of 90.33%, Recall of 84.55%, Entity-level F1 of 87.34%, Strict Typed F1 of 79.78%, and Type Accuracy of 91.35%, substantially outperforming rule-based and zero-shot baselines. Ablation results indicate that the multi-agent workflow improves recall and stability, while ontology-based boundary constraints enhance fine-grained classification and reduce category confusion. The framework supports the structured utilization of evaluative scholarly texts and provides methodological support for evidence-based research evaluation and STI mining.
- Abstract（参考訳）: 学術評論、学術評論、本評論は、理論、方法論、文学、制度、政策に関する評価文の源泉となり、学術評定のための貴重な証拠を提供する。
既存の科学的実体抽出法は主に研究論文を対象とし、しばしば抽象的で文脈に依存し、曖昧な型の境界によって特徴づけられる評価対象に対して効果が低い。
本研究では,オブジェクト抽出評価のためのオントロジー誘導型マルチエージェントフレームワークを提案する。
このフレームワークは、候補発見、オントロジー制約付き分類、ドメインレビューを組み合わせたものだ。
実験の結果,90.33%の精度,84.55%のリコール,87.34%のエンティティレベルF1,79.78%のStrict Typed F1,91.35%の型精度を実現している。
アブレーションの結果,マルチエージェントワークフローはリコールと安定性を向上し,オントロジーに基づく境界制約はきめ細かな分類を促進し,カテゴリの混乱を低減することが示唆された。
このフレームワークは、評価学術テキストの構造的利用をサポートし、エビデンスに基づく研究評価とSTIマイニングのための方法論的支援を提供する。
関連論文リスト
- HexEval: An Evidence-Driven Hexagonal Framework for Multidimensional Scholar Assessment [4.103608919706051]
HexEvalは、多次元の学術評価のためのエビデンス駆動の六角形フレームワークである。
HexEvalは評価過程を通じて中間的証拠,次元特異な有理性,検証信号を保持する。
論文 参考訳（メタデータ） (2026-08-11T07:11:49Z) - From Passive Generation to Investigation: A Proactive Scientific Peer Review Agent [52.42081442204093]
我々は、紙の不審な部分を積極的に調査する柔軟性の欠如が、重要な制限であると主張している。
本稿では,保守的かつ構造化されたレビューログによってガイドされた論文を積極的にレビューする,科学的ピアレビューエージェントであるProReviewerを提案する。
実験の結果,8Bバックボーンを持つProReviewerは教師付き微調整によって訓練され,強化学習によって最適化され,5つの品質次元で最高の平均スコアが得られることがわかった。
論文 参考訳（メタデータ） (2026-06-11T13:38:23Z) - The Story is Not the Science: Execution-Grounded Evaluation of Mechanistic Interpretability Research [56.80927148740585]
我々は、動的に進化し、研究評価者としてAIエージェントを開発することで、スケーラビリティと厳密さの課題に対処する。
我々は,機械的解釈可能性の研究をテストベッドとして使用し,標準化された研究成果を構築し,MechEvalAgentを開発した。
我々の研究は、AIエージェントが研究評価を変革し、厳格な科学的実践の道を開く可能性を実証している。
論文 参考訳（メタデータ） (2026-02-05T19:00:02Z) - Rethinking Artifact Evaluation for Software Engineering in the Age of Generative AI [20.515496306312873]
我々は、アーティファクト評価をピアレビューの第一級コンポーネントとして扱うべきであると論じている。
我々は、ピアレビューを注意割当問題とみなし、生成AIが物語の質を厳格なシグナルとして弱め、アーティファクト評価がピアレビュー決定においてより顕著な役割を果たすべきだと論じている。
論文 参考訳（メタデータ） (2026-01-26T09:36:52Z) - Automatic Reviewers Fail to Detect Faulty Reasoning in Research Papers: A New Counterfactual Evaluation Framework [55.078301794183496]
我々は、高品質なピアレビューを支えるコアレビュースキル、すなわち欠陥のある研究ロジックの検出に注力する。
これは、論文の結果、解釈、クレームの間の内部の一貫性を評価することを含む。
本稿では,このスキルを制御条件下で分離し,テストする,完全自動対物評価フレームワークを提案する。
論文 参考訳（メタデータ） (2025-08-29T08:48:00Z) - Beyond "Not Novel Enough": Enriching Scholarly Critique with LLM-Assisted Feedback [81.0031690510116]
本稿では,3段階を通して専門家レビューアの動作をモデル化する,自動ノベルティ評価のための構造化アプローチを提案する。
本手法は,人文のノベルティレビューを大規模に分析した結果から得られたものである。
182 ICLR 2025 の提出で評価されたこの手法は、人間の推論と86.5%の一致と、新規性の結論に関する75.3%の合意を達成している。
論文 参考訳（メタデータ） (2025-08-14T16:18:37Z) - Measuring Risk of Bias in Biomedical Reports: The RoBBR Benchmark [5.549390587677274]
本稿では,バイオメディカルペーパーの方法論的強度を測定するためのベンチマークを提案する。
我々は、体系的なレビューに使用されるリスク・オブ・バイアス・フレームワークについて説明する。
分析の結果,大規模言語モデルの推論と検索能力がリスク・オブ・バイアス評価の有効性に影響を及ぼすことが示された。
論文 参考訳（メタデータ） (2024-11-28T00:21:31Z) - STRICTA: Structured Reasoning in Critical Text Assessment for Peer Review and Beyond [68.47402386668846]
本研究では,テキストアセスメントをステップワイド推論プロセスとしてモデル化するために,Structured Reasoning In Critical Text Assessment (STRICTA)を導入する。
STRICTAは、因果性理論に基づく相互接続推論ステップのグラフに評価を分解する。
約40人のバイオメディカル専門家が20以上の論文について4000以上の推論ステップのデータセットにSTRICTAを適用した。
論文 参考訳（メタデータ） (2024-09-09T06:55:37Z) - A Literature Review of Literature Reviews in Pattern Analysis and Machine Intelligence [51.26815896167173]
本稿では,3つの相補的な側面からPAMIレビューを総合的に分析する。
我々の分析は、現在のレビューの実践において、独特の組織パターンと永続的なギャップを明らかにします。
最後に、最先端のAI生成レビューの評価は、コヒーレンスと組織の進歩を奨励していることを示している。
論文 参考訳（メタデータ） (2024-02-20T11:28:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。