論文の概要: Plato's Cave: A Human-Centered Research Verification System
- arxiv url: http://arxiv.org/abs/2603.23526v1
- Date: Fri, 06 Mar 2026 22:15:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-06 02:36:13.015154
- Title: Plato's Cave: A Human-Centered Research Verification System
- Title(参考訳): プラトンの洞窟:人間中心の研究検証システム
- Authors: Matheus Kunzler Maldaner, Raul Valle, Junsung Kim, Tonuka Sultan, Pranav Bhargava, Matthew Maloni, John Courtney, Hoang Nguyen, Aamogh Sawant, Kristian O'Connor, Stephen Wormald, Damon L. Woodard,
- Abstract要約: 我々はPlato's Caveをオープンソースで人間中心の研究検証システムとして紹介する。
我々はWebエージェントを用いて文書から有向非巡回グラフ(DAG)のノードとエッジに信頼性スコアを割り当て、論文の議論構造を解釈し評価することで最終的なスコアを与える。
本報告では,104研究論文の収集したデータセットに対して,システムの実装と結果について報告する。
- 参考スコア(独自算出の注目度): 1.8957721449912885
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The growing publication rate of research papers has created an urgent need for better ways to fact-check information, assess writing quality, and identify unverifiable claims. We present Plato's Cave as an open-source, human-centered research verification system that (i) creates a directed acyclic graph (DAG) from a document, (ii) leverages web agents to assign credibility scores to nodes and edges from the DAG, and (iii) gives a final score by interpreting and evaluating the paper's argumentative structure. We report the system implementation and results on a collected dataset of 104 research papers.
- Abstract(参考訳): 研究論文の発行率の増大は、情報の事実確認、品質評価、検証不可能なクレームの特定など、より優れた方法への緊急なニーズを生み出している。
我々はPlato's Caveをオープンソースで人間中心の研究検証システムとして紹介する。
i) 文書から有向非巡回グラフ(DAG)を作成する。
(ii) Webエージェントを活用して、DAGからノードやエッジに信頼性スコアを割り当て、
三)論文の論証的構造を解釈し、評価することにより最終スコアを与える。
本報告では,104研究論文の収集したデータセットに対して,システムの実装と結果について報告する。
関連論文リスト
- Enhancing Scientific Literature Chatbots with Retrieval-Augmented Generation: A Performance Evaluation of Vector and Graph-Based Systems [1.0832844764942349]
本稿では,検索増強世代(RAG)による科学文献の高度化について検討する。
提案したチャットボットは、構造化された(グラフ)と非構造化された(ベクトル)データベースの両方を利用して、科学論文や灰色の文学にアクセスする。
ベンチマークテストセットは、GPTモデルを用いて生成され、評価のために選択された出力がアノテートされた。
論文 参考訳(メタデータ) (2026-02-19T21:42:02Z) - OpenNovelty: An LLM-powered Agentic System for Verifiable Scholarly Novelty Assessment [63.662126457336534]
OpenNoveltyは、透明で証拠に基づく新規性分析のためのエージェントシステムである。
回収された実論文のすべての評価を根拠にし、検証可能な判断を確実にする。
OpenNoveltyは、公正で一貫性があり、エビデンスに支えられたピアレビューを促進するスケーラブルなツールで、研究コミュニティに力を与えることを目指している。
論文 参考訳(メタデータ) (2026-01-04T15:48:51Z) - Query Decomposition for RAG: Balancing Exploration-Exploitation [83.79639293409802]
RAGシステムは複雑なユーザ要求に対処し、それらをサブクエリに分解し、それぞれに関連する可能性のあるドキュメントを取得し、それを集約して回答を生成する。
クエリの分解とドキュメントの検索をエクスプロレーション探索設定で定式化し、一度に1つのドキュメントを検索すると、与えられたサブクエリの有用性についての信念が構築される。
我々の主な発見は、ランク情報と人的判断を用いた文書関連性の推定により、文書レベルの精度が35%向上し、α-nDCGが15%向上し、長文生成の下流タスクの性能が向上するということである。
論文 参考訳(メタデータ) (2025-10-21T13:37:11Z) - ReportBench: Evaluating Deep Research Agents via Academic Survey Tasks [14.371010711040304]
ReportBenchは、大規模言語モデル(LLM)によって生成された研究レポートの内容品質を評価するために設計されたベンチマークである。
本評価は,(1)引用文献の質と妥当性,(2)報告内容の忠実さと妥当性の2つの重要な側面に焦点をあてる。
論文 参考訳(メタデータ) (2025-08-14T03:33:43Z) - Towards AI-assisted Academic Writing [11.762612969486897]
本稿では,引用推薦や紹介文を含むAI支援学術書記システムの構成要素について述べる。
このシステムは、ユーザの現在のドキュメントコンテキストを考慮し、関連する提案を提供することによって、引用を推奨する。
先行研究に対する研究の貢献を前提として、構造化された手法による導入を創出する。
論文 参考訳(メタデータ) (2025-03-17T23:30:17Z) - Evaluating Generative Ad Hoc Information Retrieval [58.800799175084286]
生成検索システムは、しばしばクエリに対する応答として、接地された生成されたテキストを直接返す。
このような生成的アドホック検索を適切に評価するには,テキスト応答の有用性の定量化が不可欠である。
論文 参考訳(メタデータ) (2023-11-08T14:05:00Z) - Hierarchical Catalogue Generation for Literature Review: A Benchmark [36.22298354302282]
本稿では,7.6kの文献レビューカタログと389kの参考論文を収録した,新しい英語階層カタログ・オブ・文学レビューデータセットを構築した。
モデルの性能を正確に評価するために,2つの評価指標を設計する。
論文 参考訳(メタデータ) (2023-04-07T07:13:35Z) - NLPeer: A Unified Resource for the Computational Study of Peer Review [58.71736531356398]
NLPeer - 5万以上の論文と5つの異なる会場からの1万1千件のレビューレポートからなる、初めて倫理的にソースされたマルチドメインコーパス。
従来のピアレビューデータセットを拡張し、解析および構造化された論文表現、豊富なメタデータ、バージョニング情報を含む。
我々の研究は、NLPなどにおけるピアレビューの体系的、多面的、エビデンスに基づく研究への道のりをたどっている。
論文 参考訳(メタデータ) (2022-11-12T12:29:38Z) - Investigating Fairness Disparities in Peer Review: A Language Model
Enhanced Approach [77.61131357420201]
我々は、大規模言語モデル(LM)の助けを借りて、ピアレビューにおける公平性格差の徹底した厳密な研究を行う。
我々は、2017年から現在までのICLR(International Conference on Learning Representations)カンファレンスで、包括的なリレーショナルデータベースを収集、組み立て、維持しています。
我々は、著作者性別、地理、著作者、機関的名声など、興味のある複数の保護属性に対する公平性の違いを仮定し、研究する。
論文 参考訳(メタデータ) (2022-11-07T16:19:42Z) - The CSO Classifier: Ontology-Driven Detection of Research Topics in
Scholarly Articles [0.0]
コンピュータサイエンスオントロジー(CSO)に基づく研究論文の自動分類のための新しい教師なしアプローチを紹介します。
CSOは、研究論文(タイトル、抽象、キーワード)に関連するメタデータを入力として取り、オントロジーから引き出された研究概念の選択を返します。
このアプローチは、手作業による注釈付き記事のゴールドスタンダードで評価され、代替方法よりも大幅に改善されました。
論文 参考訳(メタデータ) (2021-04-02T09:02:32Z) - AmbiFC: Fact-Checking Ambiguous Claims with Evidence [57.7091560922174]
実世界の情報ニーズから10kクレームを抽出したファクトチェックデータセットであるAmbiFCを提示する。
アンビFCの証拠に対する主張を比較する際に,曖昧さから生じる不一致を分析した。
我々は,このあいまいさをソフトラベルで予測するモデルを開発した。
論文 参考訳(メタデータ) (2021-04-01T17:40:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。