論文の概要: ATIBA: Grounded Integrity and Quality Checking for Research Papers
- arxiv url: http://arxiv.org/abs/2609.04123v1
- Date: Thu, 03 Sep 2026 17:24:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-04 18:28:39.184
- Title: ATIBA: Grounded Integrity and Quality Checking for Research Papers
- Title（参考訳）: ATIBA:研究論文の総合性と品質チェック
- Abstract要約: ATIBAは、原稿に5つの基礎的整合性と品質チェックを実行するツールである。
LLMは判断のみを信頼し、判断する証拠を決して発明しない。
- 参考スコア（独自算出の注目度）: 1.3241176321860364
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Checking a manuscript's reference integrity, its compliance with a target venue's specific submission rules, and its adherence to community reporting standards is manual, repetitive, and different for every venue so in practice it is done inconsistently or skipped. We present ATIBA, a tool that runs five grounded integrity and quality checks on a manuscript: a reference-integrity check that verifies each citation against bibliographic sources and flags retracted or unfindable references; a venue/track compliance check that derives submission criteria directly from a venue's own call-for-papers page and evaluates the manuscript against them, each verdict anchored to a verbatim quote from that page; an empirical-standards compliance check against the ACM SIGSOFT Empirical Standards, with a hallucination defence that discards any evidence quote it cannot locate verbatim in the manuscript; a multi-mode AI review (venue-specific, formal, and page-anchored annotation) powered by GPT-5.4 through Azure OpenAI; and a citation-suggestion feature that proposes candidate references for a manuscript and verifies each against bibliographic sources before it is shown to the user. All five checks are designed around the same principle: an LLM is only trusted to judge, never to invent the evidence it judges against. We evaluated ATIBA through a moderated user study with 13 non-author participants. Agreement across the six survey items ranged from 69% to 92%, with a mean of 85%, providing initial evidence of positive perceived usefulness across the evaluated workflows. These findings establish perceived usefulness; objective accuracy remains to be measured.
- Abstract（参考訳）: 原稿の参照整合性、対象の会場の特定の提出規則の遵守、およびコミュニティ報告基準への準拠性は、すべての会場で手動、反復的、異なっており、実際には矛盾なく行われるかスキップされる。
ATIBAは、原稿上の5つの基礎的な整合性と品質チェックを実行するツールである。文献ソースとフラグに対する各引用を検証するリファレンス統合チェック、会場のコール・フォー・ペーパーページから直接提出基準を導出し、それらに対して原稿を評価する会場/トラックコンプライアンスチェック、そのページから冗長な引用に固定された各評定、ACM SIGSOFT実証標準に対する実証標準コンプライアンスチェック、原稿において冗長な引用を検出できない証拠を破棄する幻覚防御、GPT-5によるマルチモードAIレビュー(Venue-specific, formal, and pagechoaned)、オープンな引用を通じてGPT-5によって、GPT-5のアノテーションを駆動するマルチモードAIレビュー(Venue-specific, formal, page-choaned)、そして、各文献の引用に対して提案する機能提案、および、各文献の参照をユーザに提示する。
5つのチェックはすべて、同じ原則に基づいて設計されています。LCMは判断のみを信頼し、判断する証拠を発明することはありません。
調査対象者13名を対象に,中等度ユーザスタディによりAITIBAを評価した。
6つの調査項目の合意は69%から92%で、平均85%で、評価されたワークフロー全体で肯定的な有用性を示す最初の証拠となった。
以上より, 客観的な評価は困難であり, 有用性が確認された。
関連論文リスト
- RefVerifier: Semi-Automated Reference Claim Verification for Scientific Manuscripts [1.6950215926321557]
RefVerifierは、学術的なピアレビューをサポートするために設計された、引用バウンドの参照検証プロトタイプである。
引用文を原稿から抽出し、学術的なデータベースに対してメタデータをチェックし、PDFへの参照を解決し、関連するエビデンスをローカライズし、自然言語の説明で評定を生成する。
8つの原稿によるエンドツーエンドテストでは、RefVerifierは精度が71%に達する。
論文 参考訳（メタデータ） (2026-09-07T15:39:59Z) - AtomCite: Verification and Correction of Supplied Page-Level Citations in Multi-Page Documents [21.842813905857863]
AtomCiteは、回答をクレームに解析し、引用されたページのイメージに対して各クレームをチェックし、決定論的修復ポリシーを適用します。
インジェクションされたベンチマークでは、約93%のバイナリ検証精度に達し、OCRのみの条件ではかなり上回っている。
その修理方針は、正しいクレームの90%以上を保持しながら、34%から87-90%までの混合液の引用精度を引き上げている。
論文 参考訳（メタデータ） (2026-09-05T01:31:50Z) - Benchmarking and Enhancing LLMs for Rule-Intensive Review of National Standard Documents [7.397429318828859]
大規模言語モデル(LLM)は、複雑なプロフェッショナルタスクをますますサポートしているが、ルール集約型文書レビューにおけるそれらの能力は、十分に評価されていない。
既存のベンチマークはドメイン知識と質問応答に重点を置いており、プロのドキュメントの品質レビューをほとんど見落としている。
GB/T-Benchは,全国標準文書の構造化レビューのための最初のベンチマークである。
論文 参考訳（メタデータ） (2026-08-06T17:27:23Z) - ResearchQA: Benchmarking Citation-Grounded Question-Answering on Scientific Papers [0.0]
ResearchQAは、494のオープンアクセス論文から6,211のシングルペーパー質問応答ペアのベンチマークである。
ResearchQAは引用地上評価のために設計されている。
提案手法は,8つの先行したクローズドウェイトモデルとオープンウェイトモデルについて,引用グラウンド・チャット・ウィズ・ペーパー・セッティングで評価する。
論文 参考訳（メタデータ） (2026-07-13T04:26:51Z) - ProvenAI: Provenance-Native Traces of Evidence in Generated Answers [0.0]
本稿では,マルチホップ質問応答における透明性を3つの独立した測定可能なレイヤに分解するフレームワークであるProvenAIを紹介する。
このシステムは平均引用忠実度スコアが71.55%の53.53%の解答精度を達成する。
実装された表面プロキシとトークンレベルのKL偏差ターゲットの関係を,忠実度条件で定式化する。
論文 参考訳（メタデータ） (2026-06-24T23:22:38Z) - Evaluation Cards: An Interpretive Layer for AI Evaluation Reporting [44.70980205167796]
AI評価結果は大規模に作成されるが、リーダーボード、モデルカード、ベンチマーク論文、会社のブログ間で矛盾なく報告されている。
最近の取り組みでは、分離されたコンポーネントに対処するが、3つのギャップを残している: それらは評価ライフサイクルの狭いスライスのみをカバーし、単一の解釈可能なレコードに構成しない。
EvalCardsは、ベンチマークメタデータ、評価実行データ、モデルメタデータを統一されたレコードに構成する運用レポート層である。
論文 参考訳（メタデータ） (2026-06-08T17:55:02Z) - ScientistOne: Towards Human-Level Autonomous Research via Chain-of-Evidence [57.37494162084001]
チェーン・オブ・エビデンス(Chain-of-Evidence, CoE)は、すべてのクレームがエビデンス・ソースにトレース可能であることを要求する検証可能なフレームワークである。
CoE Auditはポストホック監査であり、スコア検証、仕様違反、参照検証、メソッドコードアライメントという4つの整合性チェックが全システムに均一に適用される。
論文 参考訳（メタデータ） (2026-05-25T21:30:27Z) - CitePrism: Human-in-the-Loop AI for Citation Auditing and Editorial Integrity [0.2625927677887832]
CitePrismは、編集引用監査のための透過的なハイブリッドな意思決定支援フレームワークである。
引用地区の抽出、参照メタデータの強化、融合関連スコアの計算、メタデータのサーフェス、自己引用レビュープロンプト。
CitePrismは、自動的な不正検出や自動編集決定システムではなく、パイロット段階の意思決定支援を意図している。
論文 参考訳（メタデータ） (2026-05-15T14:31:45Z) - ReviewGrounder: Improving Review Substantiveness with Rubric-Guided, Tool-Integrated Agents [50.27474750319121]
公式ガイドライン、論文の内容、人間によるレビューから派生した、紙固有のルーリックに従ってテキストをレビューする。
本稿では、公式ガイドライン、論文の内容、人手によるレビューに基づいて、レビューテキストを評価するベンチマークであるREVIEWBENCHを紹介する。
本稿では,レビューを起草段階と接地段階に分解するルーリック誘導ツール統合マルチエージェントフレームワークであるREVIEWGROUNDERを提案する。
論文 参考訳（メタデータ） (2026-04-15T16:33:04Z) - FactReview: Evidence-Grounded Reviews with Literature Positioning and Execution-Based Claim Verification [57.196748998757954]
本稿では,クレーム抽出,文献位置決定,実行に基づくクレーム検証を組み合わせたエビデンスベースレビューシステムであるFactReviewを紹介する。
FactReviewは論文を提出すると、主要なクレームを特定し、その結果を報告し、論文の技術的な位置を明らかにするために近くの作業を取り出し、コードが利用可能であれば、リリースされたリポジトリを実行する。
その後、簡潔なレビューと、主要な請求を5つのラベルのうち1つに割り当てるエビデンスレポートを生成する。
論文 参考訳（メタデータ） (2026-04-05T11:45:22Z) - CiteAudit: You Cited It, But Did You Read It? A Benchmark for Verifying Scientific References in the LLM Era [51.63024682584688]
大規模言語モデル (LLM) は新たなリスクを導入している。
本稿では,科学文献における幻覚的引用のための総合的なベンチマークおよび検出フレームワークについて紹介する。
我々のフレームワークは、精度と解釈可能性の両方において、先行手法を著しく上回っている。
論文 参考訳（メタデータ） (2026-02-26T19:17:39Z) - OpenNovelty: An LLM-powered Agentic System for Verifiable Scholarly Novelty Assessment [63.662126457336534]
OpenNoveltyは、透明で証拠に基づく新規性分析のためのエージェントシステムである。
回収された実論文のすべての評価を根拠にし、検証可能な判断を確実にする。
OpenNoveltyは、公正で一貫性があり、エビデンスに支えられたピアレビューを促進するスケーラブルなツールで、研究コミュニティに力を与えることを目指している。
論文 参考訳（メタデータ） (2026-01-04T15:48:51Z) - End-to-End Page-Level Assessment of Handwritten Text Recognition [69.55992406968495]
HTRシステムは、文書のエンドツーエンドのページレベルの書き起こしに直面している。
標準メトリクスは、現れる可能性のある不整合を考慮していない。
本稿では、転写精度とROの良さを別々に検討する2つの評価法を提案する。
論文 参考訳（メタデータ） (2023-01-14T15:43:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。