論文の概要: CheckSupport: A Local LLM-Powered Tool for Automated Manuscript Submission Checklist Selection and Completion
- arxiv url: http://arxiv.org/abs/2605.16377v1
- Date: Sun, 10 May 2026 22:58:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-19 23:51:08.305233
- Title: CheckSupport: A Local LLM-Powered Tool for Automated Manuscript Submission Checklist Selection and Completion
- Title(参考訳): CheckSupport: 自動マニュアルサブミッションチェックリストの選択と完了のためのローカルLLMツール
- Authors: Satvik Tripathi, Don Enwerem, Kevin Song, Kristian Quevada, Jacinta Arnold, Tessa S. Cook,
- Abstract要約: CheckSupportは、オープンソースでローカルにデプロイ可能なシステムで、チェックリストの報告と、科学的原稿に対するチェックリストの根拠に基づく完了の推奨を自動化する。
CheckSupportは、チェックリストレコメンデーションの全体的な90%の精度と、CPUのみのハードウェアで動作中のアイテムレベルのコンプリート全体の88%の精度を達成した。
- 参考スコア(独自算出の注目度): 1.4777718769290527
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Transparent and standardized reporting is essential for reproducible scientific research, yet adherence to reporting guidelines remains inconsistent because of the manual effort required to select and complete checklists. We present CheckSupport, an open-source, locally deployable system that uses large language models to automate the recommendation of reporting checklists and the evidence-grounded completion of checklists for scientific manuscripts. CheckSupport employs a staged prompting strategy that decomposes reporting workflows into constrained inference tasks, prioritizing faithful extraction over generative text synthesis. All inference is performed locally using instruction-tuned models, preserving data privacy and enabling reproducible, auditable workflows. Evaluated on a corpus of peer-reviewed manuscripts, CheckSupport achieved 90% overall accuracy for checklist recommendations and 88% overall accuracy for item-level completion while operating on CPU-only hardware. On average, the wall-clock time per manuscript was 12.5 seconds, including the checklist recommendation and full checklist completion. These results demonstrate that large language models, when applied as structured inference components, can reduce reporting burden and support more transparent and reproducible scientific reporting across disciplines.
- Abstract(参考訳): 透過的かつ標準化された報告は再現可能な科学的研究に不可欠であるが、チェックリストの選択と完成に必要な手作業のため、報告ガイドラインの遵守は相容れないままである。
本稿では,大規模言語モデルを用いたオープンソースのローカルデプロイシステムであるCheckSupportについて紹介する。
CheckSupportは、レポートワークフローを制約付き推論タスクに分解する段階的なプロンプト戦略を採用し、生成テキスト合成よりも忠実な抽出を優先する。
すべての推論は、命令チューニングされたモデルを使用してローカルに実行され、データのプライバシを保持し、再現可能で監査可能なワークフローを可能にする。
CheckSupportは、ピアレビューされた原稿のコーパスに基づいて評価され、チェックリストのレコメンデーションで90%、CPUのみのハードウェアで操作しながらアイテムレベルのコンプリートで88%の精度を達成した。
平均すると、原稿1本あたりのウォールタイム時間は12.5秒であり、チェックリストのレコメンデーションと完全なチェックリストの完成が含まれていた。
これらの結果は,大規模言語モデルが構造化推論成分として適用された場合,レポートの負担を低減し,より透過的で再現可能な科学的報告を支援することを実証している。
関連論文リスト
- Grading Handwritten Engineering Exams with Multimodal Large Language Models [0.0]
手書きのSTEM試験は、オープンエンドの推論と図をキャプチャするが、手動のグラデーションは遅く、スケールが難しい。
マルチモーダル大言語モデル(LLM)を用いた手書き手書き工学クイズを段階的に学習するためのエンドツーエンドワークフローを提案する。
講師は手書きの参照ソリューション(100%)と短時間のグルーピングルールのみを提供し、基準スキャンを露出することなく、条件がグルーピングされるテキストのみの要約に変換する。
論文 参考訳(メタデータ) (2026-01-02T16:10:08Z) - Usefulness of LLMs as an Author Checklist Assistant for Scientific Papers: NeurIPS'24 Experiment [59.09144776166979]
大規模言語モデル(LLM)は、科学的ピアレビューを支援する上で有望だが議論の余地のあるツールである。
本研究は,論文提出を提出基準に適合させるツールとして,会議環境におけるLCMの有用性を評価する。
論文 参考訳(メタデータ) (2024-11-05T18:58:00Z) - ConfReady: A RAG based Assistant and Dataset for Conference Checklist Responses [5.170485483791494]
ARR Responsible NLP Research checklist Webサイトは、"チェックリストは責任ある研究のためにベストプラクティスを促進するように設計されている"と述べている。
我々はConfReadyを紹介した。これは検索拡張世代(RAG)アプリケーションで、著者が自分の仕事を振り返り、会議チェックリストで著者を支援するのに使用できる。
チェックリストアシスタントを評価するために、1,975個のACLチェックリスト応答のデータセットをキュレートし、人間の回答の問題を解析し、評価サブセットに基づいてRAGとLarge Language Model(LM)をベンチマークする。
論文 参考訳(メタデータ) (2024-08-07T21:07:13Z) - FactCheck Editor: Multilingual Text Editor with End-to-End fact-checking [1.985242455423935]
「FactCheck Editor」は、事実チェックと正しい事実不正確性を自動化するために設計された高度なテキストエディタである。
90以上の言語をサポートし、トランスフォーマーモデルを使用して、人間の労働集約的な事実検証を支援する。
論文 参考訳(メタデータ) (2024-04-30T11:55:20Z) - GenAudit: Fixing Factual Errors in Language Model Outputs with Evidence [64.95492752484171]
GenAudit - 文書基底タスクの事実チェック LLM 応答を支援するためのツール。
GenAuditは、レファレンス文書でサポートされていないクレームを修正したり削除したりすることでLCMレスポンスを編集することを提案し、また、サポートしているように見える事実の参照から証拠を提示する。
GenAuditは、さまざまなドメインから文書を要約する際に、8つの異なるLCM出力でエラーを検出することができる。
論文 参考訳(メタデータ) (2024-02-19T21:45:55Z) - Factcheck-Bench: Fine-Grained Evaluation Benchmark for Automatic Fact-checkers [121.53749383203792]
本稿では,大規模言語モデル (LLM) 生成応答の事実性に注釈を付けるための総合的なエンドツーエンドソリューションを提案する。
オープンドメインの文書レベルの事実性ベンチマークを,クレーム,文,文書の3段階の粒度で構築する。
予備実験によると、FacTool、FactScore、Perplexityは虚偽の主張を識別するのに苦労している。
論文 参考訳(メタデータ) (2023-11-15T14:41:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。