論文の概要: From Verification Burden to Trusted Collaboration: Design Goals for LLM-Assisted Literature Reviews
- arxiv url: http://arxiv.org/abs/2512.11661v1
- Date: Fri, 12 Dec 2025 15:38:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-15 15:48:11.825537
- Title: From Verification Burden to Trusted Collaboration: Design Goals for LLM-Assisted Literature Reviews
- Title(参考訳): 検証バーデンから信頼されたコラボレーションへ:LCM支援文学レビューのデザイン目標
- Authors: Brenda Nogueira, Werner Geyer, Andrew Anderson, Toby Jia-Jun Li, Dongwhi Kim, Nuno Moniz, Nitesh V. Chawla,
- Abstract要約: 本研究では,複数の分野の研究者と共同研究を行い,LCMを用いた関連研究における現在の実践,利益,テキサイトペインポイントを特徴付ける。
その結果, (i) アウトプットに対する信頼の欠如, (ii) 持続的な検証負担, (iii) 複数のツールが必要であった。
これは6つの設計目標の提案と、関連論文の可視化の改善、各ステップでの検証、世代誘導による説明によるヒューマンフィードバックアライメントを通じてそれらを運用する高レベルのフレームワークを動機付けます。
- 参考スコア(独自算出の注目度): 37.98620195038937
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Large Language Models (LLMs) are increasingly embedded in academic writing practices. Although numerous studies have explored how researchers employ these tools for scientific writing, their concrete implementation, limitations, and design challenges within the literature review process remain underexplored. In this paper, we report a user study with researchers across multiple disciplines to characterize current practices, benefits, and \textit{pain points} in using LLMs to investigate related work. We identified three recurring gaps: (i) lack of trust in outputs, (ii) persistent verification burden, and (iii) requiring multiple tools. This motivates our proposal of six design goals and a high-level framework that operationalizes them through improved related papers visualization, verification at every step, and human-feedback alignment with generation-guided explanations. Overall, by grounding our work in the practical, day-to-day needs of researchers, we designed a framework that addresses these limitations and models real-world LLM-assisted writing, advancing trust through verifiable actions and fostering practical collaboration between researchers and AI systems.
- Abstract(参考訳): 大規模言語モデル(LLM)は、学術的な記述プラクティスにますます組み込まれています。
研究者はこれらのツールを科学的執筆のためにどのように利用するかについて多くの研究がなされているが、その具体的な実装、限界、そして文献レビュープロセスにおける設計上の課題は未解明のままである。
本稿では,複数の分野の研究者を対象に,LCMを用いた関連研究における現在の実践,利益,および‘textit{pain Point}’を特徴付けるユーザスタディを報告する。
再発する3つのギャップを同定した。
(i)出力に対する信頼の欠如
二 持続的検証の負担、及び
(三)複数の道具を必要とする。
これは6つの設計目標の提案と、関連論文の可視化、各ステップでの検証、世代誘導の説明によるヒューマンフィードバックアライメントを通じてそれらを運用する高レベルのフレームワークを動機付けます。
全体として、研究者の実践的で日常的なニーズを基礎として、これらの制限に対処するフレームワークを設計し、現実世界のLLM支援書き込みをモデル化し、検証可能なアクションを通じて信頼を深め、研究者とAIシステム間の実践的なコラボレーションを促進する。
関連論文リスト
- Deep Research: A Systematic Survey [118.82795024422722]
Deep Research (DR)は、大規模言語モデルの推論能力と検索エンジンなどの外部ツールを組み合わせることを目的としている。
本調査は,深層研究システムの包括的かつ体系的な概要を提示する。
論文 参考訳(メタデータ) (2025-11-24T15:28:28Z) - Learning to Summarize by Learning to Quiz: Adversarial Agentic Collaboration for Long Document Summarization [86.98098988779809]
SummQは長期文書要約のための新しい逆多重エージェントフレームワークである。
提案手法では,包括的な要約を作成し,評価するために協調作業を行う要約ジェネレータとレビュアーを用いる。
広範に使用されている3つの文書要約ベンチマーク上でSummQを評価する。
論文 参考訳(メタデータ) (2025-09-25T08:36:19Z) - Let's Use ChatGPT To Write Our Paper! Benchmarking LLMs To Write the Introduction of a Research Paper [64.50822834679101]
SciIGは、タイトル、抽象、および関連する作品からコヒーレントな紹介を生成するLLMの能力を評価するタスクである。
オープンソース (DeepSeek-v3, Gemma-3-12B, LLaMA 4-Maverick, MistralAI Small 3.1) およびクローズドソース GPT-4o システムを含む5つの最先端モデルを評価する。
結果は、特に意味的類似性と忠実性において、ほとんどのメトリクスにおいて、LLaMA-4 Maverickの優れたパフォーマンスを示す。
論文 参考訳(メタデータ) (2025-08-19T21:11:11Z) - Can AI Validate Science? Benchmarking LLMs for Accurate Scientific Claim $\
ightarrow$ Evidence Reasoning [6.043212666944194]
CLAIM-BENCHは,科学的クレームエビデンス抽出と検証において,大規模言語モデルの能力を評価するためのベンチマークである。
GPT-4やClaudeのようなクローズドソースモデルは、精度とリコールにおいて、オープンソースモデルよりも一貫して優れています。
戦略的に設計された3つのパスと1対1のプロンプトアプローチは、分散した証拠とクレームを正確にリンクするLSMの能力を大幅に向上させた。
論文 参考訳(メタデータ) (2025-06-09T21:04:39Z) - Large Language Models Penetration in Scholarly Writing and Peer Review [43.600778691549706]
学術的な視点と次元にまたがる大規模言語モデルの浸透を評価する。
本実験は,学術的プロセスにおけるLLMの役割の増大を明らかにするために,textttLLMetricaの有効性を実証した。
これらの知見は、学術的信頼性を維持するために、LLMの使用における透明性、説明責任、倫理的実践の必要性を強調した。
論文 参考訳(メタデータ) (2025-02-16T16:37:34Z) - Practical Considerations for Agentic LLM Systems [5.455744338342196]
本稿では、確立されたアプリケーションパラダイムの文脈における研究コミュニティからの実行可能な洞察と考察について述べる。
すなわち、アプリケーション中心の文献における一般的な実践に基づいて、関連する研究成果を4つの幅広いカテゴリ – プランニング、メモリツール、コントロールフロー – に位置づける。
論文 参考訳(メタデータ) (2024-12-05T11:57:49Z) - Retrieval-Enhanced Machine Learning: Synthesis and Opportunities [60.34182805429511]
検索エンハンスメントは機械学習(ML)の幅広い範囲に拡張できる
この研究は、MLの様々な領域の文献を、現在の文献から欠落している一貫した表記で合成することで、このパラダイムの正式なフレームワークであるRetrieval-Enhanced Machine Learning (REML)を導入する。
本研究の目的は、様々な分野の研究者に対して、検索強化モデルの包括的、正式に構造化された枠組みを付与し、学際的な将来の研究を促進することである。
論文 参考訳(メタデータ) (2024-07-17T20:01:21Z) - ResearchAgent: Iterative Research Idea Generation over Scientific Literature with Large Language Models [56.08917291606421]
ResearchAgentは、新しい作品のアイデアと運用のためのAIベースのシステムである。
ResearchAgentは、新しい問題を自動で定義し、手法と設計実験を提案し、繰り返し修正する。
我々は、複数の分野にわたる科学論文に関するResearchAgentを実験的に検証した。
論文 参考訳(メタデータ) (2024-04-11T13:36:29Z) - Acceleron: A Tool to Accelerate Research Ideation [15.578814192003437]
Acceleronは、研究ライフサイクルの異なるフェーズのための研究アクセラレータである。
これは、新しい研究課題を含む包括的な研究提案の定式化を通じて、研究者を導くものである。
我々はLarge Language Models(LLM)の推論とドメイン固有のスキルを活用してエージェントベースのアーキテクチャを作成します。
論文 参考訳(メタデータ) (2024-03-07T10:20:06Z) - Creativity Support in the Age of Large Language Models: An Empirical
Study Involving Emerging Writers [33.3564201174124]
経験的ユーザスタディを通じて,プロのライターを支援するため,現代の大規模言語モデルの有用性について検討する。
筆者らは3種類の認知活動の全てにLLMの助けを求める一方で、LLMは翻訳やレビューに役立ちます。
論文 参考訳(メタデータ) (2023-09-22T01:49:36Z) - Instruction Tuning for Large Language Models: A Survey [52.86322823501338]
我々は、教師付き微調整(SFT)の一般的な方法論を含む、文献の体系的なレビューを行う。
また、既存の戦略の欠陥を指摘しながら、SFTの潜在的な落とし穴についても、それに対する批判とともに検討する。
論文 参考訳(メタデータ) (2023-08-21T15:35:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。