Fugu-MT 論文翻訳(概要): AquiLLM: Evaluating Faithfulness in Open-Weight RAG-LLM Systems for Scientific Research

論文の概要: AquiLLM: Evaluating Faithfulness in Open-Weight RAG-LLM Systems for Scientific Research

arxiv url: http://arxiv.org/abs/2609.16519v2
Date: Wed, 16 Sep 2026 18:00:54 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-20 08:55:53.428217
Title: AquiLLM: Evaluating Faithfulness in Open-Weight RAG-LLM Systems for Scientific Research
Title（参考訳）: AquiLLM:科学研究のためのオープンウェイトRAG-LLMシステムにおける忠実度の評価
Abstract要約: AquiLLMはオープンウェイトでオフラインのRAG-LLMプラットフォームであり、暗黙的および形式的な知識の使用と保存において科学研究グループを支援するために設計された。我々は,AquiLLMを検索および科学分析タスクで評価した天文学ケーススタディの結果を報告する。
参考スコア（独自算出の注目度）: 2.527316655254016
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: Scientific research increasingly relies on large, heterogeneous data sources, motivating interest in retrieval-augmented generation (RAG) systems that provide natural language access to scientific knowledge and research workflows. Researchers are exploring the viability of these systems as natural language interfaces for document search and for generating analysis code and pipeline components. At the same time, concerns about data privacy and control over research infrastructure have motivated interest in open-weight models and open-source deployments hosted within research institutions. In astronomy, this development follows a long history of computational infrastructure development, from archival databases and Structured Query Language (SQL)-based systems to large language model (LLM)-assisted research tools. This paper presents a domain-expert evaluation of faithfulness for AquiLLM, an open-weight, offline RAG-LLM platform designed to support scientific research groups in the use and preservation of tacit and formal knowledge. We define faithfulness as the extent to which generated responses remain grounded in retrieved scientific context without unsupported claims or omissions. We report results from an astronomy case study evaluating AquiLLM across retrieval and scientific analysis tasks. AquiLLM performs most reliably on explicit retrieval-oriented questions grounded in the RAG collection, while faithfulness degrades for queries requiring synthesis or ambiguity resolution. These results highlight both the promise and limitations of open-weight RAG-LLM systems for scientific research and demonstrate the importance of domain-expert evaluation beyond standard benchmark leaderboards.
Abstract（参考訳）: 科学研究は大規模で異質なデータソースにますます依存し、科学知識や研究のワークフローへの自然言語アクセスを提供する検索強化世代(RAG)システムへの関心を動機付けている。研究者は、ドキュメント検索と分析コードとパイプラインコンポーネントの生成のための自然言語インタフェースとして、これらのシステムの生存可能性を探っている。同時に、データプライバシや研究インフラストラクチャのコントロールに関する懸念が、研究機関内でホストされるオープンウェイトモデルやオープンソースデプロイメントへの関心を動機付けている。天文学において、この開発は、アーカイブデータベースや構造化クエリ言語(SQL)ベースのシステムから、大規模言語モデル(LLM)支援研究ツールまで、計算インフラ開発の長い歴史を辿る。本稿では,オープンウェイトでオフラインなRAG-LLMプラットフォームであるAquiLLMのドメインエキスパートによる信頼度評価について述べる。我々は、信条を、生成された応答が、無断のクレームや省略なく、回収された科学的文脈において基礎となる範囲として定義する。我々は,AquiLLMを検索および科学分析タスクで評価した天文学ケーススタディの結果を報告する。 AquiLLMは、RAGコレクションに基づいた明示的な検索指向の質問に対して、最も確実に機能する一方、一貫性は、合成や曖昧さの解決を必要とするクエリに対して低下する。これらの結果は、科学研究のためのオープンウェイトRAG-LLMシステムの約束と限界を強調し、標準ベンチマークのリーダーボードを超えたドメインエキスパート評価の重要性を実証している。

関連論文リスト

AutoResearch AI: Towards AI-Powered Research Automation for Scientific Discovery [184.2309450554096]
AutoResearchはAIを活用した科学ワークフロー自動化の開発スペクトルとして定義されている。我々は、研究システムが制御、エビデンス、実行、検証、説明責任を再分配し、その分野を組織化する方法について分析する。本稿では,5つの評価次元 – ノベルティ,インパクト,信頼性,証明 – を提案し,AutoResearchの自律性はドメイン条件であることを示す。
論文参考訳（メタデータ） (2026-05-22T03:40:30Z)
AutoResearchBench: Benchmarking AI Agents on Complex Scientific Literature Discovery [55.70879973230979]
AutoResearchBenchは、自律的な科学文献発見のためのベンチマークである。エージェントWebブラウジングに関する以前のベンチマークと比較すると、AutoResearchBenchは研究指向である。最も強力なLCMでさえ、BrowseCompのような一般的なエージェントによるWebブラウジングベンチマークをほとんど征服したにもかかわらず、Deep Researchでは9.39%、Wide Researchでは9.31%の精度しか達成していない。
論文参考訳（メタデータ） (2026-04-28T06:05:17Z)
FIRE-Bench: Evaluating Agents on the Rediscovery of Scientific Insights [63.32178443510396]
FIRE-Bench (Full-cycle Insight Rediscovery Evaluation) は、確立された発見の再検討を通じてエージェントを評価するベンチマークである。最強のエージェントでさえ、限られた再発見成功(50 F1)を達成し、実行中に高いばらつきを示し、実験的な設計、実行、エビデンスに基づく推論において繰り返し失敗モードを表示する。
論文参考訳（メタデータ） (2026-02-02T23:21:13Z)
MARVEL: A Multi Agent-based Research Validator and Enabler using Large Language Models [2.0725712989738994]
本稿では,ドメイン認識型質問応答のためのフレームワークMARVELについて紹介する。 MARVELは、簡単なクエリのための高速パスと、より意図的なDeepSearchモードを組み合わせることで、検索拡張生成とMonte Carlo Tree Searchを統合している。我々はこの枠組みをレーザー干渉計重力波観測に関する重力波研究の文脈に応用した。
論文参考訳（メタデータ） (2026-01-06T21:47:22Z)
Deep Research: A Systematic Survey [118.82795024422722]
Deep Research (DR)は、大規模言語モデルの推論能力と検索エンジンなどの外部ツールを組み合わせることを目的としている。本調査は,深層研究システムの包括的かつ体系的な概要を提示する。
論文参考訳（メタデータ） (2025-11-24T15:28:28Z)
How good are LLMs at Retrieving Documents in a Specific Domain? [3.282961543904818]
本稿では,ドメイン固有の評価データセットをキュレートして検索システムの性能を解析する自動手法を提案する。本研究では,Large Language Models (LLMs) を用いたRAG(Retrieval of Augmented Generation)を組み込んで,自然言語クエリを用いた環境領域データの高品質な検索を行う。
論文参考訳（メタデータ） (2025-08-25T19:47:21Z)
ResearcherBench: Evaluating Deep AI Research Systems on the Frontiers of Scientific Inquiry [22.615102398311432]
我々は、ディープAI研究システムの能力を評価することに焦点を当てた最初のベンチマークであるResearcherBenchを紹介する。現実の科学的シナリオから専門的に選択された65の質問のデータセットを収集した。 OpenAI Deep ResearchとGemini Deep Researchは、他のシステムよりも格段に優れており、オープンエンドのコンサルティングの質問では特に強みがある。
論文参考訳（メタデータ） (2025-07-22T06:51:26Z)
From Web Search towards Agentic Deep Research: Incentivizing Search with Reasoning Agents [96.65646344634524]
推論とエージェント能力を備えた大規模言語モデル(LLM)は、エージェントディープリサーチ(Agenic Deep Research)と呼ばれる新しいパラダイムを取り入れている。静的なWeb検索から,計画,探索,学習を行う対話型エージェントベースのシステムへの進化を辿ります。我々はエージェントディープリサーチが既存のアプローチを著しく上回るだけでなく、将来の情報探索において支配的なパラダイムになることを実証する。
論文参考訳（メタデータ） (2025-06-23T17:27:19Z)
Federated Retrieval-Augmented Generation: A Systematic Mapping Study [11.931695766266879]
Federated Retrieval-Augmented Generation (Federated RAG)は、Federated Learning (FL)とRetrieval-Augmented Generation (RAG)を組み合わせる。 RAGは、外部知識のアウトプットを基礎にして、言語モデルの事実精度を向上させる。本稿では,2020年から2025年の間に出版された文献を対象とした,フェデレートRAGの体系的マッピング研究について紹介する。
論文参考訳（メタデータ） (2025-05-24T23:45:12Z)
Trustworthiness in Retrieval-Augmented Generation Systems: A Survey [59.26328612791924]
Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)の開発において、急速に重要なパラダイムへと成長してきた。本稿では,RAGシステムの信頼性を,事実性,堅牢性,公正性,透明性,説明責任,プライバシの6つの面で評価する統一的な枠組みを提案する。
論文参考訳（メタデータ） (2024-09-16T09:06:44Z)
A Reliable Knowledge Processing Framework for Combustion Science using Foundation Models [0.0]
この研究は、多様な燃焼研究データを処理し、実験研究、シミュレーション、文献にまたがるアプローチを導入している。開発されたアプローチは、データのプライバシと精度を最適化しながら、計算と経済の費用を最小化する。このフレームワークは、最小限の人間の監視で、常に正確なドメイン固有の応答を提供する。
論文参考訳（メタデータ） (2023-12-31T17:15:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。