論文の概要: Cost-Effective, High-Performance Open-Source LLMs via Optimized Context Retrieval

• arxiv url: http://arxiv.org/abs/2409.15127v2
• Date: Fri, 28 Feb 2025 10:49:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-03 13:38:24.130384
• Title: Cost-Effective, High-Performance Open-Source LLMs via Optimized Context Retrieval
• Title（参考訳）: 最適文脈検索によるコスト効果・高性能オープンソースLCM
• Authors: Jordi Bayarri-Planas, Ashwin Kumar Gururajan, Dario Garcia-Gasulla,
• Abstract要約: この研究は、最適化されたコンテキスト検索が、オープンソースのLLMを使用してコスト効率の高い高性能医療AIを解放することを示した。 重要なコントリビューションはOpenMedQAである。
• 参考スコア（独自算出の注目度）: 0.6144680854063939
• License:
• Abstract: Large Language Models (LLMs) in healthcare promise transformation, yet adoption is limited by concerns over factual accuracy and the high cost of proprietary models. This study demonstrates that optimized context retrieval unlocks cost-effective, high-performance healthcare AI using open-source LLMs, achieving a significantly improved cost-accuracy Pareto frontier for medical question answering and showcasing that open models can rival proprietary systems at a fraction of the cost. A key contribution is OpenMedQA, a novel benchmark for open-ended medical question answering that overcomes the limitations of multiple-choice formats - formats that we show lead to performance degradation in open-ended settings and often lack clinical realism. Further contributions include: (1) practical guidelines for implementing optimized context retrieval; (2) empirical validation of enhanced cost-effectiveness via the improved Pareto frontier; (3) the introduction of OpenMedQA for rigorous evaluation of open-ended medical QA; and (4) the release of prompt_engine alongside CoT/ToT/Thinking databases as community resources for cost-effective healthcare AI. Advancing optimized retrieval and open-ended QA benchmarking, we pave the way for more accessible and impactful LLM-powered healthcare solutions. All the materials have been made public.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、医療の約束の変換において、しかしながら、実際の正確性やプロプライエタリなモデルの高コストに対する懸念によって、採用が制限される。 この研究は、最適化されたコンテキスト検索が、オープンソースのLLMを使用してコスト効率の高い高性能ヘルスケアAIを解放し、医療質問応答のための大幅な改善されたコスト精度のParetoフロンティアを達成し、オープンモデルがプロプライエタリなシステムをほんの少しのコストで競合させることができることを示した。 鍵となるコントリビューションはOpenMedQA(リンク)である。これはオープンエンドの医療質問に対する新しいベンチマークで、複数選択フォーマットの制限を克服する。 さらに,(1)最適化コンテキスト検索の実践的ガイドライン,(2)改良されたParetoフロンティアによるコスト効率向上の実証的検証,(3)オープンエンド医療QAの厳格な評価のためのOpenMedQAの導入,(4)コスト効率のよい医療AIのためのコミュニティリソースとしてCoT/ToT/Thinkingデータベースとともにproper_engineのリリースなどへの貢献も行った。 最適化された検索とオープンなQAベンチマークの改善により、よりアクセシブルで影響力のあるLLMベースのヘルスケアソリューションの道を開いたのです。 すべての資料が公開されています。

関連論文リスト

• Provenance: A Light-weight Fact-checker for Retrieval Augmented LLM Generation Output [49.893971654861424]
  検索強化生成(RAG)から非実効出力を検出する軽量な手法を提案する。 私たちは、二項決定を下すためにしきい値にできる事実性スコアを計算します。 実験の結果, ROC曲線 (AUC) の下では, 関連するオープンソースデータセットの広範囲にわたって高い面積を示すことができた。
  論文  参考訳（メタデータ） (2024-11-01T20:44:59Z)
• EVOLvE: Evaluating and Optimizing LLMs For Exploration [76.66831821738927]
  大規模言語モデル(LLM)は、不確実性の下で最適な意思決定を必要とするシナリオにおいて、未調査のままである。 多くのアプリケーションに関係のあるステートレス強化学習環境である,帯域幅を最適に決定できる LLM の (in) 能力の測定を行う。 最適な探索アルゴリズムの存在を動機として,このアルゴリズム知識をLLMに統合する効率的な方法を提案する。
  論文  参考訳（メタデータ） (2024-10-08T17:54:03Z)
• HALO: Hallucination Analysis and Learning Optimization to Empower LLMs with Retrieval-Augmented Context for Guided Clinical Decision Making [3.844437360527058]
  健康や医学などの重要な領域では、幻覚は深刻なリスクを引き起こすことがある。 本稿では,医療質問応答システムの精度と信頼性を高めるための新しいフレームワークであるHALOを紹介する。
  論文  参考訳（メタデータ） (2024-09-16T05:50:39Z)
• SeRTS: Self-Rewarding Tree Search for Biomedical Retrieval-Augmented Generation [50.26966969163348]
  大規模言語モデル(LLM)は,検索増強世代(RAG)の進展に伴い,生物医学領域において大きな可能性を示した。 既存の検索強化アプローチは、様々なクエリやドキュメント、特に医療知識クエリに対処する上で、課題に直面している。 モンテカルロ木探索(MCTS)と自己回帰パラダイムに基づく自己回帰木探索(SeRTS)を提案する。
  論文  参考訳（メタデータ） (2024-06-17T06:48:31Z)
• MediQ: Question-Asking LLMs and a Benchmark for Reliable Interactive Clinical Reasoning [36.400896909161006]
  我々は積極的に質問を行い、より多くの情報を集め、確実に応答するシステムを開発する。 LLMの問合せ能力を評価するためのベンチマーク - MediQ を導入する。
  論文  参考訳（メタデータ） (2024-06-03T01:32:52Z)
• Tool Calling: Enhancing Medication Consultation via Retrieval-Augmented Large Language Models [10.04914417538886]
  大規模言語モデル(LLM)は、様々な言語タスクで顕著な成功を収めてきたが、幻覚や時間的ミスアライメントに悩まされている。 従来のtextitRetrieve-then-Read の代わりに,新しい textitDistill-Retrieve-Read フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-04-27T13:11:42Z)
• LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
  大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。 本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。 このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
  論文  参考訳（メタデータ） (2024-02-26T07:33:05Z)
• Query-Dependent Prompt Evaluation and Optimization with Offline Inverse RL [62.824464372594576]
  ゼロショットプロンプト最適化により,Large Language Models (LLM) の算術的推論能力を向上させることを目的とする。 このような最適化では、以前見過ごされたクエリ依存の目的を特定します。 本稿では、オフライン逆強化学習を利用して、実演データから洞察を引き出すPrompt-OIRLを紹介する。
  論文  参考訳（メタデータ） (2023-09-13T01:12:52Z)
• Aligning Large Language Models for Clinical Tasks [0.0]
  大規模言語モデル(LLM)は目覚ましい適応性を示しており、明示的に訓練されていないタスクに精通する能力を示している。 我々は「Expand-guess-refine」として知られる医療質問応答のためのアライメント戦略を提案する。 この手法の予備的な分析により、USMLEデータセットから得られた質問のサブセットで70.63%のスコアが得られた。
  論文  参考訳（メタデータ） (2023-09-06T10:20:06Z)
• Self-Verification Improves Few-Shot Clinical Information Extraction [73.6905567014859]
  大規模言語モデル (LLMs) は、数発のテキスト内学習を通じて臨床キュレーションを加速する可能性を示している。 正確性や解釈可能性に関する問題、特に健康のようなミッションクリティカルな領域ではまだ苦戦している。 本稿では,自己検証を用いた汎用的な緩和フレームワークについて検討する。このフレームワークはLLMを利用して,自己抽出のための証明を提供し,その出力をチェックする。
  論文  参考訳（メタデータ） (2023-05-30T22:05:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。