論文の概要: Active Domain Knowledge Acquisition with 100-Dollar Budget: Enhancing LLMs via Cost-Efficient, Expert-Involved Interaction in Sensitive Domains
- arxiv url: http://arxiv.org/abs/2508.17202v2
- Date: Fri, 29 Aug 2025 17:46:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-01 13:41:09.928669
- Title: Active Domain Knowledge Acquisition with 100-Dollar Budget: Enhancing LLMs via Cost-Efficient, Expert-Involved Interaction in Sensitive Domains
- Title(参考訳): 100-Dollar Budgetによるアクティブドメイン知識獲得: 感性ドメインにおけるコスト効率・エキスパート関連インタラクションによるLLMの強化
- Authors: Yang Wu, Raha Moraffah, Rujing Yao, Jinhong Yu, Zhimin Tao, Xiaozhong Liu,
- Abstract要約: LLM(Large Language Models)は、一般的な知識の目覚ましいレベルを実証している。
専門知識の欠如により、薬物発見や希少疾患研究のような、高度に専門的で費用に敏感な分野に苦しむことが多い。
固定予算内でドメインの専門家を積極的に関与させることにより、ドメイン固有のLLMを効率的に拡張する新しいフレームワーク(PU-ADKA)を提案する。
- 参考スコア(独自算出の注目度): 19.75643744973289
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) have demonstrated an impressive level of general knowledge. However, they often struggle in highly specialized and cost-sensitive domains such as drug discovery and rare disease research due to the lack of expert knowledge. In this paper, we propose a novel framework (PU-ADKA) designed to efficiently enhance domain-specific LLMs by actively engaging domain experts within a fixed budget. Unlike traditional fine-tuning approaches, PU-ADKA selectively identifies and queries the most appropriate expert from a team, taking into account each expert's availability, knowledge boundaries, and consultation costs. We train PU-ADKA using simulations on PubMed data and validate it through both controlled expert interactions and real-world deployment with a drug development team, demonstrating its effectiveness in enhancing LLM performance in specialized domains under strict budget constraints. In addition to outlining our methodological innovations and experimental results, we introduce a new benchmark dataset, CKAD, for cost-effective LLM domain knowledge acquisition to foster further research in this challenging area.
- Abstract(参考訳): LLM(Large Language Models)は、一般的な知識の目覚ましいレベルを実証している。
しかし、専門家の知識が不足しているため、薬物発見や稀な疾患研究のような、高度に専門的で費用に敏感な分野に苦しむことが多い。
本稿では,固定予算内にドメインエキスパートを積極的に参加させることにより,ドメイン固有のLLMを効率的に拡張する新しいフレームワーク(PU-ADKA)を提案する。
従来の微調整アプローチとは異なり、PU-ADKAは、各専門家の可用性、知識境界、コンサルティングコストを考慮して、チームから最も適切な専門家を選択的に識別し、クエリする。
我々は、PubMedデータ上でのシミュレーションを用いてPU-ADKAを訓練し、制御された専門家のインタラクションと、薬物開発チームとの現実世界のデプロイメントの両方を通して検証し、厳格な予算制約の下で、特定のドメインにおけるLLM性能を向上させる効果を実証する。
方法論の革新と実験結果の概説に加えて、コスト効率の高いLLMドメイン知識獲得のための新しいベンチマークデータセットCKADを導入し、この課題領域におけるさらなる研究を促進する。
関連論文リスト
- Select to Know: An Internal-External Knowledge Self-Selection Framework for Domain-Specific Question Answering [23.751106800039516]
大規模言語モデル(LLM)は一般的なQAではうまく機能するが、ドメイン固有のシナリオではしばしば苦労する。
Selct2Know(S2K)は,ドメイン知識を内部的・外部的知識自己選択戦略によって内部化する,費用対効果の高いフレームワークである。
医学的、法的、財務的なQAベンチマークの実験は、S2Kが既存の方法より一貫して優れていることを示している。
論文 参考訳(メタデータ) (2025-08-21T03:53:35Z) - Injecting Domain-Specific Knowledge into Large Language Models: A Comprehensive Survey [39.82566660592583]
大規模言語モデル(LLM)は、自然言語理解、テキスト要約、機械翻訳といった様々なタスクにおいて顕著な成功を収めている。
彼らの汎用的な性質は、医療、化学、法的な分析といった専門的な知識を必要とするドメイン固有のアプリケーションにおいて、その効果を制限していることが多い。
これを解決するために、研究者はドメイン固有の知識を統合することでLLMを強化する様々な方法を模索してきた。
論文 参考訳(メタデータ) (2025-02-15T07:43:43Z) - Unveiling and Consulting Core Experts in Retrieval-Augmented MoE-based LLMs [64.9693406713216]
RAGシステムの有効性に寄与する内部メカニズムは未解明のままである。
実験の結果,複数のコアグループの専門家がRAG関連行動に主に関与していることが判明した。
本稿では,専門家の活性化を通じてRAGの効率性と有効性を高めるためのいくつかの戦略を提案する。
論文 参考訳(メタデータ) (2024-10-20T16:08:54Z) - GIVE: Structured Reasoning of Large Language Models with Knowledge Graph Inspired Veracity Extrapolation [108.2008975785364]
Graph Inspired Veracity Extrapolation (GIVE)は、パラメトリックメモリと非パラメトリックメモリを融合して、最小の外部入力で正確な推論を改善する新しい推論手法である。
GIVE は LLM エージェントをガイドして,最も関連する専門家データ (observe) を選択し,クエリ固有の発散思考 (reflect) に従事し,その情報を合成して最終的な出力 (speak) を生成する。
論文 参考訳(メタデータ) (2024-10-11T03:05:06Z) - Leveraging Multi-AI Agents for Cross-Domain Knowledge Discovery [0.0]
本研究では,マルチAIエージェントの展開によるドメイン間知識発見への新たなアプローチを提案する。
本研究は,知識ギャップの特定とブリッジングにおいて,ドメイン固有マルチAIエージェントシステムの優れた能力を示すものである。
論文 参考訳(メタデータ) (2024-04-12T14:50:41Z) - DRAK: Unlocking Molecular Insights with Domain-Specific Retrieval-Augmented Knowledge in LLMs [6.728130796437259]
DRAK(Domain-specific Retrieval-Augmented Knowledge)は、大規模言語モデルのための非パラメトリックな知識注入フレームワークである。
DRAKは、分子領域と幅広い分析タスクを扱う能力において、深い専門知識を発達させてきた。
私たちのコードはまもなく利用可能になります。
論文 参考訳(メタデータ) (2024-03-04T15:04:05Z) - PANDA: Preference Adaptation for Enhancing Domain-Specific Abilities of LLMs [49.32067576992511]
大規模言語モデルは、しばしばドメイン固有の最先端モデルによって達成されるパフォーマンスに欠ける。
LLMのドメイン固有の機能を強化する1つの潜在的アプローチは、対応するデータセットを使用してそれらを微調整することである。
LLM(PANDA)のドメイン固有能力を高めるための優先度適応法を提案する。
実験の結果,PANDA はテキスト分類や対話型意思決定タスクにおいて LLM のドメイン固有性を大幅に向上させることがわかった。
論文 参考訳(メタデータ) (2024-02-20T09:02:55Z) - Knowledge Plugins: Enhancing Large Language Models for Domain-Specific
Recommendations [50.81844184210381]
本稿では,大規模言語モデルをDOmain固有のKnowledgEで拡張し,実践的アプリケーション,すなわちDOKEの性能を向上させるためのパラダイムを提案する。
このパラダイムはドメイン知識抽出器に依存し,1)タスクに効果的な知識を準備すること,2)特定のサンプルごとに知識を選択すること,3)LLMで理解可能な方法で知識を表現すること,の3つのステップで動作する。
論文 参考訳(メタデータ) (2023-11-16T07:09:38Z) - Domain Specialization as the Key to Make Large Language Models Disruptive: A Comprehensive Survey [100.24095818099522]
大規模言語モデル(LLM)は自然言語処理(NLP)の分野を著しく進歩させた。
広範囲のアプリケーションに対して、非常に有用でタスクに依存しない基盤を提供する。
しかし、特定の領域における洗練された問題を解決するために直接LLMを適用することは、多くのハードルを満たす。
論文 参考訳(メタデータ) (2023-05-30T03:00:30Z) - When Giant Language Brains Just Aren't Enough! Domain Pizzazz with
Knowledge Sparkle Dust [15.484175299150904]
本稿では,大規模言語モデルの実践的ユースケースへの適応におけるギャップを埋めることを目的とした経験的分析を提案する。
本研究は, 推論の課題によるケーススタディとして, 保険の質問応答(QA)タスクを選択する。
本課題に基づいて,保険政策ルールブックやDBPediaから抽出した付加的な知識により,LLMに依存した新たなモデルを設計する。
論文 参考訳(メタデータ) (2023-05-12T03:49:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。