論文の概要: Distilling Closed-Source LLM's Knowledge for Locally Stable and Economic Biomedical Entity Linking

• arxiv url: http://arxiv.org/abs/2505.19722v1
• Date: Mon, 26 May 2025 09:10:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:43.311295
• Title: Distilling Closed-Source LLM's Knowledge for Locally Stable and Economic Biomedical Entity Linking
• Title（参考訳）: 局所安定・経済的なバイオメディカルエンティティリンクのための閉鎖型LCMの知識の蒸留
• Authors: Yihao Ai, Zhiyuan Ning, Weiwei Dai, Pengfei Wang, Yi Du, Wenjuan Cui, Kunpeng Liu, Yuanchun Zhou,
• Abstract要約: 少ないデータ量で微調整された検索者により検索された候補を、クローズドソース LLM とオープンソース LLM を組み合わせたフレームワークである RPDR' を提案する。 実世界の1つのデータセットと、中国語と英語の2つの言語を含む1つの公開データセットを含む、2つのデータセット上でRPDRを評価する。
• 参考スコア（独自算出の注目度）: 10.436941992571981
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Biomedical entity linking aims to map nonstandard entities to standard entities in a knowledge base. Traditional supervised methods perform well but require extensive annotated data to transfer, limiting their usage in low-resource scenarios. Large language models (LLMs), especially closed-source LLMs, can address these but risk stability issues and high economic costs: using these models is restricted by commercial companies and brings significant economic costs when dealing with large amounts of data. To address this, we propose ``RPDR'', a framework combining closed-source LLMs and open-source LLMs for re-ranking candidates retrieved by a retriever fine-tuned with a small amount of data. By prompting a closed-source LLM to generate training data from unannotated data and fine-tuning an open-source LLM for re-ranking, we effectively distill the knowledge to the open-source LLM that can be deployed locally, thus avoiding the stability issues and the problem of high economic costs. We evaluate RPDR on two datasets, including one real-world dataset and one publicly available dataset involving two languages: Chinese and English. RPDR achieves 0.019 Acc@1 improvement and 0.036 Acc@1 improvement on the Aier dataset and the Ask A Patient dataset when the amount of training data is not enough. The results demonstrate the superiority and generalizability of the proposed framework.
• Abstract（参考訳）: バイオメディカルエンティティリンクは、知識ベースにおける標準エンティティに非標準エンティティをマッピングすることを目的としている。 従来の教師付きメソッドはよく機能するが、転送には広範囲な注釈付きデータを必要とし、低リソースのシナリオでの使用を制限する。 大規模言語モデル(LLM)、特にクローズドソースのLLMは、これらの問題に対処できるが、リスク安定性の問題と高い経済コストに対処することができる。 そこで本稿では,検索者から取得した候補を少量のデータで微調整する手法として,オープンソースLLMとオープンソースLLMを組み合わせたフレームワークである `RPDR'を提案する。 本研究では,未通知データからトレーニングデータを生成するように促し,オープンソースLLMを微調整することで,ローカルに展開可能なオープンソースLLMに効果的に知識を抽出し,安定性の問題や高コストの問題を回避した。 実世界の1つのデータセットと、中国語と英語の2つの言語を含む1つの公開データセットを含む、2つのデータセット上でRPDRを評価する。 RPDRは、トレーニングデータの量が不十分な場合には、AierデータセットとAsk A patientデータセットで0.019 Acc@1の改善と0.036 Acc@1の改善を実現している。 その結果,提案フレームワークの優位性と一般化性を示した。

関連論文リスト

• VickreyFeedback: Cost-efficient Data Construction for Reinforcement Learning from Human Feedback [2.07180164747172]
  本稿では,RLHF(Reinforcement Learning from Human Feedback)の費用対効果について述べる。 RLHFは大規模言語モデル(LLM)の出力よりも人間の好みのデータセットを活用する 本稿では,RLHFのコスト効率を高める上で,オークション機構の導入が重要な役割を担っていることを示す。
  論文  参考訳（メタデータ） (2024-09-27T03:15:07Z)
• Leveraging Open-Source Large Language Models for Native Language Identification [1.6267479602370543]
  ネイティブ言語識別(NLI)は、法医学、マーケティング、第二言語習得に応用されている。 本研究では,オープンソース生成型大規模言語モデル(LLM)をNLIに適用する可能性について検討する。
  論文  参考訳（メタデータ） (2024-09-15T08:14:18Z)
• Knowing When to Ask -- Bridging Large Language Models and Data [3.111987311375933]
  大規模言語モデル(LLM)は、数値および統計データやその他のタイムリーな事実を含むクエリに応答するときに、事実的に誤った情報を生成する傾向がある。 本稿では,LLMをData Commonsに統合することで,LCMの精度を高める手法を提案する。
  論文  参考訳（メタデータ） (2024-09-10T17:51:21Z)
• LLM2LLM: Boosting LLMs with Novel Iterative Data Enhancement [79.31084387589968]
  事前訓練された大規模言語モデル(LLM)は、現在、自然言語処理タスクの大部分を解決するための最先端技術である。 LLM2LLMは、教師のLLMを使って小さなシードデータセットを強化するデータ拡張戦略である。 GSM8Kデータセットでは最大24.2%、CaseHOLDでは32.6%、SNIPSでは32.0%、TRECでは52.6%、SST-2では39.8%の改善が達成された。
  論文  参考訳（メタデータ） (2024-03-22T08:57:07Z)
• Curated LLM: Synergy of LLMs and Data Curation for tabular augmentation in low-data regimes [57.62036621319563]
  本稿では,Large Language Models (LLMs) の知識を低データ構造におけるデータ拡張に活用したCLLMを紹介する。 従来のジェネレータと比較して,低データ方式におけるCLLMの優れた性能を示す。
  論文  参考訳（メタデータ） (2023-12-19T12:34:46Z)
• FederatedScope-LLM: A Comprehensive Package for Fine-tuning Large Language Models in Federated Learning [70.38817963253034]
  本稿では, ファインチューニング LLM のこれらの課題について論じ, 本パッケージ FS-LLM を主な貢献として紹介する。 我々は、FLシナリオにおける将来の拡張のために、包括的フェデレーションパラメータ効率の良い微調整アルゴリズムの実装と汎用プログラミングインタフェースを提供する。 本研究では, FS-LLM の有効性を検証し, FL 設定におけるパラメータ効率の高いパラメータ調整アルゴリズムを用いて, 高度な LLM のベンチマークを行う。
  論文  参考訳（メタデータ） (2023-09-01T09:40:36Z)
• From Quantity to Quality: Boosting LLM Performance with Self-Guided Data Selection for Instruction Tuning [52.257422715393574]
  本稿では,Large Language Models (LLMs) の自己誘導手法を導入し,オープンソースデータセットからサクラサンプルを自動識別し,選択する。 我々の重要な革新である命令追従困難度(IFD)メトリックは、モデルが期待する応答と本質的な生成能力の相違を識別するための重要な指標として現れます。
  論文  参考訳（メタデータ） (2023-08-23T09:45:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。