論文の概要: Tag-LLM: Repurposing General-Purpose LLMs for Specialized Domains
- arxiv url: http://arxiv.org/abs/2402.05140v1
- Date: Tue, 6 Feb 2024 20:11:54 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-09 17:57:29.443611
- Title: Tag-LLM: Repurposing General-Purpose LLMs for Specialized Domains
- Title(参考訳): Tag-LLM:特殊ドメインのための汎用LLMの再利用
- Authors: Junhong Shen, Neil Tenenholtz, James Brian Hall, David Alvarez-Melis,
Nicolo Fusi
- Abstract要約: 大規模言語モデル(LLM)は、自然言語の理解と生成に顕著な能力を示した。
本研究は、汎用LLMを特殊領域の効率的なタスク解決器に再利用する方法を探求する。
- 参考スコア(独自算出の注目度): 10.299618586418761
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) have demonstrated remarkable proficiency in
understanding and generating natural language. However, their capabilities wane
in highly specialized domains underrepresented in the pretraining corpus, such
as physical and biomedical sciences. This work explores how to repurpose
general LLMs into effective task solvers for specialized domains. We introduce
a novel, model-agnostic framework for learning custom input tags, which are
parameterized as continuous vectors appended to the LLM's embedding layer, to
condition the LLM. We design two types of input tags: domain tags are used to
delimit specialized representations (e.g., chemical formulas) and provide
domain-relevant context; function tags are used to represent specific functions
(e.g., predicting molecular properties) and compress function-solving
instructions. We develop a three-stage protocol to learn these tags using
auxiliary data and domain knowledge. By explicitly disentangling task domains
from task functions, our method enables zero-shot generalization to unseen
problems through diverse combinations of the input tags. It also boosts LLM's
performance in various specialized domains, such as predicting protein or
chemical properties and modeling drug-target interactions, outperforming expert
models tailored to these tasks.
- Abstract(参考訳): 大規模言語モデル(LLM)は、自然言語の理解と生成に顕著な能力を示した。
しかし、その能力は、物理科学や生物医学などの事前学習コーパスで過小評価された高度に専門化された領域で低下した。
本研究は、汎用LLMを専門分野の効率的なタスク解決に活用する方法を探る。
LLMの埋め込み層に付加される連続ベクトルとしてパラメータ化されるカスタム入力タグを学習するための,新しいモデルに依存しないフレームワークを提案する。
ドメインタグは特殊表現(例えば化学式)を分離し、ドメイン関連コンテキストを提供するのに使われ、関数タグは特定の関数(例えば分子特性の予測)を表すのに使われ、関数解決命令は圧縮される。
補助データとドメイン知識を用いて,これらのタグを学習するための3段階のプロトコルを開発した。
タスク領域をタスク関数から明示的に分離することにより、入力タグの多様な組み合わせにより、ゼロショット一般化が可能となる。
また、タンパク質や化学的性質の予測や薬物と標的の相互作用のモデリングなど、様々な専門分野におけるLLMの性能を高める。
関連論文リスト
- Leveraging External Knowledge Resources to Enable Domain-Specific
Comprehension [4.3905207721537804]
機械読み取り(MRC)は、NLPの長年の問題である。
汎用テキストコーパスで訓練されたBERT変種は、ドメイン固有のテキストに適用される。
本稿では,知識グラフから抽出した埋め込みと,事前学習した言語モデルの埋め込み空間の整合と統合のための,MLP(Multi-Layer Perceptrons)を用いた手法を提案する。
論文 参考訳(メタデータ) (2024-01-15T21:43:46Z) - A Self-enhancement Approach for Domain-specific Chatbot Training via
Knowledge Mining and Digest [62.63606958140248]
大規模言語モデル(LLM)は、特定のドメインで複雑な知識要求クエリを扱う際に、しばしば困難に直面する。
本稿では、ドメイン固有のテキストソースから関連知識を効果的に抽出し、LLMを強化する新しいアプローチを提案する。
我々は知識マイナー、すなわちLLMinerを訓練し、関連する文書から質問応答対を自律的に抽出する。
論文 参考訳(メタデータ) (2023-11-17T16:09:10Z) - Knowledge Plugins: Enhancing Large Language Models for Domain-Specific
Recommendations [50.81844184210381]
本稿では,大規模言語モデルをDOmain固有のKnowledgEで拡張し,実践的アプリケーション,すなわちDOKEの性能を向上させるためのパラダイムを提案する。
このパラダイムはドメイン知識抽出器に依存し,1)タスクに効果的な知識を準備すること,2)特定のサンプルごとに知識を選択すること,3)LLMで理解可能な方法で知識を表現すること,の3つのステップで動作する。
論文 参考訳(メタデータ) (2023-11-16T07:09:38Z) - Combining Language Models For Specialized Domains: A Colorful Approach [14.124988885323585]
ドメイン固有または二次のLMを汎用のLMに統合する新しいアプローチを導入する。
この戦略は、各単語が一般またはドメイン固有のLMと関連していることを示すラベル付け、または「色付け」を含む。
色付き単語を含む推論を効果的に処理するビーム探索アルゴリズムを最適化したアルゴリズムを開発した。
論文 参考訳(メタデータ) (2023-10-30T16:35:55Z) - Fine-tuning Large Enterprise Language Models via Ontological Reasoning [5.12835891233968]
大きな言語モデル(LLM)はタスク固有のトレーニングデータのおかげで、さまざまな目標に適応するためのテクニックとして微調整を利用する。
LLMファインチューニングのためのタスクとドメイン固有のコーパスを構築するために、存在論的推論の力を利用する新しいニューロシンボリックアーキテクチャを提案する。
論文 参考訳(メタデータ) (2023-06-19T06:48:45Z) - Harnessing Explanations: LLM-to-LM Interpreter for Enhanced
Text-Attributed Graph Representation Learning [51.90524745663737]
重要なイノベーションは、機能として説明を使用することで、下流タスクにおけるGNNのパフォーマンス向上に利用できます。
提案手法は、確立されたTAGデータセットの最先端結果を実現する。
本手法はトレーニングを著しく高速化し,ogbn-arxivのベースラインに最も近い2.88倍の改善を実現した。
論文 参考訳(メタデータ) (2023-05-31T03:18:03Z) - G-MAP: General Memory-Augmented Pre-trained Language Model for Domain
Tasks [68.87524746922263]
G-MAP(General Memory Augmented Pre-trained Language Model)の新たなフレームワークを提案する。
G-MAPは、凍った一般PLMから構築されたメモリ表現によって、一般知識を失うことなくドメイン固有のPLMを増強する。
各種分野(生物・コンピュータ科学出版物,ニュース,レビュー)におけるG-MAPの有効性とタスクの種類(テキスト分類,QA,NER)について示す。
論文 参考訳(メタデータ) (2022-12-07T13:07:24Z) - Set-based Meta-Interpolation for Few-Task Meta-Learning [79.85241791994562]
そこで本研究では,メタトレーニングタスクの分散化を目的とした,ドメインに依存しないタスク拡張手法Meta-Interpolationを提案する。
様々な領域にまたがる8つのデータセットに対してメタ補間の有効性を実証的に検証した。
論文 参考訳(メタデータ) (2022-05-20T06:53:03Z) - KALA: Knowledge-Augmented Language Model Adaptation [65.92457495576141]
プレトレーニング言語モデル(PLM)のための新しいドメイン適応フレームワークを提案する。
知識拡張言語モデル適応(英: Knowledge-Augmented Language Model Adaptation, KALA)は、PLMの中間的隠れ表現をドメイン知識で修飾する。
計算効率は高いが,我々のKALAは適応型事前学習よりも優れていた。
論文 参考訳(メタデータ) (2022-04-22T08:11:59Z) - DS-TOD: Efficient Domain Specialization for Task Oriented Dialog [12.395323315744625]
大規模対話データセット上での自己教師型ダイアログ固有の事前学習は、下流タスク指向ダイアログ(TOD)における従来の言語モデリング(LM)よりも大幅に向上する。
タスク指向対話における事前学習言語モデル(PLM)のドメイン特殊化の効果について検討する。
本稿では,ドメインアダプタを用いた資源効率・モジュール型ドメイン特化手法を提案する。
論文 参考訳(メタデータ) (2021-10-15T22:25:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。