論文の概要: Self-Specialization: Uncovering Latent Expertise within Large Language
Models
- arxiv url: http://arxiv.org/abs/2310.00160v1
- Date: Fri, 29 Sep 2023 21:53:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-05 06:12:18.240353
- Title: Self-Specialization: Uncovering Latent Expertise within Large Language
Models
- Title(参考訳): 自己スペシャライゼーション - 大規模言語モデルにおける潜在専門家の発見
- Authors: Junmo Kang, Hongyin Luo, Yada Zhu, James Glass, David Cox, Alan
Ritter, Rogerio Feris, Leonid Karlinsky
- Abstract要約: 我々は、専門家ドメイン専門化(例えば、バイオメディシン)のための自己調整に焦点を当て、ゼロショットと少数ショットのパフォーマンスを改善するのに非常に効果的であることを発見した。
バイオメディカルドメインを用いた実験の結果,我々の自己特異的モデル(30B)はベースモデルであるMPT-30Bよりも大きなマージンで優れていた。
- 参考スコア(独自算出の注目度): 42.25421276343884
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent works have demonstrated the effectiveness of self-alignment in which a
large language model is, by itself, aligned to follow general instructions
through the automatic generation of instructional data using a handful of
human-written seeds. Instead of general alignment, in this work, we focus on
self-alignment for expert domain specialization (e.g., biomedicine),
discovering it to be very effective for improving zero-shot and few-shot
performance in target domains of interest. As a preliminary, we first present
the benchmark results of existing aligned models within a specialized domain,
which reveals the marginal effect that "generic" instruction-following training
has on downstream expert domains' performance. To remedy this, we explore
self-specialization that leverages domain-specific unlabelled data and a few
labeled seeds for the self-alignment process. When augmented with retrieval to
reduce hallucination and enhance concurrency of the alignment,
self-specialization offers an effective (and efficient) way of "carving out" an
expert model out of a "generalist", pre-trained LLM where different domains of
expertise are originally combined in a form of "superposition". Our
experimental results on a biomedical domain show that our self-specialized
model (30B) outperforms its base model, MPT-30B by a large margin and even
surpasses larger popular models based on LLaMA-65B, highlighting its potential
and practicality for specialization, especially considering its efficiency in
terms of data and parameters.
- Abstract(参考訳): 近年の研究では、大規模な言語モデルが、一握りの人間書きの種を用いた指導データの自動生成を通じて、それ自体が一般的な指示に従うように整列された自己アライメントの有効性が実証されている。
本研究では,専門分野の専門化(バイオメディシンなど)のための自己調整に重点を置き,対象分野におけるゼロショットと少数ショットのパフォーマンス向上に極めて有効であることを発見した。
予備として,我々はまず,特定領域内の既存のアライメントモデルのベンチマーク結果を提示し,ダウンストリームの専門家ドメインのパフォーマンスに対する"ジェネリック"命令追従訓練の限界効果を明らかにする。
これを改善するために、ドメイン固有の未ラベルデータといくつかのラベル付き種子を利用した自己調整プロセスについて検討する。
幻覚を減少させ、アライメントの並行性を高めるために検索を追加すると、自己専門化は、専門知識の異なる領域が元々「重ね合わせ」の形で結合された、"ジェネラリスト"から専門家モデルを「彫り出す(carving out)」ための効果的な(かつ効率的な)方法を提供する。
生体医学領域における実験結果から,我々の自己特化モデル(30b)は,基礎モデルであるmpt-30bを大きなマージンで上回り,llama-65bに基づくより大きな人気モデルを上回ること,特にデータやパラメータの効率を考慮し,専門化の可能性と実用性を浮き彫りにした。
関連論文リスト
- VANER: Leveraging Large Language Model for Versatile and Adaptive Biomedical Named Entity Recognition [3.4923338594757674]
大型言語モデル(LLM)は、様々な種類のエンティティを抽出できるモデルを訓練するために使用することができる。
本稿では,オープンソースのLLM LLaMA2をバックボーンモデルとして利用し,異なるタイプのエンティティとデータセットを区別するための具体的な命令を設計する。
我々のモデルVANERは、パラメータの小さな分割で訓練され、従来のLLMモデルよりも大幅に優れており、LLMをベースとしたモデルとして初めて、従来の最先端のBioNERシステムの大部分を上回りました。
論文 参考訳(メタデータ) (2024-04-27T09:00:39Z) - Enhanced Bayesian Optimization via Preferential Modeling of Abstract
Properties [49.351577714596544]
本研究では,非測定抽象特性に関する専門家の嗜好を代理モデルに組み込むための,人間とAIの協調型ベイズフレームワークを提案する。
優先判断において、誤った/誤解を招く専門家バイアスを処理できる効率的な戦略を提供する。
論文 参考訳(メタデータ) (2024-02-27T09:23:13Z) - Learning to Route Among Specialized Experts for Zero-Shot Generalization [43.22159290758975]
我々は,専門専門家の海洋上での時間的適応的整合性ゲーティング(PHATGOOSE)を提案する。
パラメータ効率の細かいチューニングによって生成された特殊なモジュール間のルートを学習する。
特別なモデルを作成するために使用されるデータセットに同時アクセスする必要はなく、各エキスパートモデルがトレーニングされた後のみ、わずかな量の計算が必要になります。
論文 参考訳(メタデータ) (2024-02-08T17:43:22Z) - Structured Entity Extraction Using Large Language Models [52.281701191329]
大規模言語モデル(LLM)は、構造化されていないテキストから構造化された情報を抽出する上で重要な役割を果たす。
タスクをエンティティ中心にすることで、さまざまな視点からより多くの洞察を提供するさまざまなメトリクスの使用を可能にします。
論文 参考訳(メタデータ) (2024-02-06T22:15:09Z) - Large Language Models Can Be Good Privacy Protection Learners [53.07930843882592]
本稿では,プライバシ保護言語モデル(PPLM)を紹介する。
本研究は, コーパスキュレーション, ペナルティに基づくトレーニング損失の相違, 命令に基づくチューニングなど, モデル設計の理論的解析を行う。
特に、肯定的な例と否定的な例の両方による命令チューニングは、モデルの知識を高めながら、個人データを効果的に保護する、有望な方法として際立っている。
論文 参考訳(メタデータ) (2023-10-03T22:37:01Z) - Guiding Generative Language Models for Data Augmentation in Few-Shot
Text Classification [59.698811329287174]
我々は、GPT-2を用いて、分類性能を向上させるために、人工訓練インスタンスを生成する。
実験の結果,少数のラベルインスタンスでGPT-2を微調整すると,一貫した分類精度が向上することがわかった。
論文 参考訳(メタデータ) (2021-11-17T12:10:03Z) - f-Domain-Adversarial Learning: Theory and Algorithms [82.97698406515667]
教師なしのドメイン適応は、トレーニング中、ターゲットドメイン内のラベルなしデータにアクセス可能な、多くの機械学習アプリケーションで使用されている。
領域適応のための新しい一般化法を導出し、f-発散体の変分的特徴に基づく分布間の相違性の新しい尺度を利用する。
論文 参考訳(メタデータ) (2021-06-21T18:21:09Z) - Treatment Targeting by AUUC Maximization with Generalization Guarantees [7.837855832568568]
個々の治療効果予測に基づいて治療課題を最適化する作業を検討する。
本稿では, 昇降曲線(AUUC)に基づく一般化を提案し, AUUC-max(AUUC-max)と呼ばれる, この境界の導出可能なサロゲートを最適化する新しい学習アルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-12-17T19:32:35Z) - To Regularize or Not To Regularize? The Bias Variance Trade-off in
Regularized AEs [10.611727286504994]
AEモデルの生成決定論的品質に及ぼす潜伏剤の影響について検討する。
我々は、FlexAEと呼ばれるモデルが、AEベースの生成モデルのための新しい最先端技術であることを示します。
論文 参考訳(メタデータ) (2020-06-10T14:00:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。