論文の概要: Self-Specialization: Uncovering Latent Expertise within Large Language Models

• arxiv url: http://arxiv.org/abs/2310.00160v1
• Date: Fri, 29 Sep 2023 21:53:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-05 06:12:18.240353
• Title: Self-Specialization: Uncovering Latent Expertise within Large Language Models
• Title（参考訳）: 自己スペシャライゼーション - 大規模言語モデルにおける潜在専門家の発見
• Authors: Junmo Kang, Hongyin Luo, Yada Zhu, James Glass, David Cox, Alan Ritter, Rogerio Feris, Leonid Karlinsky
• Abstract要約: 我々は、専門家ドメイン専門化(例えば、バイオメディシン)のための自己調整に焦点を当て、ゼロショットと少数ショットのパフォーマンスを改善するのに非常に効果的であることを発見した。 バイオメディカルドメインを用いた実験の結果,我々の自己特異的モデル(30B)はベースモデルであるMPT-30Bよりも大きなマージンで優れていた。
• 参考スコア（独自算出の注目度）: 42.25421276343884
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent works have demonstrated the effectiveness of self-alignment in which a large language model is, by itself, aligned to follow general instructions through the automatic generation of instructional data using a handful of human-written seeds. Instead of general alignment, in this work, we focus on self-alignment for expert domain specialization (e.g., biomedicine), discovering it to be very effective for improving zero-shot and few-shot performance in target domains of interest. As a preliminary, we first present the benchmark results of existing aligned models within a specialized domain, which reveals the marginal effect that "generic" instruction-following training has on downstream expert domains' performance. To remedy this, we explore self-specialization that leverages domain-specific unlabelled data and a few labeled seeds for the self-alignment process. When augmented with retrieval to reduce hallucination and enhance concurrency of the alignment, self-specialization offers an effective (and efficient) way of "carving out" an expert model out of a "generalist", pre-trained LLM where different domains of expertise are originally combined in a form of "superposition". Our experimental results on a biomedical domain show that our self-specialized model (30B) outperforms its base model, MPT-30B by a large margin and even surpasses larger popular models based on LLaMA-65B, highlighting its potential and practicality for specialization, especially considering its efficiency in terms of data and parameters.
• Abstract（参考訳）: 近年の研究では、大規模な言語モデルが、一握りの人間書きの種を用いた指導データの自動生成を通じて、それ自体が一般的な指示に従うように整列された自己アライメントの有効性が実証されている。 本研究では,専門分野の専門化(バイオメディシンなど)のための自己調整に重点を置き,対象分野におけるゼロショットと少数ショットのパフォーマンス向上に極めて有効であることを発見した。 予備として,我々はまず,特定領域内の既存のアライメントモデルのベンチマーク結果を提示し,ダウンストリームの専門家ドメインのパフォーマンスに対する"ジェネリック"命令追従訓練の限界効果を明らかにする。 これを改善するために、ドメイン固有の未ラベルデータといくつかのラベル付き種子を利用した自己調整プロセスについて検討する。 幻覚を減少させ、アライメントの並行性を高めるために検索を追加すると、自己専門化は、専門知識の異なる領域が元々「重ね合わせ」の形で結合された、"ジェネラリスト"から専門家モデルを「彫り出す(carving out)」ための効果的な(かつ効率的な)方法を提供する。 生体医学領域における実験結果から,我々の自己特化モデル(30b)は,基礎モデルであるmpt-30bを大きなマージンで上回り,llama-65bに基づくより大きな人気モデルを上回ること,特にデータやパラメータの効率を考慮し,専門化の可能性と実用性を浮き彫りにした。

関連論文リスト

• LFME: A Simple Framework for Learning from Multiple Experts in Domain Generalization [61.16890890570814]
  ドメイン一般化(Domain Generalization, DG)手法は、複数のソースドメインからのトレーニングデータを使用することで、目に見えないターゲットドメインにおける優れたパフォーマンスを維持することを目的としている。 この作業では、DGを改善するために、ターゲットモデルをすべてのソースドメインの専門家にすることを目的とした、複数の専門家(LFME)からの学習と呼ばれる、シンプルだが効果的なフレームワークを導入している。
  論文  参考訳（メタデータ） (2024-10-22T13:44:10Z)
• Task-Adaptive Pretrained Language Models via Clustered-Importance Sampling [21.762562172089236]
  代わりに、大規模なジェネラリストのトレーニングセットからスペシャリストモデルを構築します。 我々は、限られたドメイン固有データからのガイダンスにより、ジェネリストデータのトレーニング分布を調整する。 スケーラブルで、事前トレーニングと継続事前トレーニングに適しており、マルチタスク設定でうまく機能する。
  論文  参考訳（メタデータ） (2024-09-30T20:49:54Z)
• LoRKD: Low-Rank Knowledge Decomposition for Medical Foundation Models [59.961172635689664]
  知識分解」は、特定の医療課題のパフォーマンス向上を目的としている。 我々はLow-Rank Knowledge Decomposition(LoRKD)という新しいフレームワークを提案する。 LoRKDは、低ランクのエキスパートモジュールと効率的な知識分離畳み込みを組み込むことで、グラデーションを異なるタスクから明確に分離する。
  論文  参考訳（メタデータ） (2024-09-29T03:56:21Z)
• Revisiting SMoE Language Models by Evaluating Inefficiencies with Task Specific Expert Pruning [78.72226641279863]
  SMOE(Sparse Mixture of Expert)モデルは、言語モデリングにおける高密度モデルに代わるスケーラブルな代替品として登場した。 本研究は,SMoEアーキテクチャの設計に関する意思決定を行うために,タスク固有のモデルプルーニングについて検討する。 適応型タスク対応プルーニング手法 UNCURL を導入し,MoE 層当たりの専門家数をオフラインで学習する手法を提案する。
  論文  参考訳（メタデータ） (2024-09-02T22:35:03Z)
• Prompting Encoder Models for Zero-Shot Classification: A Cross-Domain Study in Italian [75.94354349994576]
  本稿では,より小型のドメイン固有エンコーダ LM と,特殊なコンテキストにおける性能向上手法の併用の可能性について検討する。 本研究は, イタリアの官僚的・法的言語に焦点をあて, 汎用モデルと事前学習型エンコーダのみのモデルの両方を実験する。 その結果, 事前学習したモデルでは, 一般知識の頑健性が低下する可能性があるが, ドメイン固有のタスクに対して, ゼロショット設定においても, より優れた適応性を示すことがわかった。
  論文  参考訳（メタデータ） (2024-07-30T08:50:16Z)
• VANER: Leveraging Large Language Model for Versatile and Adaptive Biomedical Named Entity Recognition [3.4923338594757674]
  大型言語モデル(LLM)は、様々な種類のエンティティを抽出できるモデルを訓練するために使用することができる。 本稿では,オープンソースのLLM LLaMA2をバックボーンモデルとして利用し,異なるタイプのエンティティとデータセットを区別するための具体的な命令を設計する。 我々のモデルVANERは、パラメータの小さな分割で訓練され、従来のLLMモデルよりも大幅に優れており、LLMをベースとしたモデルとして初めて、従来の最先端のBioNERシステムの大部分を上回りました。
  論文  参考訳（メタデータ） (2024-04-27T09:00:39Z)
• On Good Practices for Task-Specific Distillation of Large Pretrained Visual Models [42.57860180847724]
  最近の事前学習モデルの優れた堅牢性と汎用性は、文献で確立された共通の実践に挑戦することを示します。 また、安定拡散に基づくMixupの変種が標準データ拡張を補完することを示す。
  論文  参考訳（メタデータ） (2024-02-17T15:15:43Z)
• Learning to Route Among Specialized Experts for Zero-Shot Generalization [39.56470042680907]
  我々は,専門専門家の海洋上での時間的適応的整合性ゲーティング(PHATGOOSE)を提案する。 パラメータ効率の細かいチューニングによって生成された特殊なモジュール間のルートを学習する。 特別なモデルを作成するために使用されるデータセットに同時アクセスする必要はなく、各エキスパートモデルがトレーニングされた後のみ、わずかな量の計算が必要になります。
  論文  参考訳（メタデータ） (2024-02-08T17:43:22Z)
• Fantastic Gains and Where to Find Them: On the Existence and Prospect of General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
  事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。 このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
  論文  参考訳（メタデータ） (2023-10-26T17:59:46Z)
• Domain Generalization using Pretrained Models without Fine-tuning [25.489714555859944]
  微調整事前訓練モデルは、ドメイン一般化(DG)タスクにおいて一般的なプラクティスである。 ドメイン一般化のための特別アンサンブル学習(SEDGE)という,様々な事前学習モデルを活用するための新しいドメイン一般化パラダイムを提案する。 SEDGEは、DGタスクの最先端メソッドを含む強力なベースラインと比較して、大幅なパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2022-03-09T09:33:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。