論文の概要: Leveraging Open Knowledge for Advancing Task Expertise in Large Language Models

• arxiv url: http://arxiv.org/abs/2408.15915v1
• Date: Wed, 28 Aug 2024 16:28:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-29 15:21:26.822528
• Title: Leveraging Open Knowledge for Advancing Task Expertise in Large Language Models
• Title（参考訳）: 大規模言語モデルにおけるタスクエキスパート向上のためのオープン知識の活用
• Authors: Yuncheng Yang, Yulei Qin, Tong Wu, Zihan Xu, Gang Li, Pengcheng Guo, Hang Shao, Yucheng Shi, Ke Li, Xing Sun, Jie Yang, Yun Gu,
• Abstract要約: オープンな知識を持つ大規模言語モデルのタスク専門性を向上させるために,人手によるサンプル(Kショット)を少数導入する。 複数の専門家の間で個別のyet-complementaryな知識を最大限に活用するために、Mixix-of-expert (MoE)システムを構築している。
• 参考スコア（独自算出の注目度）: 40.35566386461018
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The cultivation of expertise for large language models (LLMs) to solve tasks of specific areas often requires special-purpose tuning with calibrated behaviors on the expected stable outputs. To avoid huge cost brought by manual preparation of instruction datasets and training resources up to hundreds of hours, the exploitation of open knowledge including a wealth of low rank adaptation (LoRA) models and instruction datasets serves as a good starting point. However, existing methods on model and data selection focus on the performance of general-purpose capabilities while neglecting the knowledge gap exposed in domain-specific deployment. In the present study, we propose to bridge such gap by introducing few human-annotated samples (i.e., K-shot) for advancing task expertise of LLMs with open knowledge. Specifically, we develop an efficient and scalable pipeline to cost-efficiently produce task experts where K-shot data intervene in selecting the most promising expert candidates and the task-relevant instructions. A mixture-of-expert (MoE) system is built to make the best use of individual-yet-complementary knowledge between multiple experts. We unveil the two keys to the success of a MoE system, 1) the abidance by K-shot, and 2) the insistence on diversity. For the former, we ensure that models that truly possess problem-solving abilities on K-shot are selected rather than those blind guessers. Besides, during data selection, instructions that share task-relevant contexts with K-shot are prioritized. For the latter, we highlight the diversity of constituting experts and that of the fine-tuning instructions throughout the model and data selection process. Extensive experimental results confirm the superiority of our approach over existing methods on utilization of open knowledge across various tasks. Codes and models will be released later.
• Abstract（参考訳）: 特定の分野のタスクを解くために,大規模言語モデル (LLM) の専門知識の育成には,期待される安定な出力に対する校正動作を伴う特別な目的のチューニングが必要となることが多い。 命令データセットとトレーニングリソースを数百時間まで手作業で準備することで生じる膨大なコストを回避するため、ローランク適応(LoRA)モデルや命令データセットを含むオープン知識の活用が良い出発点となる。 しかし、モデルとデータ選択に関する既存の手法は、ドメイン固有のデプロイメントで露出する知識ギャップを無視しながら、汎用機能の性能に重点を置いている。 本研究では,LLMの課題専門知識をオープンな知識で向上させるため,人手によるサンプル(Kショット)を少なく導入することで,このようなギャップを埋めることを提案する。 具体的には、Kショットデータが最も有望な専門家候補とタスク関連命令を選択する際に介入するタスクエキスパートをコスト効率よく生成する、効率的でスケーラブルなパイプラインを開発する。 複数の専門家の間で個別のyet-complementaryな知識を最大限に活用するために、Mixix-of-expert (MoE)システムを構築している。 われわれは、MoEシステムの成功のための2つの鍵を公表する。 1)Kショットによる禁止,及び 2【多様性の主張】 前者にとって、Kショットに真に問題解決能力を持つモデルが、盲目な推測者よりも選択されることを保証する。 さらに、データ選択の際には、タスク関連コンテキストをKショットと共有する命令が優先される。 後者では, モデルおよびデータ選択プロセス全体を通して, 構成専門家の多様性と微調整指導の多様性を強調した。 各種タスクにおけるオープン知識の活用に関する既存手法に対するアプローチの優位性を確認した。 コードとモデルは後日リリースされる予定だ。

関連論文リスト

• KBAlign: Efficient Self Adaptation on Specific Knowledge Bases [75.78948575957081]
  大規模言語モデル(LLM)は通常、知識材料を瞬時に活用するために、検索強化世代に依存している。 本稿では,知識ベースを含む下流タスクへの効率的な適応を目的としたKBAlignを提案する。 提案手法は,Q&Aペアやリビジョン提案などの自己注釈付きデータを用いて反復学習を行い,モデルが知識内容を効率的に把握できるようにする。
  論文  参考訳（メタデータ） (2024-11-22T08:21:03Z)
• Learning to Route Among Specialized Experts for Zero-Shot Generalization [39.56470042680907]
  我々は,専門専門家の海洋上での時間的適応的整合性ゲーティング(PHATGOOSE)を提案する。 パラメータ効率の細かいチューニングによって生成された特殊なモジュール間のルートを学習する。 特別なモデルを作成するために使用されるデータセットに同時アクセスする必要はなく、各エキスパートモデルがトレーニングされた後のみ、わずかな量の計算が必要になります。
  論文  参考訳（メタデータ） (2024-02-08T17:43:22Z)
• Rethinking Skill Extraction in the Job Market Domain using Large Language Models [20.256353240384133]
  スキル抽出は、仕事の投稿や履歴書などの文書で言及されているスキルと資格を識別する。 手動でアノテートしたデータへの依存は、そのようなアプローチの一般化可能性を制限する。 本稿では,これらの課題を克服するための文脈内学習の活用について検討する。
  論文  参考訳（メタデータ） (2024-02-06T09:23:26Z)
• Knowledge Plugins: Enhancing Large Language Models for Domain-Specific Recommendations [50.81844184210381]
  本稿では,大規模言語モデルをDOmain固有のKnowledgEで拡張し,実践的アプリケーション,すなわちDOKEの性能を向上させるためのパラダイムを提案する。 このパラダイムはドメイン知識抽出器に依存し,1)タスクに効果的な知識を準備すること,2)特定のサンプルごとに知識を選択すること,3)LLMで理解可能な方法で知識を表現すること,の3つのステップで動作する。
  論文  参考訳（メタデータ） (2023-11-16T07:09:38Z)
• Pre-training Multi-task Contrastive Learning Models for Scientific Literature Understanding [52.723297744257536]
  事前学習言語モデル(LM)は、科学文献理解タスクにおいて有効であることを示す。 文献理解タスク間の共通知識共有を容易にするために,マルチタスクのコントラスト学習フレームワークであるSciMultを提案する。
  論文  参考訳（メタデータ） (2023-05-23T16:47:22Z)
• Leveraging Expert Consistency to Improve Algorithmic Decision Support [62.61153549123407]
  建設のギャップを狭めるために観測結果と組み合わせることができる情報源として,歴史専門家による意思決定の利用について検討する。 本研究では,データ内の各ケースが1人の専門家によって評価された場合に,専門家の一貫性を間接的に推定する影響関数に基づく手法を提案する。 本研究は, 児童福祉領域における臨床現場でのシミュレーションと実世界データを用いて, 提案手法が構成ギャップを狭めることに成功していることを示す。
  論文  参考訳（メタデータ） (2021-01-24T05:40:29Z)
• Learning From Multiple Experts: Self-paced Knowledge Distillation for Long-tailed Classification [106.08067870620218]
  我々は,LFME(Learning From Multiple Experts)と呼ばれる自己評価型知識蒸留フレームワークを提案する。 提案するLFMEフレームワークは,複数の'Experts'からの知識を集約して,統一された学生モデルを学ぶ。 提案手法は,最先端の手法に比べて優れた性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-01-06T12:57:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。