論文の概要: Learnware of Language Models: Specialized Small Language Models Can Do Big

• arxiv url: http://arxiv.org/abs/2505.13425v1
• Date: Mon, 19 May 2025 17:54:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:11.792863
• Title: Learnware of Language Models: Specialized Small Language Models Can Do Big
• Title（参考訳）: 言語モデルの学習: 専門化された小さな言語モデルでは大きなことができる
• Authors: Zhi-Hao Tan, Zi-Chen Zhao, Hao-Yu Shi, Xin-Yu Zhang, Peng Tan, Yang Yu, Zhi-Hua Zhou,
• Abstract要約: 本稿では,学習用パラダイムを言語モデルに適用するための予備的試みを示す。 我々は,8Bパラメータを持つ特殊SLMの学習装置を約100個構成した学習装置をシミュレートした。 各タスク固有の推論に対して1つの適切な学習ウェアを選択することで、システムは全てのベンチマークでベースSLMよりも優れる。
• 参考スコア（独自算出の注目度）: 50.285859986475394
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The learnware paradigm offers a novel approach to machine learning by enabling users to reuse a set of well-trained models for tasks beyond the models' original purposes. It eliminates the need to build models from scratch, instead relying on specifications (representations of a model's capabilities) to identify and leverage the most suitable models for new tasks. While learnware has proven effective in many scenarios, its application to language models has remained largely unexplored. At the same time, large language models (LLMs) have demonstrated remarkable universal question-answering abilities, yet they face challenges in specialized scenarios due to data scarcity, privacy concerns, and high computational costs, thus more and more specialized small language models (SLMs) are being trained for specific domains. To address these limitations systematically, the learnware paradigm provides a promising solution by enabling maximum utilization of specialized SLMs, and allowing users to identify and reuse them in a collaborative and privacy-preserving manner. This paper presents a preliminary attempt to apply the learnware paradigm to language models. We simulated a learnware system comprising approximately 100 learnwares of specialized SLMs with 8B parameters, fine-tuned across finance, healthcare, and mathematics domains. Each learnware contains an SLM and a specification, which enables users to identify the most relevant models without exposing their own data. Experimental results demonstrate promising performance: by selecting one suitable learnware for each task-specific inference, the system outperforms the base SLMs on all benchmarks. Compared to LLMs, the system outperforms Qwen1.5-110B, Qwen2.5-72B, and Llama3.1-70B-Instruct by at least 14% in finance domain tasks, and surpasses Flan-PaLM-540B (ranked 7th on the Open Medical LLM Leaderboard) in medical domain tasks.
• Abstract（参考訳）: 学習ウェアパラダイムは、ユーザーがモデルの本来の目的を超えたタスクのために、よく訓練されたモデルの集合を再利用できるようにすることで、機械学習に対する新しいアプローチを提供する。 これは、新しいタスクに最も適したモデルを特定し、活用するために、仕様(モデルの能力の表現)に頼る代わりに、スクラッチからモデルを構築する必要をなくします。 学習ウェアは多くのシナリオで有効であることが証明されているが、言語モデルへのその応用はいまだに未解明のままである。 同時に、大きな言語モデル(LLM)は、驚くべき普遍的な問合せ能力を示してきたが、データ不足、プライバシーの懸念、高い計算コストによる特殊なシナリオの課題に直面しているため、特定のドメインに対してより専門的な小言語モデル(SLM)が訓練されている。 これらの制限を体系的に解決するために、学習ソフトウェアパラダイムは、特殊なSLMを最大限に活用し、ユーザが協調的かつプライバシー保護的な方法でそれらを識別し再利用できるようにすることによって、有望なソリューションを提供する。 本稿では,学習用パラダイムを言語モデルに適用するための予備的試みを示す。 我々は、金融、医療、数学の分野にまたがって微調整された8Bパラメータを持つ専門SLMの学習ウェアを約100個構成した学習ウェアシステムをシミュレートした。 各学習ウェアにはSLMと仕様が含まれており、ユーザーは自身のデータを公開せずに最も関連性の高いモデルを識別できる。 実験結果は有望な性能を示し、各タスク固有の推論に対して1つの適切な学習ウェアを選択することにより、システムは全てのベンチマークでベースSLMよりも優れた性能を示す。 LLMと比較して、このシステムはQwen1.5-110B、Qwen2.5-72B、Llama3.1-70B-インストラクションを少なくとも14%上回り、医療ドメインタスクではFlan-PaLM-540B(オープンメディカルLSMリーダーボードでは7位)を上回っている。

関連論文リスト

• Personalized Multimodal Large Language Models: A Survey [127.9521218125761]
  マルチモーダル大言語モデル(MLLM)は、最先端の性能と複数のデータモダリティを統合する能力により、ますます重要になっている。 本稿では,パーソナライズされたマルチモーダルな大規模言語モデルに関する包括的調査を行い,そのアーキテクチャ,トレーニング方法,アプリケーションに焦点をあてる。
  論文  参考訳（メタデータ） (2024-12-03T03:59:03Z)
• Protecting Privacy in Multimodal Large Language Models with MLLMU-Bench [17.73279547506514]
  マルチモーダル・ラージ・モデル・アンラーニングベンチマーク(MLLMU-Bench)は,マルチモーダル・マシン・アンラーニングの理解を深めるための新しいベンチマークである。 MLLMU-Benchは500の架空のプロファイルと153のプロフィールで構成され、各プロファイルは14以上のカスタマイズされた質問応答ペアで構成され、マルチモーダル(画像+テキスト)とユニモーダル(テキスト)の両方の観点から評価される。 意外なことに、我々の実験では、ユニモーダル・アンラーニングのアルゴリズムは生成タスクやクローズタスクに優れており、マルチモーダル・アンラーニングのアプローチはマルチモーダル入力による分類タスクにおいてより優れている。
  論文  参考訳（メタデータ） (2024-10-29T15:07:23Z)
• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• Large Language Models Can Automatically Engineer Features for Few-Shot Tabular Learning [35.03338699349037]
  本稿では,機能エンジニアとして大規模言語モデルを用いる新しい文脈内学習フレームワークFeatLLMを提案する。 FeatLLMは高品質なルールを生成し、TabLLMやSTUNTなどよりも大幅に(平均で10%)優れている。
  論文  参考訳（メタデータ） (2024-04-15T06:26:08Z)
• Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
  大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。 自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。 本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
  論文  参考訳（メタデータ） (2023-12-26T07:24:46Z)
• Graph Neural Prompting with Large Language Models [32.97391910476073]
  Graph Neural Prompting (GNP)は、知識グラフから有益な知識を学ぶために、事前訓練された言語モデルを支援するための新しいプラグアンドプレイ方式である。 複数のデータセットに対する大規模な実験は、常識的および生物医学的推論タスクにおいて、GNPの優位性を示す。
  論文  参考訳（メタデータ） (2023-09-27T06:33:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。