論文の概要: Towards Unified Task Embeddings Across Multiple Models: Bridging the Gap
for Prompt-Based Large Language Models and Beyond
- arxiv url: http://arxiv.org/abs/2402.14522v1
- Date: Thu, 22 Feb 2024 13:13:31 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-23 15:15:29.862511
- Title: Towards Unified Task Embeddings Across Multiple Models: Bridging the Gap
for Prompt-Based Large Language Models and Beyond
- Title(参考訳): 複数のモデルにまたがる統一タスク埋め込みに向けて: Promptベースの大規模言語モデルのギャップを埋める
- Authors: Xinyu Wang, Hainiu Xu, Lin Gui, Yulan He
- Abstract要約: 既存のタスク埋め込みメソッドは、微調整されたタスク固有の言語モデルに依存している。
本稿では,様々なモデルからタスク埋め込みを調和させる統合タスク埋め込み(FUTE)フレームワークを提案する。
- 参考スコア(独自算出の注目度): 18.476364176960868
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Task embedding, a meta-learning technique that captures task-specific
information, has become prevalent, especially in areas such as multi-task
learning, model editing, and interpretability. However, it faces challenges
with the emergence of prompt-guided Large Language Models (LLMs) operating in a
gradientfree manner. Existing task embedding methods rely on fine-tuned,
task-specific language models, which hinders the adaptability of task
embeddings across diverse models, especially prompt-based LLMs. To unleash the
power of task embedding in the era of LLMs, we propose a framework for unified
task embeddings (FUTE), harmonizing task embeddings from various models,
including smaller language models and LLMs with varied prompts, within a single
vector space. Such uniformity enables the comparison and analysis of
similarities amongst different models, extending the scope and utility of
existing task embedding methods in addressing multi-model scenarios, whilst
maintaining their performance to be comparable to architecture-specific
methods.
- Abstract(参考訳): タスク固有の情報をキャプチャするメタ学習技術であるタスク埋め込みは、特にマルチタスク学習、モデル編集、解釈可能性などの分野で普及している。
しかし、プロンプト誘導型大規模言語モデル(LLM)がグラデーションフリーで動作し、課題に直面している。
既存のタスク埋め込み手法は、細調整されたタスク固有の言語モデルに依存しており、様々なモデル、特にプロンプトベースのLLMに対するタスク埋め込みの適応性を妨げている。
LLMの時代にタスク埋め込みのパワーを解放するために,より小さな言語モデルや様々なプロンプトを持つLLMを含む様々なモデルから,単一のベクトル空間内でタスク埋め込みを調和させる統合タスク埋め込み(FUTE)フレームワークを提案する。
このような統一性は、異なるモデル間の類似性の比較と分析を可能にし、アーキテクチャ固有のメソッドに匹敵する性能を維持しながら、マルチモデルのシナリオに対処する既存のタスク埋め込みメソッドの範囲と有用性を拡張する。
関連論文リスト
- Meta-Task Prompting Elicits Embedding from Large Language Models [57.50329659098592]
本稿では,新しい教師なし埋め込み手法であるMeta-Task Prompting with Explicit One-Word Limitationを提案する。
モデル微調整やタスク固有のエンジニアリングを必要とせずに、大規模言語モデルから高品質な文の埋め込みを生成する。
実験により, 各種メタタスクから平均化された埋め込みは, セマンティックテキスト類似度ベンチマーク上での競合性能を示すことを示した。
本研究は, 埋込抽出のための多用途, 資源効率のよい手法を提供する, 埋込生成のための新しいスケーリング法則を示唆する。
論文 参考訳(メタデータ) (2024-02-28T16:35:52Z) - LLMBind: A Unified Modality-Task Integration Framework [38.95771765322677]
本稿では,大規模言語モデルとタスク固有のトークンを結合したモータリティタスク統合のための統合フレームワークを提案する。
私たちのフレームワークは、他のモダリティタスクに容易に拡張することができ、統合AIエージェントを作成する有望な可能性を示している。
論文 参考訳(メタデータ) (2024-02-22T12:36:31Z) - LLM Augmented LLMs: Expanding Capabilities through Composition [56.40953749310957]
CALM -- 言語モデルの拡張のための構成 -- は、モデル間の相互アテンションを導入して、表現を構成し、新しい機能を有効にする。
低リソース言語で訓練されたより小さなモデルでPaLM2-Sを増強すると、英語への翻訳のようなタスクで最大13%の改善が達成される。
PaLM2-Sがコード固有モデルで拡張されると、コード生成や説明タスクのベースモデルよりも40%向上する。
論文 参考訳(メタデータ) (2024-01-04T18:53:01Z) - Concrete Subspace Learning based Interference Elimination for Multi-task
Model Fusion [86.6191592951269]
一般的な事前訓練された大規模モデルから微調整されたマージングモデルは、様々なタスクに特化しているが、様々なタスクでうまく機能するマルチタスクモデルを構築するための安価でスケーラブルな戦略として実証されている。
本稿では、共通低次元部分空間を同定し、その共有情報トラック干渉問題を性能を犠牲にすることなく利用するための連続緩和(Concrete)部分空間学習法を提案する。
論文 参考訳(メタデータ) (2023-12-11T07:24:54Z) - On the Performance of Multimodal Language Models [4.677125897916577]
本研究は、異なるマルチモーダル命令チューニングアプローチの比較分析を行う。
大規模言語モデルにマルチモーダル機能を組み込む際に,アーキテクチャ選択を導く上で重要な洞察を明らかにする。
論文 参考訳(メタデータ) (2023-10-04T23:33:36Z) - UniverSLU: Universal Spoken Language Understanding for Diverse
Classification and Sequence Generation Tasks with a Single Network [57.94075999363722]
我々は様々な音声言語理解タスクを共同で行うモデルを構築した。
個別のプロンプトとして様々なタスクやデータセットの仕様化を行う。
その結果、UniverSLUは競争性能を達成し、タスク固有のモデルを超えていることがわかった。
論文 参考訳(メタデータ) (2023-10-04T17:10:23Z) - Task-Based MoE for Multitask Multilingual Machine Translation [58.20896429151824]
Mixture-of-experts (MoE)アーキテクチャは、多くのアプリケーションで深層モデルのトレーニングにおいて、多様なタスクのための強力な手法であることが証明されている。
本研究では,タスク情報を異なる粒度レベルでMoEモデルに組み込む新しい手法を,動的タスクベースアダプタの共有により設計する。
論文 参考訳(メタデータ) (2023-08-30T05:41:29Z) - Task Adaptive Parameter Sharing for Multi-Task Learning [114.80350786535952]
Adaptive Task Adapting Sharing(TAPS)は、階層の小さなタスク固有のサブセットを適応的に修正することで、ベースモデルを新しいタスクにチューニングする手法である。
他の手法と比較して、TAPSはダウンストリームタスクに対して高い精度を維持し、タスク固有のパラメータは少ない。
我々は,タスクやアーキテクチャ(ResNet,DenseNet,ViT)を微調整して評価し,実装が簡単でありながら最先端の性能を実現することを示す。
論文 参考訳(メタデータ) (2022-03-30T23:16:07Z) - Modelling Latent Skills for Multitask Language Generation [15.126163032403811]
マルチタスク条件言語生成のための生成モデルを提案する。
我々の指導的仮説は、共通の潜在スキルの集合が、多くの異なる言語生成タスクの根底にあるというものである。
このタスク埋め込み空間を潜在変数列列列モデルにおける潜在変数としてインスタンス化する。
論文 参考訳(メタデータ) (2020-02-21T20:39:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。