論文の概要: TEGEE: Task dEfinition Guided Expert Ensembling for Generalizable and Few-shot Learning

• arxiv url: http://arxiv.org/abs/2403.04233v3
• Date: Sat, 14 Dec 2024 14:39:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 13:52:54.305314
• Title: TEGEE: Task dEfinition Guided Expert Ensembling for Generalizable and Few-shot Learning
• Title（参考訳）: TEGEE: 汎用学習のためのタスクdEfinition Guided Expert Ensblingbling for Generalizable and Few-shot Learning
• Authors: Xingwei Qu, Yiming Liang, Yucheng Wang, Tianyu Zheng, Tommy Yue, Xingyuan Bu, Lei Ma, Stephen W. Huang, Jiajun Zhang, Yinan Shi, Chenghua Lin, Jie Fu, Ge Zhang,
• Abstract要約: タスク定義を明示的に抽出する textbfTEGEE (Task Definition Guided Expert Ensembling) を提案する。 私たちのフレームワークは2つの3Bモデルアプローチを採用しています。 実験により, TEGEEはより大きなLLaMA2-13Bモデルと相容れない性能を示した。
• 参考スコア（独自算出の注目度）: 37.09785060896196
• License:
• Abstract: Large Language Models (LLMs) exhibit the ability to perform in-context learning (ICL), where they acquire new tasks directly from examples provided in demonstrations. This process is thought to operate through an implicit task selection mechanism that involves extracting and processing task definitions from these demonstrations. However, critical questions remain: Which is more essential -- task extraction or definition? And how can these capabilities be further improved? To address these questions, we propose \textbf{TEGEE} (Task Definition Guided Expert Ensembling), a method that explicitly extracts task definitions and generates responses based on specific tasks. Our framework employs a dual 3B model approach, with each model assigned a distinct role: one focuses on task definition extraction, while the other handles learning from demonstrations. This modular approach supports the hypothesis that extracting task definitions is more vital than processing the task itself. Empirical evaluations show that TEGEE performs comparably to the larger LLaMA2-13B model. By leveraging a modular design, our approach extends traditional ICL from few-shot to many-shot learning, supporting an unlimited number of demonstrations and enhancing continual learning capabilities.
• Abstract（参考訳）: LLM(Large Language Models)は、インコンテキスト学習(ICL)を実行する能力を示し、デモで提供される例から直接新しいタスクを取得する。 このプロセスは、これらのデモからタスク定義を抽出し処理する暗黙のタスク選択機構を通して機能すると考えられている。 しかし、重要な疑問は残る。 タスク抽出や定義は、どちらがより重要か? そして、これらの機能をさらに改善するにはどうすればよいのか? これらの問題に対処するために,タスク定義を明示的に抽出し,特定のタスクに基づいて応答を生成する方法である「textbf{TEGEE} (Task Definition Guided Expert Ensembling)」を提案する。 我々のフレームワークは2つの3Bモデルアプローチを採用しており、各モデルは異なる役割を割り当てている。 このモジュラーアプローチは、タスク定義の抽出がタスク自体の処理よりも重要であるという仮説を支持している。 実験により, TEGEEはより大きなLLaMA2-13Bモデルと相容れない性能を示した。 モジュラー設計を活用することで、従来のICLを少数ショットから多ショット学習に拡張し、無制限なデモをサポートし、継続的な学習能力を向上する。

関連論文リスト

• Learning Task Representations from In-Context Learning [73.72066284711462]
  大規模言語モデル(LLM)は、文脈内学習において顕著な習熟性を示している。 ICLプロンプトにおけるタスク情報をアテンションヘッドの関数として符号化するための自動定式化を導入する。 提案手法の有効性は,最後の隠れ状態の分布と最適に実行されたテキスト内学習モデルとの整合性に起因していることを示す。
  論文  参考訳（メタデータ） (2025-02-08T00:16:44Z)
• InsTALL: Context-aware Instructional Task Assistance with Multi-modal Large Language Models [11.913271486031201]
  マルチモーダルな大規模言語モデル(InsTALL)を用いたコンテキスト認識型インストラクショナル・タスク・アシスタントを開発した。 InsTALLは、そのタスクに関連するユーザクエリに対して、リアルタイムで応答する。 InsTALLはマルチモーダルアクティビティ理解のためのサブタスクを提案する。
  論文  参考訳（メタデータ） (2025-01-21T15:55:06Z)
• UnifiedMLLM: Enabling Unified Representation for Multi-modal Multi-tasks With Large Language Model [11.885204227946549]
  統一表現を用いて様々なタスクを表現するために設計された包括的モデルを提案する。 本モデルは,ユーザ指示の暗黙的な意図を理解する上で,強力な能力を示す。 私たちのアプローチは、例外的なスケーラビリティと汎用性を示します。
  論文  参考訳（メタデータ） (2024-08-05T14:27:39Z)
• Exploring the Transferability of Visual Prompting for Multimodal Large Language Models [47.162575147632396]
  Transferable Visual Prompting (TVP) は、異なるモデルに転送可能な視覚的プロンプトを生成するためのシンプルで効果的なアプローチである。 本稿では,既存の視覚的プロンプト手法のクロスモデル特徴劣化問題に対処し,学習したプロンプトの伝達可能性を高めるための2つの戦略を提案する。
  論文  参考訳（メタデータ） (2024-04-17T09:39:07Z)
• Towards Unified Task Embeddings Across Multiple Models: Bridging the Gap for Prompt-Based Large Language Models and Beyond [16.913115978881866]
  本稿では,単一ベクトル空間内において,より小さな言語モデルや多様なプロンプトを持つ大規模言語モデルを含む,様々なモデルからのタスク埋め込みである統合タスク埋め込み(FUTE)フレームワークを提案する。 このような一様性は、異なるモデル間の類似性の比較と分析を可能にし、マルチモデルシナリオにおける既存のタスク埋め込みメソッドの範囲と有用性を広げる。
  論文  参考訳（メタデータ） (2024-02-22T13:13:31Z)
• Small LLMs Are Weak Tool Learners: A Multi-LLM Agent [73.54562551341454]
  大規模言語モデル(LLM)エージェントはスタンドアロンのLLMの機能を大幅に拡張する。 本稿では、上記の機能をプランナー、呼び出し元、要約器に分解する新しい手法を提案する。 このモジュール化されたフレームワークは、個々の更新と、それぞれの機能を構築するための小さなLLMの潜在的な使用を容易にする。
  論文  参考訳（メタデータ） (2024-01-14T16:17:07Z)
• Multitask Multimodal Prompted Training for Interactive Embodied Task Completion [48.69347134411864]
  Embodied MultiModal Agent (EMMA) はエンコーダとデコーダの統一モデルである。 すべてのタスクをテキスト生成として統一することで、EMMAはタスク間の転送を容易にするアクション言語を学ぶ。
  論文  参考訳（メタデータ） (2023-11-07T15:27:52Z)
• Active Instruction Tuning: Improving Cross-Task Generalization by Training on Prompt Sensitive Tasks [101.40633115037983]
  インストラクションチューニング(IT)は,大規模言語モデル(LLM)を命令付き多種多様なタスクで訓練することにより,印象的なゼロショット一般化を実現する。 ITモデルの性能と一般化性を改善するために、新しいタスクをどのように選択するかは、未解決の問題である。 本稿では,情報的タスクを識別する新しいフレームワークである即時不確実性に基づくアクティブな指導チューニングを提案し,選択したタスク上でモデルをアクティブにチューニングする。
  論文  参考訳（メタデータ） (2023-11-01T04:40:05Z)
• Did You Read the Instructions? Rethinking the Effectiveness of Task Definitions in Instruction Learning [74.70157466822612]
  教科学習におけるタスク定義の役割を体系的に研究する。 タスク出力を記述する内容を削除すると,モデルの性能が大幅に低下することがわかった。 本稿では,モデルのタスク命令の活用を支援するための2つの戦略を提案する。
  論文  参考訳（メタデータ） (2023-06-01T21:11:24Z)
• CINS: Comprehensive Instruction for Few-shot Learning in Task-oriented Dialog Systems [56.302581679816775]
  本稿では,タスク固有の命令でPLMを利用する包括的インストラクション(CINS)を提案する。 命令のスキーマ(定義、制約、プロンプト)と、ToDの3つの重要な下流タスクに対するカスタマイズされた実現を設計する。 これらのToDタスクに対して,小さな検証データを用いた現実的な数ショット学習シナリオで実験を行った。
  論文  参考訳（メタデータ） (2021-09-10T03:23:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。