論文の概要: $\text{Transformer}^2$: Self-adaptive LLMs

• arxiv url: http://arxiv.org/abs/2501.06252v2
• Date: Tue, 14 Jan 2025 02:52:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-15 13:29:33.311028
• Title: $\text{Transformer}^2$: Self-adaptive LLMs
• Title（参考訳）: $\text{Transformer}^2$: self-adaptive LLM
• Authors: Qi Sun, Edoardo Cetin, Yujin Tang,
• Abstract要約: 自己言語型大規模言語モデル(LLM)は、従来の微調整手法がもたらす課題を解決することを目的としている。 我々は、LLMを非表示タスクにリアルタイムで適応させる新しい自己適応フレームワークである$textTransformer2$を紹介した。
• 参考スコア（独自算出の注目度）: 29.1326358746118
• License:
• Abstract: Self-adaptive large language models (LLMs) aim to solve the challenges posed by traditional fine-tuning methods, which are often computationally intensive and static in their ability to handle diverse tasks. We introduce $\text{Transformer}^2$, a novel self-adaptation framework that adapts LLMs for unseen tasks in real-time by selectively adjusting only the singular components of their weight matrices. During inference, $\text{Transformer}^2$ employs a two-pass mechanism: first, a dispatch system identifies the task properties, and then task-specific "expert" vectors, trained using reinforcement learning, are dynamically mixed to obtain targeted behavior for the incoming prompt. Our method outperforms ubiquitous approaches such as LoRA, with fewer parameters and greater efficiency. $\text{Transformer}^2$ demonstrates versatility across different LLM architectures and modalities, including vision-language tasks. $\text{Transformer}^2$ represents a significant leap forward, offering a scalable, efficient solution for enhancing the adaptability and task-specific performance of LLMs, paving the way for truly dynamic, self-organizing AI systems.
• Abstract（参考訳）: 自己適応型大規模言語モデル(LLM)は、様々なタスクを扱う能力において、計算集約的で静的な従来の微調整手法によって生じる課題を解決することを目的としている。 重み行列の特異成分のみを選択的に調整することにより、LLMを未確認タスクにリアルタイムで適応する新しい自己適応フレームワークである$\text{Transformer}^2$を導入する。 推論中、$\text{Transformer}^2$は2パスのメカニズムを使用する: まず、ディスパッチシステムはタスクプロパティを識別し、次に強化学習を用いて訓練されたタスク固有の"専門家"ベクトルを動的に混合して、入力プロンプトのターゲット動作を取得する。 提案手法は,LoRAなどのユビキタスな手法よりも少ないパラメータと高い効率で性能を向上する。 $\text{Transformer}^2$は、視覚言語タスクを含む様々なLLMアーキテクチャとモダリティにまたがる多角性を示す。 $\text{Transformer}^2$は、LLMの適応性とタスク固有のパフォーマンスを高めるためのスケーラブルで効率的なソリューションを提供し、真に動的で自己組織化されたAIシステムへの道を開いた、大きな飛躍だ。

関連論文リスト

• AmoebaLLM: Constructing Any-Shape Large Language Models for Efficient and Instant Deployment [13.977849745488339]
  AmoebaLLMは任意の形状の大規模言語モデルの即時導出を可能にする新しいフレームワークである。 AmoebaLLMは、様々なプラットフォームやアプリケーションに適した迅速なデプロイメントを著しく促進する。
  論文  参考訳（メタデータ） (2024-11-15T22:02:28Z)
• Adaptive Self-Supervised Learning Strategies for Dynamic On-Device LLM Personalization [3.1944843830667766]
  大規模言語モデル(LLM)は私たちがテクノロジと対話する方法に革命をもたらしたが、個々のユーザの好みに対するパーソナライズは依然として大きな課題である。 本稿では,LSMを動的にパーソナライズするために自己指導型学習技術を利用する適応型自己監督学習戦略(ASLS)を提案する。
  論文  参考訳（メタデータ） (2024-09-25T14:35:06Z)
• CROME: Cross-Modal Adapters for Efficient Multimodal LLM [28.337072921099494]
  MLLM(Multimodal Large Language Models)は、画像言語機能を示す。 既存のアプローチは、しばしば高価な言語モデルの再訓練と限定的な適応性を必要とする。 本稿では,効率的な視覚言語命令チューニングフレームワークCROMEを提案する。
  論文  参考訳（メタデータ） (2024-08-13T03:45:11Z)
• MAPO: Boosting Large Language Model Performance with Model-Adaptive Prompt Optimization [73.7779735046424]
  異なるプロンプトを異なるLarge Language Models (LLM) に適応させることで,NLP の様々な下流タスクにまたがる機能の向上が期待できる。 次に、下流タスクにおける各LLMに対して、元のプロンプトを最適化するモデル適応プロンプト(MAPO)手法を提案する。
  論文  参考訳（メタデータ） (2024-07-04T18:39:59Z)
• Meta Reasoning for Large Language Models [58.87183757029041]
  大規模言語モデル(LLM)の新規かつ効率的なシステムプロセッシング手法であるメタ推論プロンプト(MRP)を導入する。 MRPは、各タスクの特定の要求に基づいて異なる推論メソッドを動的に選択し、適用するようLLMに誘導する。 総合的なベンチマークによりMPPの有効性を評価する。
  論文  参考訳（メタデータ） (2024-06-17T16:14:11Z)
• One Token Can Help! Learning Scalable and Pluggable Virtual Tokens for Retrieval-Augmented Large Language Models [67.49462724595445]
  Retrieval-augmented Generation (RAG)は、大規模言語モデル(LLM)を改善するための有望な方法である。 本稿では,RAGのためのスケーラブルでプラガブルな仮想トークンを学習する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-30T03:44:54Z)
• Exploring the Transferability of Visual Prompting for Multimodal Large Language Models [47.162575147632396]
  Transferable Visual Prompting (TVP) は、異なるモデルに転送可能な視覚的プロンプトを生成するためのシンプルで効果的なアプローチである。 本稿では,既存の視覚的プロンプト手法のクロスモデル特徴劣化問題に対処し,学習したプロンプトの伝達可能性を高めるための2つの戦略を提案する。
  論文  参考訳（メタデータ） (2024-04-17T09:39:07Z)
• Intuition-aware Mixture-of-Rank-1-Experts for Parameter Efficient Finetuning [50.73666458313015]
  大規模言語モデル(LLM)はマルチメディアアプリケーションで複数のタスクを実行する上で大きな可能性を証明している。 MoEは、効率的なタスクデカップリングのためのスパースアーキテクチャによる有望なソリューションとして登場した。 Intuition-MoR1Eは14のパブリックデータセットで優れた効率と2.15%の全体的な精度向上を実現している。
  論文  参考訳（メタデータ） (2024-04-13T12:14:58Z)
• Small LLMs Are Weak Tool Learners: A Multi-LLM Agent [73.54562551341454]
  大規模言語モデル(LLM)エージェントはスタンドアロンのLLMの機能を大幅に拡張する。 本稿では、上記の機能をプランナー、呼び出し元、要約器に分解する新しい手法を提案する。 このモジュール化されたフレームワークは、個々の更新と、それぞれの機能を構築するための小さなLLMの潜在的な使用を容易にする。
  論文  参考訳（メタデータ） (2024-01-14T16:17:07Z)
• LanguageMPC: Large Language Models as Decision Makers for Autonomous Driving [87.1164964709168]
  この作業では、複雑な自律運転シナリオの意思決定コンポーネントとして、Large Language Models(LLM)を採用している。 大規模実験により,提案手法は単車載タスクのベースラインアプローチを一貫して超えるだけでなく,複数車載コーディネートにおいても複雑な運転動作の処理にも有効であることが示された。
  論文  参考訳（メタデータ） (2023-10-04T17:59:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。