論文の概要: Drag-and-Drop LLMs: Zero-Shot Prompt-to-Weights

• arxiv url: http://arxiv.org/abs/2506.16406v1
• Date: Thu, 19 Jun 2025 15:38:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-23 19:00:05.142781
• Title: Drag-and-Drop LLMs: Zero-Shot Prompt-to-Weights
• Title（参考訳）: ドラッグ&ドロップLDM:ゼロショットプロンプトウェイト
• Authors: Zhiyuan Liang, Dongwen Tang, Yuhao Zhou, Xuanlei Zhao, Mingjia Shi, Wangbo Zhao, Zekai Li, Peihao Wang, Konstantin Schürholt, Damian Borth, Michael M. Bronstein, Yang You, Zhangyang Wang, Kai Wang,
• Abstract要約: textbfDrag-and-Drop LLMs (textitDnD)は、未ラベルのタスクプロンプトをLoRAの重み更新に直接マッピングすることで、タスク単位のトレーニングを廃止する。 ライトウェイトテキストエンコーダは、各プロンプトバッチを条件埋め込みに蒸留し、カスケードされた超畳み込みデコーダによって全LORA行列に変換する。
• 参考スコア（独自算出の注目度）: 75.83625828306839
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern Parameter-Efficient Fine-Tuning (PEFT) methods such as low-rank adaptation (LoRA) reduce the cost of customizing large language models (LLMs), yet still require a separate optimization run for every downstream dataset. We introduce \textbf{Drag-and-Drop LLMs (\textit{DnD})}, a prompt-conditioned parameter generator that eliminates per-task training by mapping a handful of unlabeled task prompts directly to LoRA weight updates. A lightweight text encoder distills each prompt batch into condition embeddings, which are then transformed by a cascaded hyper-convolutional decoder into the full set of LoRA matrices. Once trained in a diverse collection of prompt-checkpoint pairs, DnD produces task-specific parameters in seconds, yielding i) up to \textbf{12,000$\times$} lower overhead than full fine-tuning, ii) average gains up to \textbf{30\%} in performance over the strongest training LoRAs on unseen common-sense reasoning, math, coding, and multimodal benchmarks, and iii) robust cross-domain generalization despite never seeing the target data or labels. Our results demonstrate that prompt-conditioned parameter generation is a viable alternative to gradient-based adaptation for rapidly specializing LLMs. Our project is available at \href{https://jerryliang24.github.io/DnD}{https://jerryliang24.github.io/DnD}.
• Abstract（参考訳）: 低ランク適応(LoRA)のような現代のパラメータ効率の良いファインチューニング(PEFT)手法は、大きな言語モデル(LLM)をカスタマイズするコストを削減するが、ダウンストリームデータセット毎に別の最適化を実行する必要がある。 そこで我々は,未ラベルのタスクプロンプトをLoRA重み更新に直接マッピングすることで,タスク単位のトレーニングを不要にするプロンプト条件パラメータジェネレータである \textbf{Drag-and-Drop LLMs (\textit{DnD})} を紹介する。 ライトウェイトテキストエンコーダは、各プロンプトバッチを条件埋め込みに蒸留し、カスケードされた超畳み込みデコーダによって全LORA行列に変換する。 さまざまなプロンプトチェックポイントペアのコレクションでトレーニングされたDnDは、タスク固有のパラメータを数秒で生成し、出力する。 i) \textbf{12,000$\times$} までのオーバーヘッドはフル微調整よりも低い。 二 暗黙の常識推論、数学、コーディング、マルチモーダルベンチマークに関する最強のトレーニングLoRAよりも、パフォーマンスが「textbf{30\%}」まで上がること。 三 対象データ又はラベルを決して見ないにもかかわらず、堅牢なクロスドメインの一般化 この結果から, パラメータ生成は, LLMを高速に専門化するための勾配適応の代替となる可能性が示唆された。 我々のプロジェクトは \href{https://jerryliang24.github.io/DnD}{https://jerryliang24.github.io/DnD} で利用可能です。

関連論文リスト

• SparseLoRA: Accelerating LLM Fine-Tuning with Contextual Sparsity [52.88892280536302]
  SparseLoRAは,コンテキスト空間の空間的分散によって微調整を高速化する手法である。 SparseLoRAは計算コストを最大2.2倍、測定速度を最大1.6倍に削減する。
  論文  参考訳（メタデータ） (2025-06-19T17:53:34Z)
• Ravan: Multi-Head Low-Rank Adaptation for Federated Fine-Tuning [16.99490636203893]
  パラメータ効率とモデル表現率のバランスをとる適応型マルチヘッドLoRA法であるtextscRavanを提案する。 ビジョンと言語ベンチマークの実験では、textscRavanは以前のパラメータ効率の基準線よりも2-8%精度が向上している。
  論文  参考訳（メタデータ） (2025-06-05T20:28:02Z)
• WeightLoRA: Keep Only Necessary Adapters [79.89637596855]
  低ランク適応(texttLoRA$)は、指定されたレイヤにトレーニング可能なアダプタを追加する。 我々は、最も重要な$textttLoRA$ヘッダの適応的な選択によってこの問題を克服する新しい方法である$textttWeightLoRA$を提案する。 我々は、一連の競合ベンチマークとDeBERTa、BART、Llamaモデルの実験を行い、我々の手法を異なる適応的アプローチと比較した。
  論文  参考訳（メタデータ） (2025-06-03T10:33:16Z)
• PointLoRA: Low-Rank Adaptation with Token Selection for Point Cloud Learning [54.99373314906667]
  ポイントクラウドのための自己教師付き表現学習は、様々なタスクで事前訓練されたモデルパフォーマンスを改善する効果を実証した。 事前訓練されたモデルは複雑さが増すにつれて、下流のアプリケーションに完全に微調整を施すには、かなりの計算資源とストレージ資源が必要である。 そこで我々は,低ランク適応(LoRA)とマルチスケールトークン選択を併用した簡易かつ効果的なPointLoRAを提案する。
  論文  参考訳（メタデータ） (2025-04-22T16:41:21Z)
• Parameter-Efficient Fine-Tuning of Large Language Models via Deconvolution in Subspace [3.7049613588433497]
  様々な下流タスクのための微調整大型言語モデル(LLM)が新しいパラダイムとなった。 Low-Rank Adaptation (LoRA)はそのパラメータ効率でよく知られている。 我々は新しい方法を提案する。 効率の良い分解はDCFTと呼ばれ、部分空間のデコンボリューションを介して行われる。
  論文  参考訳（メタデータ） (2025-03-03T11:15:50Z)
• SSMLoRA: Enhancing Low-Rank Adaptation with State Space Model [11.90104174705911]
  低ランク行列を相互接続するための低ランク適応(LoRA)の拡張であるSSMLoRA(State Space Model Low-Rank Adaptation)を提案する。 本手法は一般言語評価(GLUE)ベンチマークでLoRAに匹敵する性能を達成し,パラメータの半分しか使用していない。
  論文  参考訳（メタデータ） (2025-02-07T14:22:35Z)
• LoLDU: Low-Rank Adaptation via Lower-Diag-Upper Decomposition for Parameter-Efficient Fine-Tuning [4.616740762629019]
  Low-Rank Adaptation (LoRA) は、大規模な更新パラメータをフル微調整で処理する問題に対処しようと試みている。 トレーニング可能なパラメータを2600倍に削減する,PEFT(Suboptimal-Efficient Fine-Tuning)アプローチであるLoLDUを提案する。
  論文  参考訳（メタデータ） (2024-10-17T14:51:17Z)
• Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
  大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。 In-Context Learning (ICL) など。 効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。 下流タスクへのLLM。 我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
  論文  参考訳（メタデータ） (2024-09-30T10:48:20Z)
• VB-LoRA: Extreme Parameter Efficient Fine-Tuning with Vector Banks [10.266224162377371]
  ローランク適応(LoRA)とその派生型は、かなりのストレージと送信コストを発生させる。 我々は,行列次元,モジュール,レイヤ間の低ランク分解の障壁を断ち切る「分割共有」パラダイムを導入する。 VB-LoRAは、最先端PEFT法と比較して、同等または優れた性能を維持しながら、極端なパラメータ効率を達成する。
  論文  参考訳（メタデータ） (2024-05-24T03:24:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。