論文の概要: PromptEmbedder:: Efficient and Transferable Text Embedding via Dual-LLM Soft Prompting

• arxiv url: http://arxiv.org/abs/2605.28066v1
• Date: Wed, 27 May 2026 07:23:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-28 17:38:55.839189
• Title: PromptEmbedder:: Efficient and Transferable Text Embedding via Dual-LLM Soft Prompting
• Title（参考訳）: PromptEmbedder:Dual-LLM Soft Promptingによる効率的かつ伝達可能なテキスト埋め込み
• Authors: Yu-Che Tsai, Kuan-Yu Chen, Yuan-Hao Chen, Yu-Han Chang, Ching-Yu Tsai, Yu-Hsiang Chuang, Shou-De Lin,
• Abstract要約: PromptEmbedderは、特定のバックボーン重みから埋め込み知識を分離する新しいデュアルLLMフレームワークである。 PromptEmbedderは、GPUメモリを40%削減し、トレーニングを3.7倍高速化しながら、LoRAの微調整で同等のパフォーマンスを実現していることを示す。
• 参考スコア（独自算出の注目度）: 5.314283762755523
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have demonstrated remarkable efficacy in text embedding, yet current adaptation methods like LoRA face significant bottlenecks in computational efficiency and cross-architecture transferability. Whenever a new backbone emerges, existing approaches require costly retraining from scratch. To address this, we propose PromptEmbedder, a novel dual-LLM framework that decouples embedding knowledge from specific backbone weights. PromptEmbedder utilizes a Prompting LLM to generate instruction-aware soft prompts for a frozen Embedding LLM via a differentiable generation process with continuous relaxation, ensuring full gradient flow during contrastive training. By localizing task-specific knowledge within the Prompting LLM, adapting to new architectures requires only retraining a lightweight linear alignment matrix. Evaluations on the MTEB benchmark show that PromptEmbedder achieves comparable performance with LoRA finetuning while reducing GPU memory by 40% and accelerating training by 3.7x. Our approach establishes a scalable, architecture-agnostic paradigm for efficient LLM-based representation learning.
• Abstract（参考訳）: 大規模言語モデル (LLM) はテキスト埋め込みにおいて顕著な有効性を示しているが、LoRAのような現在の適応手法は計算効率とアーキテクチャ間転送性において重大なボトルネックに直面している。 新しいバックボーンが出現するたびに、既存のアプローチはスクラッチからコストがかかる。 これを解決するために,特定のバックボーン重みから埋め込み知識を分離する新しいデュアルLLMフレームワークであるPromptEmbedderを提案する。 PromptEmbedderは、Prompting LLMを使用して、連続的な緩和を伴う微分可能生成プロセスを通じて、コントラストトレーニング中の完全な勾配流を保証する、凍結した埋め込みLDMのための命令対応ソフトプロンプトを生成する。 Prompting LLM内でタスク固有の知識をローカライズすることで、新しいアーキテクチャに適応するためには、軽量な線形アライメント行列を再トレーニングする必要がある。 MTEBベンチマークの評価によると、PromptEmbedderはLoRAの微調整で同等のパフォーマンスを達成し、GPUメモリを40%削減し、トレーニングを3.7倍加速している。 提案手法は,LLMに基づく効率的な表現学習のための,スケーラブルでアーキテクチャに依存しないパラダイムを確立する。

関連論文リスト

• Reversing Large Language Models for Efficient Training and Fine-Tuning [24.232966507637673]
  大きな言語モデル(LLM)は、高価で時間を要する訓練で知られている。 対称およびシンプレクティック微分方程式に着想を得たLLMのメモリ効率・可逆的アーキテクチャを提案する。 その結果、いくつかのデータセットとベンチマークで同等または改善されたパフォーマンスを示しました。
  論文  参考訳（メタデータ） (2025-11-27T19:32:15Z)
• Pangu Embedded: An Efficient Dual-system LLM Reasoner with Metacognition [95.54406667705999]
  Pangu Embeddedは、Ascend Neural Processing Units (NPU) 上で開発された効率的なLarge Language Model (LLM) 推論器である。 既存の推論最適化 LLM でよく見られる計算コストと推論遅延の問題に対処する。 単一の統一モデルアーキテクチャ内で、迅速な応答と最先端の推論品質を提供する。
  論文  参考訳（メタデータ） (2025-05-28T14:03:02Z)
• LLM-AutoDiff: Auto-Differentiate Any LLM Workflow [58.56731133392544]
  自動プロンプト工学(APE)のための新しいフレームワーク LLM-AutoDiff について紹介する。 LLMs-AutoDiffは、各テキスト入力をトレーニング可能なパラメータとして扱い、フリーズした後方エンジンを使用して、テキスト勾配に対するフィードバック・アキンを生成する。 精度とトレーニングコストの両方において、既存のテキスト勾配ベースラインを一貫して上回ります。
  論文  参考訳（メタデータ） (2025-01-28T03:18:48Z)
• Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
  大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。 In-Context Learning (ICL) など。 効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。 下流タスクへのLLM。 我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
  論文  参考訳（メタデータ） (2024-09-30T10:48:20Z)
• Superposition Prompting: Improving and Accelerating Retrieval-Augmented Generation [22.124234811959532]
  大きな言語モデル(LLM)は、長いコンテキストを処理する際に大きな欠点を示す。 本稿では,事前学習したトランスフォーマーベースLLMに直接適用可能な新しいRAGプロンプト手法を提案する。 我々は,様々な質問応答ベンチマークにおいて,時間効率を同時に向上する手法の能力を実証する。
  論文  参考訳（メタデータ） (2024-04-10T11:03:17Z)
• A Prompt Learning Framework for Source Code Summarization [19.24919436211323]
  本稿では,PromptCSと呼ばれるコード要約のための効果的なプロンプト学習フレームワークを提案する。 PromptCSはプロンプトエージェントを訓練し、コード要約において大きな言語モデルの可能性を解き放つために連続的なプロンプトを生成する。
  論文  参考訳（メタデータ） (2023-12-26T14:37:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。