論文の概要: PromptEmbedder:: Efficient and Transferable Text Embedding via Dual-LLM Soft Prompting

• arxiv url: http://arxiv.org/abs/2605.28066v1
• Date: Wed, 27 May 2026 07:23:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-28 17:38:55.839189
• Title: PromptEmbedder:: Efficient and Transferable Text Embedding via Dual-LLM Soft Prompting
• Title（参考訳）: PromptEmbedder:Dual-LLM Soft Promptingによる効率的かつ伝達可能なテキスト埋め込み
• Abstract要約: PromptEmbedderは、特定のバックボーン重みから埋め込み知識を分離する新しいデュアルLLMフレームワークである。 PromptEmbedderは、GPUメモリを40%削減し、トレーニングを3.7倍高速化しながら、LoRAの微調整で同等のパフォーマンスを実現していることを示す。
• 参考スコア（独自算出の注目度）: 5.314283762755523
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have demonstrated remarkable efficacy in text embedding, yet current adaptation methods like LoRA face significant bottlenecks in computational efficiency and cross-architecture transferability. Whenever a new backbone emerges, existing approaches require costly retraining from scratch. To address this, we propose PromptEmbedder, a novel dual-LLM framework that decouples embedding knowledge from specific backbone weights. PromptEmbedder utilizes a Prompting LLM to generate instruction-aware soft prompts for a frozen Embedding LLM via a differentiable generation process with continuous relaxation, ensuring full gradient flow during contrastive training. By localizing task-specific knowledge within the Prompting LLM, adapting to new architectures requires only retraining a lightweight linear alignment matrix. Evaluations on the MTEB benchmark show that PromptEmbedder achieves comparable performance with LoRA finetuning while reducing GPU memory by 40% and accelerating training by 3.7x. Our approach establishes a scalable, architecture-agnostic paradigm for efficient LLM-based representation learning.
• Abstract（参考訳）: 大規模言語モデル (LLM) はテキスト埋め込みにおいて顕著な有効性を示しているが、LoRAのような現在の適応手法は計算効率とアーキテクチャ間転送性において重大なボトルネックに直面している。 新しいバックボーンが出現するたびに、既存のアプローチはスクラッチからコストがかかる。 これを解決するために,特定のバックボーン重みから埋め込み知識を分離する新しいデュアルLLMフレームワークであるPromptEmbedderを提案する。 PromptEmbedderは、Prompting LLMを使用して、連続的な緩和を伴う微分可能生成プロセスを通じて、コントラストトレーニング中の完全な勾配流を保証する、凍結した埋め込みLDMのための命令対応ソフトプロンプトを生成する。 Prompting LLM内でタスク固有の知識をローカライズすることで、新しいアーキテクチャに適応するためには、軽量な線形アライメント行列を再トレーニングする必要がある。 MTEBベンチマークの評価によると、PromptEmbedderはLoRAの微調整で同等のパフォーマンスを達成し、GPUメモリを40%削減し、トレーニングを3.7倍加速している。 提案手法は,LLMに基づく効率的な表現学習のための,スケーラブルでアーキテクチャに依存しないパラダイムを確立する。

関連論文リスト

• REPREC: Representation Driven Parameter-Efficient Recommendation System [2.7992557071345305]
  大規模言語モデル(LLM)は、自然言語タスクとして定式化することで、シーケンシャルなレコメンデーションに適用されている。 従来の作業は、入力条件付けやLLMファインチューニングを通じて、協調的およびシーケンシャルな信号を統合することでパーソナライズを改善した。 本稿では,軽量なユーザ表現アライメントアライメントを通じてLLMベースのシーケンシャルレコメンデーションを再構築する軽量フレームワークであるREPRECを提案する。
  論文  参考訳（メタデータ） (2026-07-24T22:45:33Z)
• Modular Representation Compression: Adapting LLMs for Efficient and Effective Recommendations [53.53864188270018]
  大規模言語モデル(LLM)には高度なレコメンデーションシステム(RS)がある。 LLMのモジュラリティを明示的に制御するための MARC を提案する。 MARCは大規模な商用検索広告シナリオにおけるオンラインA/Bテストで2.82%のeCPMリフトを達成した。
  論文  参考訳（メタデータ） (2026-04-20T12:08:58Z)
• MemSifter: Offloading LLM Memory Retrieval via Outcome-Driven Proxy Reasoning [78.46301394559903]
  大きな言語モデル(LLM)は、長期化タスクにますます使われています。 現在の手法はコストと精度のトレードオフに直面している。 MemSifterは、メモリ検索プロセスを小さなプロキシモデルにオフロードする新しいフレームワークである。
  論文  参考訳（メタデータ） (2026-03-03T02:57:38Z)
• Reversing Large Language Models for Efficient Training and Fine-Tuning [24.232966507637673]
  大きな言語モデル(LLM)は、高価で時間を要する訓練で知られている。 対称およびシンプレクティック微分方程式に着想を得たLLMのメモリ効率・可逆的アーキテクチャを提案する。 その結果、いくつかのデータセットとベンチマークで同等または改善されたパフォーマンスを示しました。
  論文  参考訳（メタデータ） (2025-11-27T19:32:15Z)
• Pangu Embedded: An Efficient Dual-system LLM Reasoner with Metacognition [95.54406667705999]
  Pangu Embeddedは、Ascend Neural Processing Units (NPU) 上で開発された効率的なLarge Language Model (LLM) 推論器である。 既存の推論最適化 LLM でよく見られる計算コストと推論遅延の問題に対処する。 単一の統一モデルアーキテクチャ内で、迅速な応答と最先端の推論品質を提供する。
  論文  参考訳（メタデータ） (2025-05-28T14:03:02Z)
• LLM-AutoDiff: Auto-Differentiate Any LLM Workflow [58.56731133392544]
  自動プロンプト工学(APE)のための新しいフレームワーク LLM-AutoDiff について紹介する。 LLMs-AutoDiffは、各テキスト入力をトレーニング可能なパラメータとして扱い、フリーズした後方エンジンを使用して、テキスト勾配に対するフィードバック・アキンを生成する。 精度とトレーニングコストの両方において、既存のテキスト勾配ベースラインを一貫して上回ります。
  論文  参考訳（メタデータ） (2025-01-28T03:18:48Z)
• Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
  大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。 In-Context Learning (ICL) など。 効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。 下流タスクへのLLM。 我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
  論文  参考訳（メタデータ） (2024-09-30T10:48:20Z)
• Self-Instructed Derived Prompt Generation Meets In-Context Learning: Unlocking New Potential of Black-Box LLMs [30.333277284839053]
  大規模言語モデル(LLM)は、高品質な応答を生成することに成功している。 応答品質を向上させる既存の方法は、しばしば即時改善モデルを含む。 我々は、LLMにより効果的な応答を提供するための自己指示型インコンテキスト学習フレームワークを導入する。
  論文  参考訳（メタデータ） (2024-09-03T02:42:39Z)
• ULLME: A Unified Framework for Large Language Model Embeddings with Generation-Augmented Learning [72.90823351726374]
  我々は,LLM間の双方向の注目を可能にする,柔軟でプラグアンドプレイな実装であるLULME(Unified framework for Large Language Model Embedding)を紹介した。 また,テキスト埋め込みタスクのLLMを向上する新しい微調整手法であるGRL(Generation-augmented Representation Learning)を提案する。 フレームワークの柔軟性と有効性を示すために、異なるバックボーンアーキテクチャを持つULLMEから事前訓練された3つのモデルをリリースする。
  論文  参考訳（メタデータ） (2024-08-06T18:53:54Z)
• Superposition Prompting: Improving and Accelerating Retrieval-Augmented Generation [22.124234811959532]
  大きな言語モデル(LLM)は、長いコンテキストを処理する際に大きな欠点を示す。 本稿では,事前学習したトランスフォーマーベースLLMに直接適用可能な新しいRAGプロンプト手法を提案する。 我々は,様々な質問応答ベンチマークにおいて,時間効率を同時に向上する手法の能力を実証する。
  論文  参考訳（メタデータ） (2024-04-10T11:03:17Z)
• A Prompt Learning Framework for Source Code Summarization [19.24919436211323]
  本稿では,PromptCSと呼ばれるコード要約のための効果的なプロンプト学習フレームワークを提案する。 PromptCSはプロンプトエージェントを訓練し、コード要約において大きな言語モデルの可能性を解き放つために連続的なプロンプトを生成する。
  論文  参考訳（メタデータ） (2023-12-26T14:37:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。