論文の概要: EmbedGrad: Gradient-Based Prompt Optimization in Embedding Space for Large Language Models

• arxiv url: http://arxiv.org/abs/2508.03533v1
• Date: Tue, 05 Aug 2025 15:03:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-06 18:18:56.031746
• Title: EmbedGrad: Gradient-Based Prompt Optimization in Embedding Space for Large Language Models
• Title（参考訳）: EmbedGrad: 大規模言語モデルのための埋め込み空間におけるグラディエントベースのプロンプト最適化
• Authors: Xiaoming Hou, Jiquan Zhang, Zibin Lin, DaCheng Tao, Shengli Zhang,
• Abstract要約: グラデーションベースのリファインメントによるテキストプロンプト埋め込みを最適化するフレームワークであるEmbedGradを提案する。 当社のアプローチは,デプロイメントからトレーニングを分離するものです。 数学的推論、感情分析、因果判断タスクの総合的な評価は、EmbedGradの有効性を示す。
• 参考スコア（独自算出の注目度）: 45.78656491861157
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Effectively adapting powerful pretrained foundation models to diverse tasks remains a key challenge in AI deployment. Current approaches primarily follow two paradigms:discrete optimization of text prompts through prompt engineering, or continuous adaptation via additional trainable parameters. Both exhibit limitations-discrete methods lack refinement precision while parameter-based techniques increase complexity and reduce interpretability. To address these constraints, we propose EmbedGrad, a novel framework that optimizes text prompt embeddings through gradient-based refinement. Our approach uniquely decouples training from deployment:during optimization,labeled examples guide precise embedding adjustments while preserving semantic meaning; during inference, only optimized embeddings integrate with user queries. This enables fine-grained calibration impossible in text space, such as enhancing the reasoning capability of prompts like please reason step by step. Comprehensive evaluations across mathematical reasoning, sentiment analysis, and causal judgment tasks demonstrate EmbedGrad's effectiveness:optimizing this reasoning prompt for Qwen2.5-Math-1.5B increased accuracy from 14.74\% to 58.96\% on mathematical problems. Consistent improvements were observed across model scales (0.5B-14B) and all tasks, with particularly significant gains for smaller models on complex problems like causal judgment. By bridging prompt engineering and parameter efficiency without architectural changes, our work establishes embedding refinement as a powerful new paradigm for task adaptation.
• Abstract（参考訳）: 強力な事前訓練された基礎モデルを多様なタスクに効果的に適用することは、AIデプロイメントにおける重要な課題である。 現在のアプローチは主に、プロンプトエンジニアリングによるテキストプロンプトの離散最適化と、追加のトレーニング可能なパラメータによる継続的適応の2つのパラダイムに従っている。 どちらも限界離散法では精度が向上せず、パラメータベースの手法では複雑さが増し、解釈可能性も低下する。 これらの制約に対処するために、勾配に基づく洗練を通じてテキストプロンプト埋め込みを最適化する新しいフレームワークであるEmbedGradを提案する。 我々のアプローチは、トレーニングをデプロイメントから一意に分離する: 最適化の間、ラベル付き例は、セマンティックな意味を保ちながら正確な埋め込み調整をガイドする。 これにより、テキスト空間で細かいキャリブレーションが不可能になり、例えば、ステップバイステップの推論のようなプロンプトの推論能力が向上する。 数学的推論、感情分析、因果判定タスクの総合的な評価は、EmbedGradの有効性を示している: この推論プロンプトをQwen2.5-Math-1.5Bに最適化することで、数学的問題において14.74\%から58.96\%の精度が向上した。 モデルスケール(0.5B-14B)と全てのタスクに一貫性のある改善が見られ、特に因果判定のような複雑な問題において、より小さなモデルでは顕著に向上した。 アーキテクチャの変更なしに、迅速なエンジニアリングとパラメータ効率をブリッジすることで、我々の作業は、組み込みリファインメントをタスク適応のための強力な新しいパラダイムとして確立します。

関連論文リスト

• Sculpting Subspaces: Constrained Full Fine-Tuning in LLMs for Continual Learning [19.27175827358111]
  大規模言語モデル(LLM)における継続的な学習は破滅的な忘れがちである。 適応特異値分解(SVD)を利用した連続的完全微調整手法を提案する。 我々は,Encoder-decoder (T5-Large) モデルとdecoder-only (LLaMA-2 7B) モデルの両方を用いて,標準連続学習ベンチマークを広範囲に評価した。
  論文  参考訳（メタデータ） (2025-04-09T17:59:42Z)
• Context-Aware Neural Gradient Mapping for Fine-Grained Instruction Processing [0.0]
  本稿では、動的勾配調整機構を導入し、文脈埋め込みを直接最適化プロセスに組み込む。 提案するフレームワークは,精度,ノイズに対する堅牢性,計算効率など,さまざまな指標のベースラインモデルよりも一貫して優れている。 文脈固有の埋め込みの統合により、言語をより複雑な理解が可能となり、様々な言語現象を扱うモデルの能力が向上する。
  論文  参考訳（メタデータ） (2025-01-24T21:49:24Z)
• Think Beyond Size: Adaptive Prompting for More Effective Reasoning [0.0]
  本稿では,動的かつ反復的なフレームワークであるAdaptive Promptingを紹介する。 その結果、Adaptive Promptingは、算術的推論(GSM8K、MultiArithm)、論理的推論、コモンセンスタスクなど、様々な推論ベンチマークのパフォーマンスを著しく向上させることを示した。 提案手法は,計算効率を維持しつつ,GPT-4などの大規模モデルと競合する性能を実現する。
  論文  参考訳（メタデータ） (2024-10-10T17:14:36Z)
• Parameter-Efficient and Memory-Efficient Tuning for Vision Transformer: A Disentangled Approach [87.8330887605381]
  本稿では,学習可能なパラメータをわずかに限定して,事前学習した視覚変換器を下流認識タスクに適用する方法を示す。 学習可能で軽量なモジュールを用いてタスク固有のクエリを合成する。 本手法はメモリ制約下での最先端性能を実現し,実環境における適用性を示す。
  論文  参考訳（メタデータ） (2024-07-09T15:45:04Z)
• Masked Thought: Simply Masking Partial Reasoning Steps Can Improve Mathematical Reasoning Learning of Language Models [102.72940700598055]
  推論タスクでは、小さなエラーでも不正確な結果にカスケードすることができる。 入力の摂動に頼らず、外部リソースの導入を避ける手法を開発した。 私たちのトレーニングアプローチでは、思考の連鎖の中で特定のトークンをランダムにマスクします。
  論文  参考訳（メタデータ） (2024-03-04T16:21:54Z)
• End-to-End Learning for Fair Multiobjective Optimization Under Uncertainty [55.04219793298687]
  機械学習における予測-Then-Forecast(PtO)パラダイムは、下流の意思決定品質を最大化することを目的としている。 本稿では,PtO法を拡張して,OWA(Nondifferentiable Ordered Weighted Averaging)の目的を最適化する。 この結果から,不確実性の下でのOWA関数の最適化とパラメトリック予測を効果的に統合できることが示唆された。
  論文  参考訳（メタデータ） (2024-02-12T16:33:35Z)
• Decision-focused predictions via pessimistic bilevel optimization: a computational study [0.7499722271664147]
  最適化パラメータの不確かさは、重要かつ長年にわたる課題である。 予測モデルを構築して,それを用いた意思決定の文言的指標を測定します。 トラクタビリティを実現するために,様々な計算手法を示す。
  論文  参考訳（メタデータ） (2023-12-29T15:05:00Z)
• Parameter-efficient Tuning of Large-scale Multimodal Foundation Model [68.24510810095802]
  我々はこれらの課題を克服するために、クロスモーダル転送(Aurora)のための優雅なプロンプトフレームワークを提案する。 既存のアーキテクチャの冗長性を考慮すると、まずモード近似を用いて0.1Mのトレーニング可能なパラメータを生成し、マルチモーダルプロンプトチューニングを実装する。 6つのクロスモーダルベンチマークの徹底的な評価は、最先端のベンチマークを上回るだけでなく、完全な微調整アプローチよりも優れていることを示している。
  論文  参考訳（メタデータ） (2023-05-15T06:40:56Z)
• Analyzing Inexact Hypergradients for Bilevel Learning [0.09669369645900441]
  暗黙の関数定理と自動微分/バックプロパゲーションに基づいて既存の手法を一般化する過次計算のための統一的なフレームワークを提案する。 計算結果から,高次アルゴリズムの選択は低次解法の選択と同等に重要であることが明らかとなった。
  論文  参考訳（メタデータ） (2023-01-11T23:54:27Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。