論文の概要: Two-Stage Prompt Optimization for Few-Shot Relation Extraction: From Reasoning-Guided Search to Gradient-Guided Refinement

• arxiv url: http://arxiv.org/abs/2606.29639v1
• Date: Sun, 28 Jun 2026 23:12:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:15.995198
• Title: Two-Stage Prompt Optimization for Few-Shot Relation Extraction: From Reasoning-Guided Search to Gradient-Guided Refinement
• Title（参考訳）: Few-Shot関係抽出のための2段階プロンプト最適化:推論ガイド探索からグラディエントガイドリファインメントへ
• Abstract要約: 推論に基づくプロンプト最適化と勾配に基づくプロンプト最適化を組み合わせた2段階フレームワークを提案する。 第1段階では、推論に基づいて自然言語を広範囲に改善することができる。 第2ステージでは、損失信号と勾配信号を使用して、高インパクトのプロンプトスパンを特定し、ローカル編集で洗練します。
• 参考スコア（独自算出の注目度）: 24.515561762205618
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Automatic prompt optimization is still underexplored for episodic few-shot relation extraction with smaller language models. We propose a two-stage framework that combines reasoning-based prompt optimization with gradient-based prompt optimization. The first stage can use any reasoning-based optimizer to make broadprompt improvements in natural language. The second stage applies our GradPO, which uses loss and gradient signals to identify high-impact prompt spans and refine them with local edits. Experiments on FS-TACRED and FS-FewRel show that local refinement usually improves prompts found by the first stage, and GradPO is the most consistent refiner. Our framework achieves state-of-the-art performance on FS-TACRED with Qwen3-4B and remains competitive on FS-FewRel.
• Abstract（参考訳）: より小さな言語モデルを用いて、エピソジックな数ショット関係抽出のために、自動プロンプト最適化がまだ検討されていない。 推論に基づくプロンプト最適化と勾配に基づくプロンプト最適化を組み合わせた2段階フレームワークを提案する。 最初のステージでは、推論ベースのオプティマイザを使用して、自然言語を広範囲に改善することができる。 第2ステージでは、損失信号と勾配信号を使用して、高インパクトのプロンプトスパンを特定し、ローカル編集で洗練します。 FS-TACRED と FS-FewRel の実験では、局所的な改良は通常1段目で見られるプロンプトを改善し、GradPO は最も一貫した精製器である。 本フレームワークは,FS-TACREDにおけるQwen3-4Bによる最先端性能を実現し,FS-FewRelと競合する。

関連論文リスト

• GFlowPO: Generative Flow Network as a Language Model Prompt Optimizer [51.31263673158136]
  GFlowPOは、メタプロンプト参照-LMにより正規化される潜在プロンプトに対する後部推論問題としてプロンプトをキャストする。 GFlowPOは、最近の離散的なプロンプト最適化ベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-02-03T10:30:03Z)
• CogniEdit: Dense Gradient Flow Optimization for Fine-Grained Image Editing [88.9067184995168]
  マルチモーダル推論と高密度報酬最適化を組み合わせた統合フレームワークCogniEditを提案する。 本手法は,視覚的品質と編集可能性の保存に追従する微粒な命令のバランスをとることによって,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2025-12-15T12:36:50Z)
• RAPO++: Cross-Stage Prompt Optimization for Text-to-Video Generation via Data Alignment and Test-Time Scaling [59.088798018184235]
  textbfRAPO++は、クロスプラットフォームのプロンプト最適化フレームワークである。 トレーニングデータの整合性向上、テスト時の反復スケーリング、大規模言語モデルの微調整を統一する。 RAPO++は意味的アライメント、構成的推論、時間的安定性、物理的妥当性において大きな進歩を遂げている。
  論文  参考訳（メタデータ） (2025-10-23T04:45:09Z)
• Prompt and Parameter Co-Optimization for Large Language Models [35.72638351230096]
  LLM(Large Language Models)トレーニングのために,迅速な最適化と微調整を共同で統合する,新しいフレームワークであるMetaTunerを紹介する。 我々のフレームワークは、プロンプトとパラメータの最適な組み合わせを見つけるために最適化されている。 様々なベンチマーク実験により、我々の手法はベースラインを一貫して上回ることがわかった。
  論文  参考訳（メタデータ） (2025-09-29T03:38:25Z)
• Better by Comparison: Retrieval-Augmented Contrastive Reasoning for Automatic Prompt Optimization [6.3914079241545885]
  提案するCRPO(Contrastive Reasoning Prompt Optimization)は,検索強化推論プロセスとして迅速な最適化を定式化する新しいフレームワークである。 提案手法では,HelpSteer2データセットからトップk参照プロンプト-レスポンスペアを検索する。 CRPOは、高品位と低品位を明示的に対比することにより、あるプロンプトが成功する理由を推論し、他のプロンプトが失敗する理由を推測することを可能にする。
  論文  参考訳（メタデータ） (2025-09-02T08:45:29Z)
• IPGO: Indirect Prompt Gradient Optimization for Parameter-Efficient Prompt-level Fine-Tuning on Text-to-Image Models [16.559232159385193]
  テキストから画像への拡散モデルは、テキストプロンプトから画像を生成するのに優れているが、コンテンツセマンティクス、美学、人間の嗜好と最適以下の関係を示すことが多い。 本研究では, パラメータ効率のよい新しいフレームワーク, Indirect Prompt Gradient Optimization (IPGO) を提案する。 IPGOは、プロンプト埋め込みの初めと終わりに連続的に微分可能な埋め込みを注入することで、ローランク構造を回転から柔軟性と非線形性で活用することで、プロンプト埋め込みを強化する。
  論文  参考訳（メタデータ） (2025-03-25T18:14:42Z)
• Memory-Efficient Gradient Unrolling for Large-Scale Bi-level Optimization [71.35604981129838]
  双レベル最適化は階層型機械学習問題に対処するための基本的な数学的枠組みとなっている。 従来の勾配に基づく二段階最適化アルゴリズムは、大規模アプリケーションの要求を満たすには不適である。 両レベル最適化のためのメタ勾配の偏りのない近似を実現するための$(textFG)2textU$を導入する。
  論文  参考訳（メタデータ） (2024-06-20T08:21:52Z)
• LLM as a Complementary Optimizer to Gradient Descent: A Case Study in Prompt Tuning [69.95292905263393]
  グラデーションベースとハイレベルなLLMは、協調最適化フレームワークを効果的に組み合わせることができることを示す。 本稿では,これらを相互に補完し,組み合わせた最適化フレームワークを効果的に連携させることができることを示す。
  論文  参考訳（メタデータ） (2024-05-30T06:24:14Z)
• Unleashing the Potential of Large Language Models as Prompt Optimizers: Analogical Analysis with Gradient-based Model Optimizers [108.72225067368592]
  本稿では,大規模言語モデル(LLM)に基づくプロンプトの設計について検討する。 モデルパラメータ学習における2つの重要な要素を同定する。 グラディエントにインスパイアされた Prompt ベースの GPO を開発した。
  論文  参考訳（メタデータ） (2024-02-27T15:05:32Z)
• Gradient-based Bi-level Optimization for Deep Learning: A Survey [14.39891675968109]
  双方向最適化、特に勾配に基づくカテゴリは、ディープラーニングコミュニティで広く使われている。 まず、勾配に基づく二段階最適化の形式的定義を与える。 次に、外部変数を更新するための2段階最適化問題を4つ議論する。
  論文  参考訳（メタデータ） (2022-07-24T11:23:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。