論文の概要: Auto-Prompting with Retrieval Guidance for Frame Detection in Logistics
- arxiv url: http://arxiv.org/abs/2512.19247v1
- Date: Mon, 22 Dec 2025 10:29:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-23 18:54:32.71477
- Title: Auto-Prompting with Retrieval Guidance for Frame Detection in Logistics
- Title(参考訳): ロジスティックスにおけるフレーム検出のための検索誘導による自動プロンピング
- Authors: Do Minh Duc, Quan Xuan Truong, Nguyen Tat Dat, Nguyen Van Vinh,
- Abstract要約: プロンプトエンジニアリングは、大規模な言語モデル(LLM)を大規模な微調整を必要とせずに複雑な推論やラベル付けタスクに適応する上で重要な役割を担っている。
本稿では,ロジスティクステキストにおけるフレーム検出のための新しいプロンプト最適化パイプラインを提案し,検索強化生成(RAG),少数ショットプロンプト,チェーン・オブ・シークレット(CoT)推論,自動CoT合成(Auto-CoT)を組み合わせて,タスク固有のプロンプトを生成する。
このフレームワークは実世界のロジスティクステキストアノテーションタスクで評価され、推論精度とラベリング効率が重要となる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Prompt engineering plays a critical role in adapting large language models (LLMs) to complex reasoning and labeling tasks without the need for extensive fine-tuning. In this paper, we propose a novel prompt optimization pipeline for frame detection in logistics texts, combining retrieval-augmented generation (RAG), few-shot prompting, chain-of-thought (CoT) reasoning, and automatic CoT synthesis (Auto-CoT) to generate highly effective task-specific prompts. Central to our approach is an LLM-based prompt optimizer agent that iteratively refines the prompts using retrieved examples, performance feedback, and internal self-evaluation. Our framework is evaluated on a real-world logistics text annotation task, where reasoning accuracy and labeling efficiency are critical. Experimental results show that the optimized prompts - particularly those enhanced via Auto-CoT and RAG - improve real-world inference accuracy by up to 15% compared to baseline zero-shot or static prompts. The system demonstrates consistent improvements across multiple LLMs, including GPT-4o, Qwen 2.5 (72B), and LLaMA 3.1 (70B), validating its generalizability and practical value. These findings suggest that structured prompt optimization is a viable alternative to full fine-tuning, offering scalable solutions for deploying LLMs in domain-specific NLP applications such as logistics.
- Abstract(参考訳): プロンプトエンジニアリングは、大規模な言語モデル(LLM)を大規模な微調整を必要とせずに複雑な推論やラベル付けタスクに適応する上で重要な役割を担っている。
本稿では、ロジスティクステキストにおけるフレーム検出のための新しいプロンプト最適化パイプラインを提案し、検索強化生成(RAG)、少数ショットプロンプト(CoT)、チェーン・オブ・シークレット(CoT)推論、自動CoT合成(Auto-CoT)を組み合わせて、タスク固有のプロンプトを高効率に生成する。
我々のアプローチの中心は、抽出した例、性能フィードバック、内部自己評価を用いてプロンプトを反復的に洗練するLLMベースのプロンプトオプティマイザエージェントである。
このフレームワークは実世界のロジスティクステキストアノテーションタスクで評価され、推論精度とラベリング効率が重要となる。
実験の結果、最適化されたプロンプト(特にAuto-CoTとRAGによって強化されたプロンプト)は、ベースラインのゼロショットや静的プロンプトと比較して、実世界の推論精度を最大15%向上することがわかった。
このシステムは、GPT-4o、Qwen 2.5 (72B)、LLaMA 3.1 (70B)を含む複数のLLMで一貫した改善を示し、その一般化性と実用的価値を検証する。
これらの結果は、構造化されたプロンプト最適化が完全な微調整の代替となり、ロジスティクスのようなドメイン固有のNLPアプリケーションにLLMをデプロイするためのスケーラブルなソリューションを提供することを示唆している。
関連論文リスト
- ZERA: Zero-init Instruction Evolving Refinement Agent - From Zero Instructions to Structured Prompts via Principle-based Optimization [6.591649491003996]
ZERAはシステムとユーザプロンプトを共同で最適化する新しいフレームワークである。
ZERAは自動的に推定される重み付き8つの一般化可能な基準を用いてプロンプトをスコアし、構造化された批判に基づいてプロンプトを改訂する。
推論,要約,コード生成タスクにまたがる5つの大きな言語モデルと9つの多様なデータセットのZERAを評価する。
論文 参考訳(メタデータ) (2025-09-17T01:47:29Z) - Tuning LLM-based Code Optimization via Meta-Prompting: An Industrial Perspective [7.9043190902720974]
多様な大規模言語モデル(LLM)にまたがるタスク固有のプロンプトを自動的に生成するフレームワークであるMPCO(Meta-Prompted Code Optimization)を紹介する。
MPCOはメタプロンプトを利用して、プロジェクトメタデータ、タスク要求、LLM固有のコンテキストを統合することで、コンテキスト対応の最適化プロンプトを動的に合成する。
MPCOは総合的な性能改善を19.06%まで達成し、ベースライン法と比較して全てのシステムで最高の統計ランクを得た。
論文 参考訳(メタデータ) (2025-08-02T17:11:40Z) - Grammar-Guided Evolutionary Search for Discrete Prompt Optimisation [63.97051732013936]
本稿では,2段階からなる離散的な自動最適化に対する進化的探索手法を提案する。
第1段階では、文法誘導型遺伝的プログラミングが実行され、プロンプト生成プログラムを合成する。
第2段階では、局所探索を用いて、最高のパフォーマンスプログラムの周辺を探索する。
論文 参考訳(メタデータ) (2025-07-14T14:34:15Z) - In-context Demonstration Matters: On Prompt Optimization for Pseudo-Supervision Refinement [71.60563181678323]
大規模言語モデル(LLM)は様々なタスクで大きな成功を収めており、生成品質をさらに向上させるためには微調整が必要である場合もある。
これらの課題に対処する直接的な解決策は、教師なしの下流タスクから高信頼のデータを生成することである。
本稿では,プロンプトと全体的な擬似スーパービジョンを両立させる新しい手法,擬似教師付きデモアライメント・アライメント・アライメント・プロンプト・最適化(PAPO)アルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-10-04T03:39:28Z) - Enhancing LLM-Based Text Classification in Political Science: Automatic Prompt Optimization and Dynamic Exemplar Selection for Few-Shot Learning [1.6967824074619953]
大型言語モデル (LLMs) は、政治学におけるテキスト分類をかなり約束する。
本フレームワークは,自動プロンプト最適化,動的指数選択,コンセンサス機構を通じてLLM性能を向上させる。
オープンソースのPythonパッケージ(PoliPrompt)がGitHubで公開されている。
論文 参考訳(メタデータ) (2024-09-02T21:05:31Z) - QPO: Query-dependent Prompt Optimization via Multi-Loop Offline Reinforcement Learning [58.767866109043055]
クエリ依存型プロンプト最適化(QPO)を導入し、入力クエリに合わせて最適なプロンプトを生成するために、小さな事前訓練された言語モデルを反復的に微調整する。
我々は、オープンソースのタスクに様々なプロンプトをベンチマークする副産物として、すでに大量に存在するオフラインのプロンプトデータから洞察を得る。
様々なLLMスケールと多様なNLPおよび数学タスクの実験は、ゼロショットと少数ショットの両方のシナリオにおいて、我々の手法の有効性とコスト効率を実証している。
論文 参考訳(メタデータ) (2024-08-20T03:06:48Z) - Intent-based Prompt Calibration: Enhancing prompt optimization with
synthetic boundary cases [2.6159111710501506]
本稿では,ユーザ意図に対するプロンプトを反復的に洗練するキャリブレーションプロセスを用いて,自動プロンプトエンジニアリングの新しい手法を提案する。
我々は,モデレーションや生成といった現実的なタスクにおいて,強力なプロプライエタリなモデルに対して,本手法の有効性を示す。
論文 参考訳(メタデータ) (2024-02-05T15:28:43Z) - Robust Prompt Optimization for Large Language Models Against
Distribution Shifts [80.6757997074956]
大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて重要な能力を示している。
本稿では,LLMの分散シフトに対するロバストな最適化法を提案する。
この問題は、ラベル付けされたソースグループに最適化されたプロンプトを同時にラベル付けされていないターゲットグループに一般化する必要がある。
論文 参考訳(メタデータ) (2023-05-23T11:30:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。