論文の概要: BT-APE: A Computationally Light Backtracking Approach to Automatic Prompt Engineering for Requirements Classification
- arxiv url: http://arxiv.org/abs/2607.00427v1
- Date: Wed, 01 Jul 2026 04:36:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-02 19:56:07.717525
- Title: BT-APE: A Computationally Light Backtracking Approach to Automatic Prompt Engineering for Requirements Classification
- Title（参考訳）: BT-APE:要求分類のための自動プロンプト工学のための計算的光背追跡手法
- Abstract要約: 本稿では,APEをバックトラックする軽量な自動プロンプトエンジニアリング手法を提案し,それを要件分類に適用する。
最適化問題としてのプロンプト設計, LLM生成候補による繰り返し精製プロンプト, バックトラック検索, 動的サンプル選択を行う。
i)オープンなインタラクティブツールとレプリケーションパッケージを備えた軽量なAPEフレームワーク、(ii)要求分類のための古典的なプロンプトに対するAPEの最初の体系的な比較、(iii)クラス定義とプロンプト進化がパフォーマンスにどのように影響するかについての洞察である。
- 参考スコア（独自算出の注目度）: 2.0061679654181392
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) are increasingly applied to requirements engineering (RE) tasks, yet the prompts guiding them are typically designed manually through trial and error, yielding inconsistent and suboptimal results. Automated prompt construction remains largely unexplored in RE, leaving its effectiveness unclear. To address this, we propose a lightweight Automatic Prompt Engineering approach, Backtracking APE (BT-APE), and apply it to requirements classification. We frame prompt design as an optimization problem, iteratively refining prompts via LLM-generated candidates, backtracking search, and dynamic example selection. Evaluating BT-APE on three benchmark datasets with five instruction-tuned LLMs, we compare it against four classical prompting baselines (zero-shot, few-shot, chain-of-thought, CoT+few-shot) and a state-of-the-art but resource-intensive APE baseline (PE2). BT-APE and PE2 achieve nearly identical accuracy, both substantially outperforming the classical baselines with large effect sizes; however, BT-APE imposes a far lighter computational footprint, consuming roughly 72% fewer input tokens and 66% less wall-clock time at equivalent accuracy, making it better suited to resource-constrained deployment. Our contributions are threefold: (i) a lightweight APE framework with an open interactive tool and replication package; (ii) the first systematic comparison of APE against classical prompting for requirements classification; and (iii) insights into how class definitions and prompt evolution affect performance.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、要求工学(RE)タスクにますます適用されているが、それらを導くプロンプトは、通常、試行錯誤によって手動で設計され、矛盾や準最適結果をもたらす。
自動化された急進的な建設はREでほとんど探索されていないが、その有効性は明らかでない。
そこで我々は,BT-APE (Backtracking APE) という軽量な自動プロンプトエンジニアリング手法を提案し,それを要件分類に適用する。
最適化問題としてのプロンプト設計, LLM生成候補による繰り返し精製プロンプト, バックトラック検索, 動的サンプル選択を行う。
BT-APEを5つの命令チューニングLDMを持つ3つのベンチマークデータセット上で評価し、従来の4つのプロンプトベースライン(ゼロショット、少数ショット、チェーン・オブ・ソート、CoT+few-shot)と、最先端だがリソース集約的なALPベースライン(PE2)と比較する。
BT-APE と PE2 はほぼ同じ精度を達成し、どちらも従来のベースラインよりも大きな効果を持つが、BT-APE はより軽い計算フットプリントを課し、入力トークンを約72%減らし、ウォールクロック時間を66%減らした。
私たちの貢献は3倍です。
(i)オープンインタラクティブツールとレプリケーションパッケージを備えた軽量なAPEフレームワーク。
(二)要件分類のための古典的プロンプトに対するAPEの最初の体系的比較、及び
3) クラス定義と迅速な進化がパフォーマンスにどのように影響するかについての洞察。
関連論文リスト
- APEX: Automated Prompt Engineering eXpert with Dynamic Data Selection [60.504476571531]
大規模言語モデルは、迅速な定式化に非常に敏感であり、その潜在能力を最大限に活用するためには、自動的なプロンプト最適化が必要である。
現在の手法では、開発データセットを静的なベンチマークとして扱い、非形式的なデータに対するかなりの計算予算を浪費している。
本稿では,APEX(Automatic Prompt Engineering eXpert)について紹介する。
論文 参考訳（メタデータ） (2026-06-09T21:22:06Z) - EngiAI: A Multi-Agent Framework and Benchmark Suite for LLM-Driven Engineering Design [0.4499833362998488]
3つの評価次元を持つベンチマークスイートを導入する。
本稿では,LangGraph上に構築されたマルチエージェントシステム(MAS)の実装であるEngiAIを紹介する。
論文 参考訳（メタデータ） (2026-05-19T12:12:09Z) - Automated Instruction Revision (AIR): A Structured Comparison of Task Adaptation Strategies for LLM [0.0]
本稿では,大規模言語モデルを下流タスクに適用するためのルール推論手法であるAutomated Instruction Revision(AIR)について検討する。
我々はAIRを、迅速な最適化、検索に基づく手法、微調整を含む適応戦略の広い視野に配置する。
知識注入や構造化抽出,ラベルリマッピング,論理的推論など,さまざまなタスク要件に重点を置くように設計された多様なベンチマークスイートに対して,これらのアプローチを比較した。
論文 参考訳（メタデータ） (2026-04-10T15:28:05Z) - DiffuRank: Effective Document Reranking with Diffusion Language Models [71.16830004674513]
拡散言語モデル(dLLM)に基づいて構築されたフレームワークであるDiffuRankを提案する。
dLLMは、左から右への順序に制約されないより柔軟なデコーディングと生成プロセスをサポートする。
モデルサイズが類似した自己回帰LDMに匹敵する性能を示す。
論文 参考訳（メタデータ） (2026-02-13T02:18:14Z) - SimpleMem: Efficient Lifelong Memory for LLM Agents [73.74399447715052]
セマンティックロスレス圧縮に基づく効率的なメモリフレームワークSimpleMemを紹介する。
本稿では,情報密度とトークン利用量の最大化を目的とした3段階パイプラインを提案する。
ベンチマークデータセットを用いた実験により,提案手法は精度,検索効率,推論コストにおいて,ベースラインアプローチを一貫して上回っていることがわかった。
論文 参考訳（メタデータ） (2026-01-05T21:02:49Z) - Auto-Prompting with Retrieval Guidance for Frame Detection in Logistics [0.0]
プロンプトエンジニアリングは、大規模な言語モデル(LLM)を大規模な微調整を必要とせずに複雑な推論やラベル付けタスクに適応する上で重要な役割を担っている。
本稿では,ロジスティクステキストにおけるフレーム検出のための新しいプロンプト最適化パイプラインを提案し,検索強化生成(RAG),少数ショットプロンプト,チェーン・オブ・シークレット(CoT)推論,自動CoT合成(Auto-CoT)を組み合わせて,タスク固有のプロンプトを生成する。
このフレームワークは実世界のロジスティクステキストアノテーションタスクで評価され、推論精度とラベリング効率が重要となる。
論文 参考訳（メタデータ） (2025-12-22T10:29:51Z) - Structured Prompting Enables More Robust Evaluation of Language Models [38.53918044830268]
DSPy+HELMフレームワークを提案する。
構造化されたプロンプトがなければ、HELMはLM性能(平均4%)を過小評価し、性能評価はベンチマークによって異なることがわかった。
これは、構造化されたプロンプトを確立された評価フレームワークに体系的に統合する最初のベンチマーク研究である。
論文 参考訳（メタデータ） (2025-11-25T20:37:59Z) - Rethinking On-policy Optimization for Query Augmentation [49.87723664806526]
本稿では,様々なベンチマークにおいて,プロンプトベースとRLベースのクエリ拡張の最初の体系的比較を示す。
そこで我々は,検索性能を最大化する擬似文書の生成を学習する,新しいハイブリッド手法 On-policy Pseudo-document Query Expansion (OPQE) を提案する。
論文 参考訳（メタデータ） (2025-10-20T04:16:28Z) - Grammar-Guided Evolutionary Search for Discrete Prompt Optimisation [63.97051732013936]
本稿では,2段階からなる離散的な自動最適化に対する進化的探索手法を提案する。
第1段階では、文法誘導型遺伝的プログラミングが実行され、プロンプト生成プログラムを合成する。
第2段階では、局所探索を用いて、最高のパフォーマンスプログラムの周辺を探索する。
論文 参考訳（メタデータ） (2025-07-14T14:34:15Z) - Automatic Prompt Optimization for Knowledge Graph Construction: Insights from an Empirical Study [8.482898222291206]
テキストからのトリプル(オブジェクト-リレーショナルオブジェクト)抽出は、KG構築の基本的な構成要素である。
NLPタスク(例えば自律生成)における最近の作業では、この課題に対処するために自動的なプロンプト最適化/エンジニアリングを使用している。
我々は、(a)プロンプト戦略、(b)プロンプト最適化とタスク実行に使用されるLLM、(c)スキーマにおける標準関係の数、(d)入力テキストの長さと多様性、(e)プロンプト最適化に使用されるメトリック、および(f)トレーニングとテストに使用されるデータセットを変更することで異なる設定を評価する。
論文 参考訳（メタデータ） (2025-06-24T16:38:49Z) - SPARE: Single-Pass Annotation with Reference-Guided Evaluation for Automatic Process Supervision and Reward Modelling [58.05959902776133]
私たちはSingle-Passを紹介します。
Reference-Guided Evaluation (SPARE)は、効率的なステップごとのアノテーションを可能にする新しい構造化フレームワークである。
数学的推論(GSM8K, MATH)、マルチホップ質問応答(MuSiQue-Ans)、空間推論(SpaRP)にまたがる4つの多様なデータセットにおけるSPAREの有効性を実証する。
ProcessBenchでは、SPAREがデータ効率のよいアウト・オブ・ディストリビューションの一般化を実証し、トレーニングサンプルの$sim$16%しか使用していない。
論文 参考訳（メタデータ） (2025-06-18T14:37:59Z) - Beyond Prompting: An Efficient Embedding Framework for Open-Domain Question Answering [22.121850498642008]
大規模言語モデルは、最近、新しいフロンティアにオープンドメインの質問に答えた。
一般的なレトリバーリーダーパイプラインは、しばしば複数のプロンプトレベル命令に依存する。
EmbQAは,レシーバとリーダの両方を強化した埋め込みレベルのフレームワークである。
論文 参考訳（メタデータ） (2025-03-03T14:41:35Z) - Adaptive-RAG: Learning to Adapt Retrieval-Augmented Large Language Models through Question Complexity [59.57065228857247]
Retrieval-augmented Large Language Models (LLMs) は、質問回答(QA)のようなタスクにおける応答精度を高めるための有望なアプローチとして登場した。
本稿では,クエリの複雑さに基づいて,LLMの最適戦略を動的に選択できる適応型QAフレームワークを提案する。
オープンドメインのQAデータセットを用いて、複数のクエリの複雑さを網羅し、QAシステムの全体的な効率性と精度を高めることを示す。
論文 参考訳（メタデータ） (2024-03-21T13:52:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。