論文の概要: A Cross-Domain Evaluation of Prompting Techniques for Large Language Models

• arxiv url: http://arxiv.org/abs/2610.24913v1
• Date: Sat, 17 Oct 2026 23:18:46 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:05:28.168552
• Title: A Cross-Domain Evaluation of Prompting Techniques for Large Language Models
• Title（参考訳）: 大規模言語モデルにおけるプロンプト手法のクロスドメイン評価
• Abstract要約: 我々は,Zero-Shotプロンプト,Few-Shotプロンプト,Retrieval-Augmented Generation (RAG)を評価し,PE2にインスパイアされたパイプラインに基づく自動プロンプト最適化を行う。 RAGは300のサンプルが検索に利用できる場合に平均78.33%の精度を達成し、Few-Shot Promptingはいくつかの構造化推論タスクで比較的高い精度を達成する。
• 参考スコア（独自算出の注目度）: 0.07646713951724009
• License:
• Abstract: Prompt engineering has become a central mechanism for guiding the behavior of Large Language Models (LLMs) across a wide range of reasoning and language understanding tasks [1], [2]. However, existing studies frequently evaluate prompting techniques using different LLMs, datasets, or task settings, making direct comparisons across methods and domains difficult [3]. Consequently, in this paper we present a controlled cross-domain evaluation of Zero-Shot prompting, Few-Shot prompting, Retrieval-Augmented Generation (RAG), and automatic prompt optimization based on a PE2-inspired optimization pipeline [4]-[6]. All experiments were conducted with the same LLM and evaluated on six benchmark datasets covering arithmetic reasoning, logical reasoning, commonsense reasoning, and factual verification. The results show that no prompting strategy consistently outperforms the others across all domains, and pairwise statistical comparisons of the highest-performing configurations revealed no significant differences. RAG achieves the highest overall average accuracy of 78.33% when 300 examples are available for retrieval, while Few-Shot Prompting achieves comparatively high accuracies across several structured reasoning tasks. Zero-Shot Prompting remains competitive on tasks with self-contained inputs, whereas the PE2-inspired optimization approach produces stable but not systematically superior results compared to the other evaluated prompting techniques. Furthermore, increasing the number of task-specific examples does not consistently improve performance across prompting techniques, indicating strong domain and task dependency. These findings suggest that prompting techniques should be selected adaptively based on task characteristics rather than treated as universally applicable optimization strategies.
• Abstract（参考訳）: プロンプト工学は、広範囲の推論と言語理解タスク [1], [2] にわたる大規模言語モデル(LLM)の振る舞いを導くための中心的なメカニズムとなっている。 しかし、既存の研究では、異なるLLM、データセット、タスク設定を用いてプロンプト技術の評価が頻繁に行われ、メソッドやドメイン間で直接比較することが困難になっている[3]。 そこで本稿では,Zero-Shotプロンプト,Few-Shotプロンプト,Retrieval-Augmented Generation (RAG) のクロスドメイン評価と,PE2にインスパイアされた最適化パイプライン [4]-[6] に基づく自動プロンプト最適化を提案する。 全ての実験は、同じLLMを用いて行われ、算術的推論、論理的推論、常識的推論、事実的検証を含む6つのベンチマークデータセットで評価された。 以上の結果から, プロンプト戦略がすべての領域で一貫して優れていることが示され, 高い性能構成の相互統計比較では有意差は認められなかった。 RAGは300のサンプルが検索に利用できる場合に平均78.33%の精度を達成し、Few-Shot Promptingはいくつかの構造化推論タスクで比較的高い精度を達成する。 ゼロショット・プロンプティングは、自己完結した入力を持つタスクにおいて競争力を維持する一方、PE2にインスパイアされた最適化手法は、他の評価されたプロンプティング手法と比較して、安定だが体系的に優れた結果をもたらす。 さらに、タスク固有の例の数を増やすことで、プロンプトテクニックによるパフォーマンスが一貫して向上することはなく、強いドメイン依存性とタスク依存性が示される。 これらの結果から, 汎用最適化戦略として扱われるよりも, タスク特性に基づいて, プロンプト手法を適応的に選択すべきであることが示唆された。

関連論文リスト

• Structured Prompting Enables More Robust Evaluation of Language Models [38.53918044830268]
  DSPy+HELMフレームワークを提案する。 構造化されたプロンプトがなければ、HELMはLM性能(平均4%)を過小評価し、性能評価はベンチマークによって異なることがわかった。 これは、構造化されたプロンプトを確立された評価フレームワークに体系的に統合する最初のベンチマーク研究である。
  論文  参考訳（メタデータ） (2025-11-25T20:37:59Z)
• Grammar-Guided Evolutionary Search for Discrete Prompt Optimisation [63.97051732013936]
  本稿では,2段階からなる離散的な自動最適化に対する進化的探索手法を提案する。 第1段階では、文法誘導型遺伝的プログラミングが実行され、プロンプト生成プログラムを合成する。 第2段階では、局所探索を用いて、最高のパフォーマンスプログラムの周辺を探索する。
  論文  参考訳（メタデータ） (2025-07-14T14:34:15Z)
• On the Role of Feedback in Test-Time Scaling of Agentic AI Workflows [71.92083784393418]
  エージェントAI(自律的な計画と行動を行うシステム)は広く普及しているが、複雑なタスクにおけるタスクの成功率は低いままである。 推論時のアライメントは、サンプリング、評価、フィードバックの3つのコンポーネントに依存します。 本稿では,様々な形態の批判から抽出されたフィードバックを繰り返し挿入するIterative Agent Decoding(IAD)を紹介する。
  論文  参考訳（メタデータ） (2025-04-02T17:40:47Z)
• Towards more Contextual Agents: An extractor-Generator Optimization Framework [0.0]
  LLM(Large Language Model)ベースのエージェントは、幅広い汎用アプリケーションにわたる複雑なタスクの解決に顕著な成功を収めている。 しかしながら、それらのパフォーマンスは、専門産業や研究領域のようなコンテキスト固有のシナリオで劣化することが多い。 この課題に対処するため,本研究では,LLMエージェントの文脈適応性を高めるための体系的アプローチを提案する。
  論文  参考訳（メタデータ） (2025-02-18T15:07:06Z)
• Self-Supervised Prompt Optimization [19.159322848728646]
  十分に設計されたプロンプトは、Large Language Model(LLM)推論能力の強化に不可欠である。 既存のプロンプト最適化手法は、地上の真実や人間による外部参照に大きく依存している。 本稿では,閉じたタスクとオープンなタスクの両方に効果的なプロンプトを発見する費用効率のよいフレームワークであるセルフ・スーパービジョン・プロンプト・最適化(SPO)を提案する。
  論文  参考訳（メタデータ） (2025-02-07T17:45:16Z)
• A Systematic Examination of Preference Learning through the Lens of Instruction-Following [83.71180850955679]
  新たな合成データ生成パイプラインを用いて48,000の命令追従プロンプトを生成する。 合成プロンプトでは、リジェクションサンプリング(RS)とモンテカルロ木探索(MCTS)の2つの選好データセットキュレーション手法を用いる。 実験により、MCTSが生成した選好ペアにおける共有プレフィックスは、限界はあるが一貫した改善をもたらすことが明らかになった。 高コントラストの選好ペアは一般的に低コントラストのペアよりも優れているが、両者を組み合わせることで最高のパフォーマンスが得られることが多い。
  論文  参考訳（メタデータ） (2024-12-18T15:38:39Z)
• Think Beyond Size: Adaptive Prompting for More Effective Reasoning [0.0]
  本稿では,動的かつ反復的なフレームワークであるAdaptive Promptingを紹介する。 その結果、Adaptive Promptingは、算術的推論(GSM8K、MultiArithm)、論理的推論、コモンセンスタスクなど、様々な推論ベンチマークのパフォーマンスを著しく向上させることを示した。 提案手法は,計算効率を維持しつつ,GPT-4などの大規模モデルと競合する性能を実現する。
  論文  参考訳（メタデータ） (2024-10-10T17:14:36Z)
• In-context Demonstration Matters: On Prompt Optimization for Pseudo-Supervision Refinement [71.60563181678323]
  大規模言語モデル(LLM)は様々なタスクで大きな成功を収めており、生成品質をさらに向上させるためには微調整が必要である場合もある。 これらの課題に対処する直接的な解決策は、教師なしの下流タスクから高信頼のデータを生成することである。 本稿では,プロンプトと全体的な擬似スーパービジョンを両立させる新しい手法,擬似教師付きデモアライメント・アライメント・アライメント・プロンプト・最適化(PAPO)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-04T03:39:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。