論文の概要: Optimising Hard Prompts with Few-Shot Meta-Prompting

• arxiv url: http://arxiv.org/abs/2407.18920v1
• Date: Tue, 9 Jul 2024 07:02:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-08-05 01:25:56.713789
• Title: Optimising Hard Prompts with Few-Shot Meta-Prompting
• Title（参考訳）: Few-Shot Meta-Promptingによるハードプロンプトの最適化
• Authors: Sayash Raaj Hiraou,
• Abstract要約: 文脈的プロンプトは、文書や対話の形式でコンテキストを含み、Large Language Model (LLM)への自然言語命令も含む。 コンテキストを判断すると、プロンプトのテンプレートとして機能する。 本稿では,既存のプロンプトテンプレートのセットからLCMを用いて,そのコンテキストを明らかにすることなく,より優れたテンプレートを生成するための反復的手法を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Prompting is a flexible and adaptable way of providing instructions to a Large Language Model (LLM). Contextual prompts include context in the form of a document or dialogue along with the natural language instructions to the LLM, often constraining the LLM to restrict facts to that of the given context while complying with the instructions. Masking the context, it acts as template for prompts. In this paper, we present an iterative method to generate better templates using an LLM from an existing set of prompt templates without revealing the context to the LLM. Multiple methods of optimising prompts using the LLM itself are explored to check the effect of few shot sampling methods on iterative propagation while maintaining linguistic styles and syntax on optimisation of prompt templates, yielding a 103.87% improvement using the best performing method. Comparison of the results of multiple contextual tasks demonstrate the ability of LLMs to maintain syntax while learning to replicate linguistic styles. Additionally, the effect on the output with different methods of prompt template generation is shown.
• Abstract（参考訳）: Promptingは、LLM(Large Language Model)に命令を提供するフレキシブルで適応可能な方法である。 文脈的プロンプトには、LLMへの自然言語命令とともに、文書や対話の形式でのコンテキストが含まれており、しばしば LLMは命令に準拠しながら、与えられたコンテキストの事実を制限している。 コンテキストを判断すると、プロンプトのテンプレートとして機能する。 本稿では,既存のプロンプトテンプレートのセットからLCMを用いて,そのコンテキストを明らかにすることなく,より優れたテンプレートを生成するための反復的手法を提案する。 LLM自体を用いてプロンプトを最適化する複数の手法を探索し、言語スタイルと構文を保ちながら反復的伝播に少数のサンプリング法が与える影響を検証し、最も優れた手法を用いて103.87%の改善を実現した。 複数の文脈タスクの結果の比較は、LLMが文法を維持しながら言語スタイルを再現する能力を示している。 さらに、異なるプロンプトテンプレート生成方法による出力への影響を示す。

関連論文リスト

• FinLFQA: Evaluating Attributed Text Generation of LLMs in Financial Long-Form Question Answering [57.43420753842626]
  FinLFQAは、複雑な財務問題に対する長文の回答を生成するための大規模言語モデルの能力を評価するために設計されたベンチマークである。 回答品質と属性品質の両方をカバーする自動評価フレームワークを提供する。
  論文  参考訳（メタデータ） (2025-10-07T20:06:15Z)
• Beyond Naïve Prompting: Strategies for Improved Zero-shot Context-aided Forecasting with LLMs [57.82819770709032]
  大規模言語モデル (LLM) は、na "ive direct prompting" を通じて効果的な文脈支援予測を行うことができる。 ReDPは、明確な推論トレースを抽出することで、解釈可能性を改善し、コンテキスト上でモデルの推論を評価することができる。 CorDPはLLMを活用して、既存の予測をコンテキストで洗練し、現実の予測パイプラインにおける適用性を高める。 IC-DPは、文脈支援予測タスクの歴史的例を即時に組み込むことを提案し、大規模モデルにおいても精度を大幅に向上させる。
  論文  参考訳（メタデータ） (2025-08-13T16:02:55Z)
• FinDPO: Financial Sentiment Analysis for Algorithmic Trading through Preference Optimization of LLMs [2.06242362470764]
  そこで,FinDPOについて紹介する。FinDPOは,トレーニング後の人間の嗜好のアライメントに基づく,ファイナンス固有の感情分析フレームワークである。 提案したFinDPOは、標準的な感情分類ベンチマークで最先端のパフォーマンスを達成する。 FinDPOは、毎年67%の実質的なポジティブリターンを維持し、高いリスク調整性能を維持するための、最初の感情ベースのアプローチである。
  論文  参考訳（メタデータ） (2025-07-24T13:57:05Z)
• Deriving Strategic Market Insights with Large Language Models: A Benchmark for Forward Counterfactual Generation [55.2788567621326]
  本稿では,FIN-FORCE-FINancial Forward Counterfactual Evaluationを提案する。 FIN-FORCEは金融ニュースの見出しをまとめることで、LLMベースの対実生成を支援する。 これにより、将来の市場展開を探索し、予測するためのスケーラブルで自動化されたソリューションの道を開くことができる。
  論文  参考訳（メタデータ） (2025-05-26T02:41:50Z)
• Bridging Language Models and Financial Analysis [49.361943182322385]
  大規模言語モデル(LLM)の急速な進歩は、自然言語処理における変換可能性の解放をもたらした。 財務データは、しばしばテキストコンテンツ、数値表、および視覚チャートの複雑な関係に埋め込まれる。 LLM研究における急速なイノベーションのペースにもかかわらず、金融業界における彼らの実践的採用には大きなギャップが残っている。
  論文  参考訳（メタデータ） (2025-03-14T01:35:20Z)
• FLAG-Trader: Fusion LLM-Agent with Gradient-based Reinforcement Learning for Financial Trading [28.57263158928989]
  大規模言語モデル(LLM)は、マルチモーダルな財務データに基づいて微調整されている。 言語処理(LLM)と勾配駆動強化学習(RL)ポリシーの最適化を統合した統一アーキテクチャであるtextscFLAG-Traderを提案する。
  論文  参考訳（メタデータ） (2025-02-17T04:45:53Z)
• Demystifying Domain-adaptive Post-training for Financial LLMs [87.28855088465197]
  FINDAPは、大規模言語モデルのドメイン適応後トレーニングに関する体系的できめ細かな研究である。 このアプローチは、FinCap、FinRec、FinTrain、FinEvalの4つの重要なコンポーネントで構成されています。 結果として得られるモデルであるLlama-Finは、幅広い財務タスクにわたる最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-01-09T04:26:15Z)
• IPO: Interpretable Prompt Optimization for Vision-Language Models [40.83071220530289]
  本稿では,シンプルだが解釈可能なプロンプト(IPO)を紹介する。 IPOは大規模言語モデル(LLM)を使用してテキストプロンプトを動的に生成する。 画像記述を生成することで、視覚的内容の条件付けに大型マルチモーダルモデル(LMM)を組み込む。
  論文  参考訳（メタデータ） (2024-10-20T14:10:22Z)
• Privacy Policy Analysis through Prompt Engineering for LLMs [3.059256166047627]
  PAPEL (Privacy Policy Analysis through Prompt Engineering for LLMs) は、Large Language Models (LLMs) の力を利用してプライバシーポリシーの分析を自動化するフレームワークである。 これらのポリシーからの情報の抽出、アノテーション、要約を合理化し、追加のモデルトレーニングを必要とせず、アクセシビリティと理解性を高めることを目的としている。 PAPELの有効性を, (i) アノテーションと (ii) 矛盾解析の2つの応用で実証した。
  論文  参考訳（メタデータ） (2024-09-23T10:23:31Z)
• Visual Prompting in Multimodal Large Language Models: A Survey [95.75225825537528]
  MLLM(Multimodal large language model)は、視覚機能を備えた事前訓練された多言語モデル(LLM)である。 ビジュアルプロンプトはよりきめ細かな自由形式のビジュアルインストラクションのために現れた。 本稿では,視覚的プロンプト,即時生成,構成的推論,即時学習に焦点をあてる。
  論文  参考訳（メタデータ） (2024-09-05T08:47:34Z)
• Using Grammar Masking to Ensure Syntactic Validity in LLM-based Modeling Tasks [0.996023506058745]
  文法マスキング(Grammar masking)は、与えられた文脈自由文法に対して構文的に正しいモデルを生成するための大きな言語モデルを導くために用いられる。 文法マスキングは,複数の言語モデルのモデリング能力を劇的に向上させることができることを示す。
  論文  参考訳（メタデータ） (2024-07-08T17:19:59Z)
• MAPO: Boosting Large Language Model Performance with Model-Adaptive Prompt Optimization [73.7779735046424]
  異なるプロンプトを異なるLarge Language Models (LLM) に適応させることで,NLP の様々な下流タスクにまたがる機能の向上が期待できる。 次に、下流タスクにおける各LLMに対して、元のプロンプトを最適化するモデル適応プロンプト(MAPO)手法を提案する。
  論文  参考訳（メタデータ） (2024-07-04T18:39:59Z)
• Prompting Large Language Models with Audio for General-Purpose Speech Summarization [13.415189715216354]
  大規模言語モデル(LLM)の処理と推論機能を活用した音声要約フレームワークを提案する。 本稿では,LLM が解釈可能なトークン表現に変換する音声エンコーダと命令調整 LLM を組み合わせたエンドツーエンドシステムを提案する。
  論文  参考訳（メタデータ） (2024-06-10T02:04:28Z)
• A Survey on Large Language Models for Critical Societal Domains: Finance, Healthcare, and Law [65.87885628115946]
  大規模言語モデル(LLM)は、金融、医療、法律の展望に革命をもたらしている。 我々は、医療における診断・治療方法論の強化、財務分析の革新、法的解釈・コンプライアンス戦略の精査におけるLCMの役割を強調した。 これらの分野におけるLLMアプリケーションの倫理を批判的に検討し、既存の倫理的懸念と透明で公平で堅牢なAIシステムの必要性を指摘した。
  論文  参考訳（メタデータ） (2024-05-02T22:43:02Z)
• Efficient Prompting Methods for Large Language Models: A Survey [50.171011917404485]
  プロンプティングは、特定の自然言語処理タスクに大規模言語モデル(LLM)を適用するための主流パラダイムとなっている。 このアプローチは、LLMの振る舞いをガイドし、制御するために、モデル推論と人間の努力のさらなる計算負担をもたらす。 本稿では, 今後の研究の方向性を明らかにするため, 促進, 効率的な促進のための進歩を概説する。
  論文  参考訳（メタデータ） (2024-04-01T12:19:08Z)
• FinLlama: Financial Sentiment Classification for Algorithmic Trading Applications [2.2661367844871854]
  大規模言語モデル(LLM)はこの文脈で使用することができるが、財務に特化せず、重要な計算資源を必要とする傾向がある。 我々はLlama 2 7Bの基礎モデルに基づく新しいアプローチを導入し,その生成特性と包括的言語操作の利点を享受する。 これは、Llama2 7Bモデルを教師付き財務感情分析データの一部に微調整することで達成される。
  論文  参考訳（メタデータ） (2024-03-18T22:11:00Z)
• Generative Context-aware Fine-tuning of Self-supervised Speech Models [54.389711404209415]
  生成型大規模言語モデル(LLM)生成コンテキスト情報の利用について検討する。 自己教師型音声モデルの微調整中に生成した情報を抽出する手法を提案する。 本稿では,SLUE と Libri-light のベンチマークを用いて,自動音声認識,名前付きエンティティ認識,感情分析を行う手法を提案する。
  論文  参考訳（メタデータ） (2023-12-15T15:46:02Z)
• CLAMP: Contrastive LAnguage Model Prompt-tuning [89.96914454453791]
  このように適応すれば,大規模な言語モデルでも優れた画像分類性能が得られることを示す。 我々のアプローチは最先端のmLLMを13%上回り、カスタムテキストモデルによる対照的な学習をわずかに上回ります。
  論文  参考訳（メタデータ） (2023-12-04T05:13:59Z)
• AlignedCoT: Prompting Large Language Models via Native-Speaking Demonstrations [52.43593893122206]
  Alignedcotは、大規模言語モデルを呼び出すためのコンテキスト内学習技術である。 ゼロショットシナリオでは、一貫した正しいステップワイズプロンプトを達成する。 数学的推論とコモンセンス推論の実験を行う。
  論文  参考訳（メタデータ） (2023-11-22T17:24:21Z)
• Large Language Models in Finance: A Survey [12.243277149505364]
  大規模言語モデル(LLM)は、金融における人工知能応用の新しい可能性を開いた。 大規模言語モデル(LLM)の最近の進歩は、金融における人工知能応用の新しい可能性を開いた。
  論文  参考訳（メタデータ） (2023-09-28T06:04:04Z)
• Context-Aware Prompt Tuning for Vision-Language Model with Dual-Alignment [15.180715595425864]
  我々は、事前学習された大言語モデル(LLM)を組み込むことで、視覚言語モデルの迅速な学習を改善する新しい手法を提案する。 DuAl-PTでは、明示的および暗黙的両方のコンテキストモデリングの恩恵を受けながら、よりコンテキスト対応のプロンプトを学習することを提案する。 実証的には、DuAl-PTは、数ショットの認識とベース・ツー・ニューな一般化で、11のダウンストリームデータセット上で優れたパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2023-09-08T06:51:15Z)
• Guiding Large Language Models via Directional Stimulus Prompting [114.84930073977672]
  我々は,特定の所望の出力に対して,ブラックボックス大言語モデル(LLM)を導くための新しいフレームワークであるDirectional Stimulus Promptingを紹介する。 LLMを直接調整するのではなく、小さな調整可能なポリシーモデルを用いて各入力インスタンスに対して補助的な指向性刺激プロンプトを生成する。
  論文  参考訳（メタデータ） (2023-02-22T17:44:15Z)
• A Prompt Pattern Catalog to Enhance Prompt Engineering with ChatGPT [1.2640882896302839]
  本稿では,大規模言語モデル(LLM)をソフトウェア開発タスクの自動化に適用する,迅速なエンジニアリングに関する研究に貢献する。 さまざまなドメインに適応できるように、プロンプトを構造化するためのパターンを文書化するためのフレームワークを提供する。 第3に、複数のパターンからプロンプトを構築する方法を説明し、他のプロンプトパターンと組み合わせることで恩恵を受けるプロンプトパターンを説明する。
  論文  参考訳（メタデータ） (2023-02-21T12:42:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。