論文の概要: A Theoretical Framework for Prompt Engineering: Approximating Smooth Functions with Transformer Prompts

• arxiv url: http://arxiv.org/abs/2503.20561v1
• Date: Wed, 26 Mar 2025 13:58:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-27 13:22:06.681538
• Title: A Theoretical Framework for Prompt Engineering: Approximating Smooth Functions with Transformer Prompts
• Title（参考訳）: プロンプト工学の理論的枠組み:トランスフォーマー・プロンプトによる平滑関数の近似
• Authors: Ryumei Nakada, Wenlong Ji, Tianxi Cai, James Zou, Linjun Zhang,
• Abstract要約: 本稿では, トランスフォーマーモデルに, 慎重に設計したプロンプトを付与することで, 計算システムとして機能できることを実証する公式なフレームワークを提案する。 我々は、$beta$-timesの微分可能関数に対する近似理論を確立し、適切に構造化されたプロンプトで導かれるとき、変換器が任意の精度でそのような関数を近似できることを証明した。 我々の発見は、自律的な推論と問題解決の可能性を強調し、エンジニアリングとAIエージェント設計のより堅牢で理論的に根ざした進歩の道を開いた。
• 参考スコア（独自算出の注目度）: 33.284445296875916
• License:
• Abstract: Prompt engineering has emerged as a powerful technique for guiding large language models (LLMs) toward desired responses, significantly enhancing their performance across diverse tasks. Beyond their role as static predictors, LLMs increasingly function as intelligent agents, capable of reasoning, decision-making, and adapting dynamically to complex environments. However, the theoretical underpinnings of prompt engineering remain largely unexplored. In this paper, we introduce a formal framework demonstrating that transformer models, when provided with carefully designed prompts, can act as a configurable computational system by emulating a ``virtual'' neural network during inference. Specifically, input prompts effectively translate into the corresponding network configuration, enabling LLMs to adjust their internal computations dynamically. Building on this construction, we establish an approximation theory for $\beta$-times differentiable functions, proving that transformers can approximate such functions with arbitrary precision when guided by appropriately structured prompts. Moreover, our framework provides theoretical justification for several empirically successful prompt engineering techniques, including the use of longer, structured prompts, filtering irrelevant information, enhancing prompt token diversity, and leveraging multi-agent interactions. By framing LLMs as adaptable agents rather than static models, our findings underscore their potential for autonomous reasoning and problem-solving, paving the way for more robust and theoretically grounded advancements in prompt engineering and AI agent design.
• Abstract（参考訳）: Prompt Engineeringは、大きな言語モデル(LLM)を望ましい応答に導くための強力な技術として登場し、様々なタスクにおけるパフォーマンスを大幅に向上させた。 静的予測器としての役割を超えて、LSMはよりインテリジェントなエージェントとして機能し、推論、意思決定、複雑な環境への動的適応を可能にしている。 しかし、急進的な工学の理論的基盤はほとんど解明されていない。 本稿では, ニューラルネットワークを推論中にエミュレートすることにより, トランスフォーマーモデルが, 慎重に設計されたプロンプトによって構成可能な計算システムとして機能することを実証する形式的枠組みを提案する。 具体的には、入力プロンプトが対応するネットワーク構成に効果的に変換され、LSMは内部の計算を動的に調整できる。 この構成に基づいて、$\beta$-times微分可能関数の近似理論を確立し、適切に構造化されたプロンプトで導かれるとき、変換器が任意の精度でそのような関数を近似できることを示す。 さらに,より長く構造化されたプロンプトの使用,無関係な情報のフィルタリング,トークンの多様性の促進,マルチエージェントインタラクションの活用など,実験的に成功したいくつかのプロンプト技術に対する理論的正当性を提供する。 LLMを静的モデルではなく適応可能なエージェントとすることで、我々の発見は、自律的推論と問題解決の可能性を強調し、エンジニアリングとAIエージェント設計の迅速化において、より堅牢で理論的に根ざした進歩の道を開いた。

関連論文リスト

• APT: Architectural Planning and Text-to-Blueprint Construction Using Large Language Models for Open-World Agents [8.479128275067742]
  本稿では,自律型エージェントによるMinecraftの複雑な構造構築を可能にする,LLM(Large Language Model)駆動のフレームワークを提案する。 連鎖分解とマルチモーダル入力を用いることで、このフレームワークは詳細なアーキテクチャレイアウトと青写真を生成する。 本エージェントは, メモリとリフレクションモジュールの両方を組み込んで, 生涯学習, 適応的洗練, エラー訂正を容易にする。
  論文  参考訳（メタデータ） (2024-11-26T09:31:28Z)
• Provably Transformers Harness Multi-Concept Word Semantics for Efficient In-Context Learning [53.685764040547625]
  トランスフォーマーベースの大規模言語モデル(LLM)は、卓越した創造力と出現能力を示している。 この研究は、トランスフォーマーが単語のマルチコンセプトセマンティクスをどのように活用し、強力なICLと優れたアウト・オブ・ディストリビューションICL能力を実現するかを示すための数学的解析を提供する。
  論文  参考訳（メタデータ） (2024-11-04T15:54:32Z)
• Think Beyond Size: Adaptive Prompting for More Effective Reasoning [0.0]
  本稿では,動的かつ反復的なフレームワークであるAdaptive Promptingを紹介する。 その結果、Adaptive Promptingは、算術的推論(GSM8K、MultiArithm)、論理的推論、コモンセンスタスクなど、様々な推論ベンチマークのパフォーマンスを著しく向上させることを示した。 提案手法は,計算効率を維持しつつ,GPT-4などの大規模モデルと競合する性能を実現する。
  論文  参考訳（メタデータ） (2024-10-10T17:14:36Z)
• Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
  大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。 In-Context Learning (ICL) など。 効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。 下流タスクへのLLM。 我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
  論文  参考訳（メタデータ） (2024-09-30T10:48:20Z)
• Dynamic Universal Approximation Theory: The Basic Theory for Transformer-based Large Language Models [9.487731634351787]
  大規模トランスフォーマーネットワークは、自然言語処理アルゴリズムの進歩において、急速に主要なアプローチとなっている。 本稿では,大規模言語モデル(LLM)の理論的基礎について考察する。 理論的な背景を提供し、これらの進歩を支えるメカニズムに光を当てている。
  論文  参考訳（メタデータ） (2024-07-01T04:29:35Z)
• ALPINE: Unveiling the Planning Capability of Autoregressive Learning in Language Models [48.559185522099625]
  計画は人間の知性と現代大言語モデル(LLM)の両方の重要な要素である 本稿では,トランスフォーマーを用いたLLMにおける次の単語予測機構による計画能力の出現について検討する。
  論文  参考訳（メタデータ） (2024-05-15T09:59:37Z)
• On Conditional and Compositional Language Model Differentiable Prompting [75.76546041094436]
  プロンプトは、下流タスクでうまく機能するために、凍結した事前訓練言語モデル(PLM)を適応するための効果的な方法であることが示されている。 タスク命令や入力メタデータを連続的なプロンプトに変換することを学習する新しいモデル Prompt Production System (PRopS) を提案する。
  論文  参考訳（メタデータ） (2023-07-04T02:47:42Z)
• Transformers as Statisticians: Provable In-Context Learning with In-Context Algorithm Selection [88.23337313766353]
  この研究はまず、変換器がICLを実行するための包括的な統計理論を提供する。 コンテクストにおいて、トランスフォーマーは、幅広い種類の標準機械学習アルゴリズムを実装可能であることを示す。 エンフィングル変換器は、異なるベースICLアルゴリズムを適応的に選択することができる。
  論文  参考訳（メタデータ） (2023-06-07T17:59:31Z)
• Prompting Decision Transformer for Few-Shot Policy Generalization [98.0914217850999]
  本稿では,オフラインRLにおける少数ショット適応を実現するために,Prompt-based Decision Transformer (Prompt-DT)を提案する。 Prompt-DTは、目に見えないターゲットタスクを微調整することなく、強力な数発の学習者である。
  論文  参考訳（メタデータ） (2022-06-27T17:59:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。