論文の概要: What's the Magic Word? A Control Theory of LLM Prompting
- arxiv url: http://arxiv.org/abs/2310.04444v3
- Date: Wed, 3 Jan 2024 06:38:36 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-04 16:31:19.315003
- Title: What's the Magic Word? A Control Theory of LLM Prompting
- Title(参考訳): 魔法の言葉って何?
LLMプロンプティングの制御理論
- Authors: Aman Bhargava, Cameron Witkowski, Manav Shah, Matt Thomson
- Abstract要約: 出力トークン列の到達可能な集合である$R_y(mathbf x_0)$について検討する。
正しい次のWikitextトークンのシークエンス$mathbf x_0$は、$kleq 10$トークンのプロンプトで97%以上到達可能である。
また、LLM自体が見積もっているように、上位75のトークンは少なくとも85%の時間で、$kleq 10$トークンのプロンプトで到達可能であることも確認しています。
- 参考スコア(独自算出の注目度): 0.8192907805418581
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Prompt engineering is crucial for deploying LLMs but is poorly understood
mathematically. We formalize LLM systems as a class of discrete stochastic
dynamical systems to explore prompt engineering through the lens of control
theory. We investigate the reachable set of output token sequences $R_y(\mathbf
x_0)$ for which there exists a control input sequence $\mathbf u$ for each
$\mathbf y \in R_y(\mathbf x_0)$ that steers the LLM to output $\mathbf y$ from
initial state sequence $\mathbf x_0$. We offer analytic analysis on the
limitations on the controllability of self-attention in terms of reachable set,
where we prove an upper bound on the reachable set of outputs $R_y(\mathbf
x_0)$ as a function of the singular values of the parameter matrices. We
present complementary empirical analysis on the controllability of a panel of
LLMs, including Falcon-7b, Llama-7b, and Falcon-40b. Our results demonstrate a
lower bound on the reachable set of outputs $R_y(\mathbf x_0)$ w.r.t. initial
state sequences $\mathbf x_0$ sampled from the Wikitext dataset. We find that
the correct next Wikitext token following sequence $\mathbf x_0$ is reachable
over 97% of the time with prompts of $k\leq 10$ tokens. We also establish that
the top 75 most likely next tokens, as estimated by the LLM itself, are
reachable at least 85% of the time with prompts of $k\leq 10$ tokens.
Intriguingly, short prompt sequences can dramatically alter the likelihood of
specific outputs, even making the least likely tokens become the most likely
ones. This control-centric analysis of LLMs demonstrates the significant and
poorly understood role of input sequences in steering output probabilities,
offering a foundational perspective for enhancing language model system
capabilities.
- Abstract(参考訳): llmのデプロイにはプロンプトエンジニアリングが不可欠だが、数学的にはあまり理解されていない。
我々はLSMシステムを離散確率力学系のクラスとして形式化し、制御理論のレンズを通して迅速な工学を探求する。
制御入力シーケンスが$\mathbf y \in R_y(\mathbf x_0)$に対して$\mathbf u$ が存在し、初期状態シーケンス$\mathbf x_0$ から$\mathbf y$ を出力するために LLM を操縦する。
到達可能な集合における自己注意の可制御性の限界について解析的解析を行い、パラメータ行列の特異値の関数として、到達可能な出力の集合上の上界を証明する。
我々は, Falcon-7b, Llama-7b, Falcon-40bを含むLLMパネルの制御性に関する相補的実証分析を行った。
我々の結果は、Wikitextデータセットからサンプリングされた出力の到達可能な集合に対して$R_y(\mathbf x_0)$ w.r.t.初期状態シーケンス$\mathbf x_0$の低い境界を示す。
正しい次のWikitextトークンのシーケンス$\mathbf x_0$は、$k\leq 10$トークンのプロンプトで97%以上到達可能である。
LLM自体が見積もっているように、トップ75の次のトークンは、少なくとも85%は、$k\leq 10$トークンのプロンプトで到達可能であることも確認しています。
興味深いことに、短いプロンプトシーケンスは特定の出力の可能性を劇的に変え、最も可能性の低いトークンを最も可能性の高いものにする。
このLLMの制御中心解析は、出力確率のステアリングにおける入力シーケンスの意義と理解されていない役割を示し、言語モデルシステム機能を強化するための基礎的な視点を提供する。
関連論文リスト
- Can Large Language Models Play Games? A Case Study of A Self-Play
Approach [61.15761840203145]
LLM(Large Language Models)は、インターネットからの広範なデータを利用して、幅広い事前知識を格納する。
Monte-Carlo Tree Search (MCTS)は、信頼性の高い意思決定ソリューションを提供する検索アルゴリズムである。
この研究は、ターンベースのゼロサムゲームを効率的に解決するために、MCTSセルフプレイでLLMを活性化させる革新的なアプローチを導入している。
論文 参考訳(メタデータ) (2024-03-08T19:16:29Z) - Provably learning a multi-head attention layer [55.2904547651831]
マルチヘッドアテンション層は、従来のフィードフォワードモデルとは分離したトランスフォーマーアーキテクチャの重要な構成要素の1つである。
本研究では,ランダムな例から多面的注意層を実証的に学習する研究を開始する。
最悪の場合、$m$に対する指数的依存は避けられないことを示す。
論文 参考訳(メタデータ) (2024-02-06T15:39:09Z) - Infini-gram: Scaling Unbounded n-gram Language Models to a Trillion Tokens [138.36729703589512]
神経大言語モデル(LLM)の時代には,$n$-gramの言語モデルがいまだに関係していることを示す。
これは、2つの側面で$n$-gramのLMを近代化することで実現された。まず、ニューラルネットワークLLMと同じデータスケールでトレーニングする -- 5兆トークン。
次に、既存の$n$-gram LMは、そのパフォーマンスを妨げる小さな$n$を使用します。
論文 参考訳(メタデータ) (2024-01-30T19:03:49Z) - Horizon-Free and Variance-Dependent Reinforcement Learning for Latent
Markov Decision Processes [62.90204655228324]
我々は,後期マルコフ決定過程(LMDP)における強化学習(RL)の文脈を考慮した後悔の最小化について検討した。
我々は,モデル最適化と値最適化の両手法でインスタンス化できる,新しいモデルベースアルゴリズムフレームワークを設計する。
論文 参考訳(メタデータ) (2022-10-20T21:32:01Z) - Learning a Latent Simplex in Input-Sparsity Time [58.30321592603066]
我々は、$AinmathbbRdtimes n$へのアクセスを考えると、潜入$k$-vertex simplex $KsubsetmathbbRdtimes n$を学習する問題を考える。
実行時間における$k$への依存は、トップ$k$特異値の質量が$a$であるという自然な仮定から不要であることを示す。
論文 参考訳(メタデータ) (2021-05-17T16:40:48Z) - $Q$-learning with Logarithmic Regret [60.24952657636464]
楽観的な$Q$は$mathcalOleft(fracSAcdot mathrmpolyleft(Hright)Delta_minlogleft(SATright)right)$ cumulative regret bound, where $S$ is the number of state, $A$ is the number of action, $H$ is the planning horizon, $T$ is the total number of steps, $Delta_min$ is the least sub-Optitimality gap。
論文 参考訳(メタデータ) (2020-06-16T13:01:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。