論文の概要: Prefix-Tuning for Arbitrary Output Sequences on Pretrained Transformers
- arxiv url: http://arxiv.org/abs/2610.24123v1
- Date: Fri, 16 Oct 2026 18:49:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-26 10:52:58.234456
- Title: Prefix-Tuning for Arbitrary Output Sequences on Pretrained Transformers
- Title（参考訳）: 事前学習した変圧器の任意出力系列の修正調整
- Abstract要約: 我々は$mathcalS$というプレフィックスが存在し、複数の線形系を解くことで明示的に計算できることを示す。
我々の解析は構成的であり、得られた理論的結果はモデルアーキテクチャに関するかなり一般的な仮定の下で成り立つ。
- 参考スコア（独自算出の注目度）: 8.366858410366953
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Prefix-tuning is a parameter-efficient fine-tuning method for large language models (LLMs) that steers model outputs by prepending task-specific prefix representations to the input sequence. Despite its practical success, the theoretical understanding of the expressiveness of prefixes remains incomplete. In particular, the following question remains open: Given a pretrained autoregressive Transformer, for any input-output sequence pair $(\mathtt{x},\mathtt{y})$, does there always exist a prefix $\mathcal{S}$ such that prepending $\mathcal{S}$ to $\mathtt{x}$ induces the model to generate the target output $\mathtt{y}$? In this work, we prove that under the assumption that $\mathtt{y}$ is in the range of the pretrained Transformer, such a prefix $\mathcal{S}$ exists and can be explicitly computed by solving multiple linear systems. We further show that this assumption is necessary, in the sense that such a prefix may not exist when the assumption fails, thereby providing a complete answer to the above question. Our analysis is constructive and the obtained theoretical results hold under fairly general assumptions on model architecture. Extensive experiments on GPT-2 and Qwen3-4B demonstrate that our algorithm produces prefixes with strong control over model outputs.
- Abstract（参考訳）: プリフィックスチューニング(Prefix-tuning)は、大規模言語モデル(LLM)のパラメータ効率のよい微調整手法であり、タスク固有のプレフィックス表現を入力シーケンスにプリプロンプトすることで、モデルを出力する。
その実際的な成功にもかかわらず、接頭辞の表現性に関する理論的理解はいまだ不完全である。
事前訓練された自己回帰変換器が与えられたとき、任意の入力出力シーケンス対$(\mathtt{x},\matht{y})$に対して、常にプレフィックス$\mathcal{S}$が存在し、$\mathcal{S}$から$\mathtt{x}$はターゲット出力$\matht{y}$を生成するモデルを誘導する。
この研究において、$\mathtt{y}$ が事前訓練された変換器の範囲にあるという仮定の下で、そのような接頭辞 $\mathcal{S}$ が存在し、複数の線形系を解くことによって明示的に計算できることを示す。
さらに、この仮定は、仮定が失敗してもそのような接頭辞が存在しないという意味では必要であることを示し、上記の問題に対する完全な答えを与える。
我々の解析は構成的であり、得られた理論的結果はモデルアーキテクチャに関するかなり一般的な仮定の下で成り立つ。
GPT-2 と Qwen3-4B の大規模な実験により,我々のアルゴリズムはモデル出力を強く制御したプレフィックスを生成することを示した。
関連論文リスト
- Computational-Statistical Tradeoffs at the Next-Token Prediction Barrier: Autoregressive and Imitation Learning under Misspecification [50.717692060500696]
対数損失を伴う次のトーケン予測は自己回帰シーケンスモデリングの基盤となる。
次トーケン予測は、適度な誤差増幅を表す$C=tilde O(H)$を達成するために堅牢にすることができる。
C=e(log H)1-Omega(1)$。
論文 参考訳（メタデータ） (2025-02-18T02:52:00Z) - Provably Overwhelming Transformer Models with Designed Inputs [0.0]
この文字列で評価されたモデルの出力と任意の追加文字列$t$, $mathcalM(s + t)$が、長さ($t$)$leq n_free$のたびに$t$の値に完全に無関心である場合、$mathcalM$は$s$で圧倒される。
我々は、モデルの振る舞いを束縛するために使う、特に強力な「オーバースカッシング」の最悪の形態を証明します。
論文 参考訳（メタデータ） (2025-02-09T21:21:57Z) - Towards Understanding the Universality of Transformers for Next-Token Prediction [20.300660057193017]
因果変換器は、与えられたコンテキストに対して次のトークンを予測するように訓練される。
我々は,この現象を次々に予測するトランスフォーマーの近似能力について研究することで理解する。
論文 参考訳（メタデータ） (2024-10-03T21:42:21Z) - How do Transformers perform In-Context Autoregressive Learning? [76.18489638049545]
簡単な次のトークン予測タスクでTransformerモデルをトレーニングする。
トレーニングされたTransformerが、まず$W$ in-contextを学習し、次に予測マッピングを適用することで、次のトークンを予測する方法を示す。
論文 参考訳（メタデータ） (2024-02-08T16:24:44Z) - A Unified Framework for Uniform Signal Recovery in Nonlinear Generative
Compressed Sensing [68.80803866919123]
非線形測定では、ほとんどの先行結果は一様ではない、すなわち、すべての$mathbfx*$に対してではなく、固定された$mathbfx*$に対して高い確率で保持される。
本フレームワークはGCSに1ビット/一様量子化観測と単一インデックスモデルを標準例として適用する。
また、指標集合が計量エントロピーが低い製品プロセスに対して、より厳密な境界を生み出す濃度不等式も開発する。
論文 参考訳（メタデータ） (2023-09-25T17:54:19Z) - Misspecified Phase Retrieval with Generative Priors [15.134280834597865]
単一のインデックスモデル $y の $m$ i.d.realization から$n$-dimensional signal $mathbfx$ を推定する。
どちらのステップも、適切な条件下では、$sqrt(klog L)cdot (log m)/m$の統計的レートを享受できることが示される。
論文 参考訳（メタデータ） (2022-10-11T16:04:11Z) - Statistical Inference of Constrained Stochastic Optimization via Sketched Sequential Quadratic Programming [53.63469275932989]
制約付き非線形最適化問題のオンライン統計的推測を考察する。
これらの問題を解決するために、逐次二次計画法(StoSQP)を適用する。
論文 参考訳（メタデータ） (2022-05-27T00:34:03Z) - Linear Time Sinkhorn Divergences using Positive Features [51.50788603386766]
エントロピー正則化で最適な輸送を解くには、ベクトルに繰り返し適用される$ntimes n$ kernel matrixを計算する必要がある。
代わりに、$c(x,y)=-logdotpvarphi(x)varphi(y)$ ここで$varphi$は、地上空間から正のorthant $RRr_+$への写像であり、$rll n$である。
論文 参考訳（メタデータ） (2020-06-12T10:21:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。