論文の概要: Transmuting prompts into weights

• arxiv url: http://arxiv.org/abs/2510.08734v1
• Date: Thu, 09 Oct 2025 18:40:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 00:38:47.503634
• Title: Transmuting prompts into weights
• Title（参考訳）: スイッチングプロンプトをウェイトに変換する
• Authors: Hanna Mazzawi, Benoit Dherin, Michael Munn, Michael Wunder, Javier Gonzalvo,
• Abstract要約: 我々は、プロンプトの影響を数学的に暗黙の重み更新にマッピングする方法を示す。 この情報をトークンに依存しない思考ベクトルと思考行列に凝縮する原理的手法を導出する。 これらの構造は、既存のベクトルおよび行列ベースのモデル編集技術の理論的な説明を提供する。
• 参考スコア（独自算出の注目度）: 9.435593024881117
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A growing body of research has demonstrated that the behavior of large language models can be effectively controlled at inference time by directly modifying their internal states, either through vector additions to their activations or through updates to their weight matrices. These techniques, while powerful, are often guided by empirical heuristics, such as deriving steering vectors from the average activations of contrastive prompts. This work provides a theoretical foundation for these interventions, explaining how they emerge from the fundamental computations of the transformer architecture. Building on the recent finding that a prompt's influence can be mathematically mapped to implicit weight updates (Dherin et al., 2025), we generalize this theory to deep, multi-block transformers. We show how the information contained in any chunk of a user prompt is represented and composed internally through weight vectors and weight matrices. We then derive a principled method for condensing this information into token-independent thought vectors and thought matrices. These constructs provide a theoretical explanation for existing vector- and matrix-based model editing techniques and offer a direct, computationally-grounded method for transmuting textual input into reusable weight updates.
• Abstract（参考訳）: 増大する研究機関は、大きな言語モデルの振る舞いを、内部の状態を直接修正することで、その活性化へのベクトル追加または重み行列の更新を通じて、推論時に効果的に制御できることを示した。 これらのテクニックは強力だが、しばしば、対照的なプロンプトの平均的な活性化からステアリングベクトルを導出するなど、経験的ヒューリスティックによって導かれる。 この研究は、これらの介入の理論的基盤を提供し、トランスフォーマーアーキテクチャの基本計算からそれらがどのように現れるかを説明する。 近年の研究では、プロンプトの影響を暗黙の重み更新(Dherin et al , 2025)に数学的にマッピングし、この理論を深いマルチブロック変換器に一般化している。 ユーザプロンプトの任意のチャンクに含まれる情報が、重みベクトルと重み行列によって内部的にどのように表現され、構成されるかを示す。 次に、この情報をトークンに依存しない思考ベクトルと思考行列に凝縮する原理的手法を導出する。 これらの構造は、既存のベクトルおよび行列ベースのモデル編集技術の理論的な説明を提供し、テキスト入力を再利用可能な重み付けに変換する直接的、計算的な手法を提供する。

関連論文リスト

• Provable In-Context Vector Arithmetic via Retrieving Task Concepts [53.685764040547625]
  クロスエントロピー損失に対する勾配降下による非線形残差変圧器の訓練は,ベクトル演算による実-リコールICLタスクをいかに行うかを示す。 これらの結果は、静的埋め込み前駆体よりもトランスフォーマーの利点を解明する。
  論文  参考訳（メタデータ） (2025-08-13T13:54:44Z)
• The underlying structures of self-attention: symmetry, directionality, and emergent dynamics in Transformer training [1.564538938595125]
  重み更新を規定する構造を導出することにより自己注意行列を解析する。 両方向トレーニングは重み行列の対称性を誘導し,自己回帰トレーニングは方向性や列優位性をもたらすことを示す。 この分析は、情報の自己認識による埋め込みに関する新しい理論的視点を提供し、トランスフォーマーモデルの解釈可能性を改善する。
  論文  参考訳（メタデータ） (2025-02-15T23:08:02Z)
• Small Singular Values Matter: A Random Matrix Analysis of Transformer Models [0.0]
  重み行列スペクトルの特定の領域はランダム行列理論(RMT)の予測から著しく逸脱していることがわかった。 我々の分析は、大規模言語モデル(LLM)における小さな特異値の重要性をさらに明らかにしている。 これらの小さな値はタスク固有の微調整の前に重要でないように見えるかもしれないが、その後、性能を著しく低下させる。
  論文  参考訳（メタデータ） (2024-10-23T11:19:08Z)
• Unveiling Transformer Perception by Exploring Input Manifolds [41.364418162255184]
  本稿では,Transformerモデルの入力空間における等価クラス探索法を提案する。 提案手法は、トランスフォーマーアーキテクチャの内部層を入力多様体の逐次変形として記述する音響数学的理論に基づいている。
  論文  参考訳（メタデータ） (2024-10-08T13:20:31Z)
• Unsupervised Representation Learning from Sparse Transformation Analysis [79.94858534887801]
  本稿では,潜在変数のスパース成分への変換を分解し,シーケンスデータから表現を学習することを提案する。 入力データは、まず潜伏活性化の分布として符号化され、その後確率フローモデルを用いて変換される。
  論文  参考訳（メタデータ） (2024-10-07T23:53:25Z)
• Disentanglement via Latent Quantization [60.37109712033694]
  本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。 本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
  論文  参考訳（メタデータ） (2023-05-28T06:30:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。