論文の概要: When Can Prefixes Compile LoRA? Exact Resource-Capped Tests for Frozen Attention
- arxiv url: http://arxiv.org/abs/2609.36766v1
- Date: Tue, 29 Sep 2026 05:40:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:47.214133
- Title: When Can Prefixes Compile LoRA? Exact Resource-Capped Tests for Frozen Attention
- Title（参考訳）: コンパイル済みのLoRAはいつ修正できるのか?
- Abstract要約: 回答はアダプタのターゲットによって3つの条件で異なることを示す。
まず、可観測性:ある因果的読み出しにおいて、すべての独立キー-値プレフィックスは、クエリ、アテンションパーティション、値数値演算子を通してのみコンテンツを見る。
第二に、実現可能性: 共通のクエリでは、任意のプレフィックスは正確に2つの集約変数に還元される。
第3に,アフィンクエリエクスポージャーによる実装: 2r$符号付きスロットはランク-r$値の更新を近似するが,その値は$O(-3/2)$として増加する。
- 参考スコア（独自算出の注目度）: 1.2891210250935148
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Can a fixed continuous prefix replace a given low-rank adapter while the attention head stays frozen? In this research, we show that the answer depends on the adapter's target through three conditions. First, observability: at one causal readout, every independent key--value prefix sees the content only through the query, attention partition, and value numerator, so a target that differs on two inputs with equal summaries incurs an error floor at every prefix length; norm caps extend this floor to nearly equal summaries. Second, realizability: at a common query, any prefix reduces exactly to two aggregate variables, and the norm-capped optimum is an attained second-order-cone program, also after a fixed output projection; it places two equal-norm rank-one value updates on opposite sides of compilability. Third, implementation: under affine query exposure, $2r$ signed slots approximate a rank-$r$ value update, but their values grow as $O(ε^{-3/2})$, and the construction passes all 400 tolerance checks in float64 yet only 38 in bfloat16. A first-layer GPT-2 readout with fixed token and position meets the common-query condition without clamping activations; at three such heads, the capped optimum leaves 18.4\% to 74.2\% of the projected adapter effect uncompiled, with a head-dependent value--query ordering. All claims concern local approximation at one head, not whole-network equivalence.
- Abstract（参考訳）: 固定された連続プレフィックスは、アテンションヘッドが凍結されている間、与えられた低ランクアダプタを置き換えることができるか?
本研究は,3つの条件により,アダプタのターゲットによって解答が決まることを示す。
まず、可観測性: 1つの因果的な読み出し: 全ての独立キー-値プレフィックスは、クエリ、アテンションパーティション、値数値演算子を通してのみコンテンツを見るので、2つの入力で異なるターゲットが等しいサマリーを持つ場合、各プレフィックス長でエラーフロアを発生させる。
第二に、実現可能性: 共通クエリにおいて、任意のプレフィックスは正確に2つの集約変数に還元され、ノルムをカプセル化した最適値は、固定出力プロジェクションの後に達成された2次錐プログラムである。
第3に、アフィンクエリの露出下では、2r$符号付きスロットがランク-r$値の更新に近似するが、その値は$O(ε^{-3/2})$として増加し、構成はfloat64で400のトレランスチェックをすべてパスするが、bfloat16では38のみである。
固定トークンと位置が固定された第1層GPT-2読み出しは、クラッピングアクティベーションを伴わずに共通クエリ条件を満たす。
すべての主張は、ネットワーク全体の等価性ではなく、一方の頭部における局所近似に関するものである。
関連論文リスト
- PACT: Pairwise-Anchored Calibrated Tuning for Single-Token Typed Decisions [0.0]
単一トークン型決定モデルは、少数の1文字の応答コードのロジットを1つの位置で読み取ることで、スキーマ問題に答える。
本研究では,データを比較ペアとしてキュレートしたモデルについて検討する。
我々は、この構造を新しいアノテーションを必要としない4つのトレーニング用語に変換するPACTを提案する。
論文 参考訳（メタデータ） (2026-09-26T01:07:09Z) - One Patch, Three Roles: What Is Actually Coupled in Autoregressive Time-Series Forecasting? [49.84472730204669]
凍結した親の軌道は, 軽量な平行出口で観測される未来よりも適合しやすいことを示す。
また、列車選択した周期的歴史方向に沿って補正可能な残射も見出す。
Tangentはこの修正を、ニューラルパラメータやTransformerコールを追加せずに適用する。
論文 参考訳（メタデータ） (2026-09-20T14:54:35Z) - Fast Weight Attention for Continual Learning [75.34672054079408]
リカレント高速記憶と選択状態空間モデルは、拡張コンテキストを固定サイズのリカレント状態に圧縮する。
正則化された二乗誤差回帰と負の内積目標の1次更新を導出する。
我々は、数値的に安定な正のデカイ再正規化とともに、繰り返し、マスクパラレル、チャンクパラレル形式を提供する。
論文 参考訳（メタデータ） (2026-08-27T22:55:11Z) - IndicQE-APE: A Benchmark for Quality Estimation and Automatic Post-Editing for Indic Languages [77.88427845181154]
我々はWMT 2020-2024の共有タスクの系統を、英語のリソースを拡張してインディクシーに集約する:9つの方向対に対して126,754ドルのインスタンス。
セグメントレベルのQEでは,LSMが6つ,COMETが3つ,APEでは3つのシステムをベンチマークした。
論文 参考訳（メタデータ） (2026-08-17T09:50:52Z) - ARC: Augmented-Rank Conformalization for Changepoint Localization --- Finite-Sample Validity and Distribution-Robust Efficiency [7.648414136980082]
ARCは、データに依存するスコアのファミリーであり、インターセグメントのランクのみである。
各ARCスコアは、凍結重量構成ごとに有限サンプルカバレッジを継承する。
ARC信頼集合全体は、厳密に増大する辺変換の下でほぼ確実に不変である。
論文 参考訳（メタデータ） (2026-08-09T02:44:08Z) - Sub-Quadratic Bisimulation Metrics via Approximate Nearest Neighbors: Coverage-Augmented Guarantees and Computable Two-Sided Certificates [1.2891210250935148]
我々は,境界遷移をサポートするMPPに対して,証明書を搬送するサブクワッドラティックな方法を提案する。
近似アレスト近傍指数は、正確に制限された演算子によって更新されたペアを選択する。
ローカルインデックスの品質だけでは、グローバルエラーを制御できない。
論文 参考訳（メタデータ） (2026-08-07T03:32:40Z) - Stage-Replay Divergence Follows the KV Cache: Fixed-Prefix Precision Controls and Bidirectional Cache Transplantation [51.56484100374058]
Stage-replayは中間トークンプレフィックスを再構築し、プレフィックスに最初に到達したデコーダ状態からの継続として、新しいプリフィル継続を処理する。
一致した200itemの実験では、保持されたライブキャッシュと同一の整数トークンのワンショットプリフィルを比較し、両側に正確なレプリカを配置する。
論文 参考訳（メタデータ） (2026-07-30T16:41:40Z) - Kernelized Linear Attention: Breaking the Capacity Wall with Symmetric Cones [4.847095054351615]
リニアアテンションは一定時間繰り返しの推論を約束するが、連想的リコールによって著しく低下する。
Kernelized Linear Attention Activations (KATA)を紹介します。
ランク1の正の半定的な特徴が良好なキャパシティ-干渉トレードオフをもたらすことを示す。
論文 参考訳（メタデータ） (2026-07-19T21:46:09Z) - Right Makes Might: Aligning Verified Hidden States Empowers RL Reasoning [55.264863369127774]
現在の方法では、それぞれの正しいロールアウトを単一の報酬ビットに減らし、隠れた状態間で共有される幾何学的構造を無視している。
本稿では,RLトレーニングにおけるアンカートークンにおける正ロールアウトの最終層を,トレーニングと推論の両方においてゼロオーバーヘッドで整列する補助損失関数Hidden-Alignを提案する。
8つの数学的推論ベンチマークでは、Hidden-AlignはDAPOベースラインの平均パス@1をQwen3-1.7B, 4B, 14Bで3.8, 6.2, 5.4ポイント改善し、3つのスケールで一貫したパス@kゲインを得る。
論文 参考訳（メタデータ） (2026-06-02T06:51:15Z) - The Extrapolation Cliff in On-Policy Distillation of Near-Deterministic Structured Outputs [52.709361620508595]
ListOPDは、パラメータの5分の1で8B-SFTベースラインで、学生をドメイン内に持ち込む。
Amazon Fashionでは、3つの事前登録テスト — 細粒度崖間隔テスト、小さなクリップのクロス予測 — がロックされた予測ウィンドウ内に落下し、グリッド解像度以下のクローズドフォーム予測に一致する小さなクリップ値が設定されている。
論文 参考訳（メタデータ） (2026-05-09T06:48:00Z) - Rethinking the Rank Threshold for LoRA Fine-Tuning [4.221888521641282]
ニューラルタンジェントカーネル機構におけるLoRAファインチューニングの最近のランドスケープ解析では、二乗誤差損失下での急激な局所最小値の欠如に対して、LoRAランクの$r(r+1)/2 > KN$が十分条件$r(r+1)/2 となる。
この状態において、所定のランクを$r = 1$に下げる3つの結果を与える。
論文 参考訳（メタデータ） (2026-05-05T13:09:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。