論文の概要: A Tropical Geometry View of Forgetting: A Per-Unit Projector for Knowledge-Preserving Fine-Tuning
- arxiv url: http://arxiv.org/abs/2610.04670v1
- Date: Sat, 03 Oct 2026 17:36:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-11 17:53:24.625062
- Title: A Tropical Geometry View of Forgetting: A Per-Unit Projector for Knowledge-Preserving Fine-Tuning
- Title（参考訳）: 鍛造の熱帯幾何学的視点:知識保存ファインチューニングのためのユニット単位プロジェクタ
- Abstract要約: Adam-NSCLのようなリプレイフリープロジェクタは、更新の各行でレイヤの入力の共有サブスペースを禁止した。
OPT-1.3bでは、(トークン、ユニット)ペアの96%が閉じられているが、プロジェクターは6つの予算でアダム・NSCLよりも少ないことを忘れている。
- 参考スコア（独自算出の注目度）: 11.648777900617267
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Fine-tuning a language model on new text degrades what it already does. Replay-free projectors such as Adam-NSCL and GPM forbid one shared subspace of a layer's inputs in every row of the update. The tropical geometry of a ReLU layer shows why this is too coarse. In data space, the units' walls are tropical hypersurfaces whose cells are dual to the upper vertices of a zonotope; in weight space, each old token is a hyperplane, and the tokens cut out a polyhedron, the closure of the weights that keep every token on its side. An exact identity joins the two pictures: the squared change of the layer's output under any weight change splits into in-cell, open-to-closed and closed-to-open terms, and the first two live on the tokens each unit fires on. The identity names a gate-aware per-unit projector, and a budget-separation theorem prices exact protection: it costs a unit the rank of its own open tokens, while a shared subspace pays at least the rank of their union in every row. On OPT-1.3b, where 96% of (token, unit) pairs are closed, the projector forgets less than Adam-NSCL at all six matched budgets from 9 to 60 constrained directions per row, the gap widening from $1.1\times$ to $4.3\times$; with 1/5.5 of the directions it halves the forgetting of Adam-NSCL at GPM's energy threshold. On OPT-6.7b, it matches Adam-NSCL's forgetting at matched budget while learning more. As the theory predicts, the open/closed partition is the operative variable: open tokens beat random, sign-blind and anti-gate token sets on 18 of 18 seed-pairs. In pruning repair, every derivative-based local model of the output error at the dense weights is blind to pairs that open: the minimisers of the gate-weighted objective can leave the polyhedron, the objective's closed-form solution is 1.94 nats worse than no repair on OPT-1.3b, and a convex one-sided penalty bounds the escape.
- Abstract（参考訳）: 新しいテキストで言語モデルを微調整することは、既に行っていることを劣化させる。
Adam-NSCL や GPM のようなリプレイフリープロジェクタは、更新の各行でレイヤの入力の共有サブスペースを禁止した。
ReLU層の熱帯幾何学は、これが粗い理由を示している。
データ空間では、単位の壁は、細胞がゾノトープの上頂点に双対な熱帯超曲面であり、重量空間では、それぞれの古いトークンは超平面であり、トークンはポリヘドロンを切断し、全てのトークンを横に保持する重みの閉包である。
任意の重量変化の下での層の出力の正方形の変化は、セル内に分割され、オープン・トゥ・クローズドでクローズド・トゥ・オープンな用語で、最初の2つは各ユニットが点火するトークンに生きている。
単位はゲート対応の単位プロジェクターと名付けられ、予算分離の定理は正確な保護を価格に設定する: ユニットは自身のオープントークンのランクを犠牲にし、共有部分空間は各行で最低でもユニオンのランクを支払う。
OPT-1.3bでは、(トークン、ユニット)ペアの96%が閉じられているが、プロジェクターは、Adam-NSCLより少ない6つの一致した予算を9行から60行に制限された方向から、ギャップが1.1\times$から4.3\times$に拡大している。
OPT-6.7bでは、Adam-NSCLがより多くのことを学習しながら、一致した予算で忘れていたことと一致している。
オープントークンは18のシードペアのうち18のランダム、サイン・ブレンド、アンチゲートトークンセットを破る。
プルーニング修復では、高密度重みでの出力誤差の微分ベースの局所モデルはすべて、開放されたペアに盲目である: ゲート重み付けされた目的のミニミザーはポリヘドロンを離れることができ、目的のクローズドフォーム解は OPT-1.3b の修理より1.94ナット悪い。
関連論文リスト
- Beyond Layers: Position-Resolved Gradient Conflict and Position-Aware Modulation for Unified Multimodal Models [10.526335126836573]
統一マルチモーダルモデル(UMM)は、共有パラメータに基づく画像理解と自己回帰画像生成を訓練する。
位置認識変調 (PAM) を提案し, 高コンフリクト位置のみに生成勾配の反整合成分を除去する。
PAMはレイヤの分離を$+21$ MMEと$+2.4$ GenEvalで改善し、POPEと全体的なFIDにマッチする。
論文 参考訳（メタデータ） (2026-09-29T20:14:33Z) - Encryptability As a Coordinate Choice: Depth-One Homomorphic Federated Learning of Quantum Neural Networks [4.52362577649972]
暗号化されたトレーニングは、サーバ側の更新を低レベルに保つことに依存します。
暗号化ローテーション更新には1つの乗算レベルがかかることを示す。
また、ノイズ予算のアブレーションは、暗号化ノイズが正規化するという仮説に反することを示す。
論文 参考訳（メタデータ） (2026-09-24T21:53:23Z) - $\text{GSF-}χ$: Global Stereochemical Fields for Chiral Graph Transformers [49.85093436361195]
GSF-$$は、全ての対の相互作用をステレオジェニック単位が変調するグラフ変換器である。
$C$プロジェクションはミラーオンのECDピークカウントと位置をミラーオードピークサインから分離する。
GSF-$$は全ての中央ECD出力をリードし、軸方向回転とシンボルを最強のベースラインで12.6%$と7.9%$で改善する。
論文 参考訳（メタデータ） (2026-09-11T07:41:20Z) - Equivariance Breaks the Learning Rate [24.409404298953234]
等変ネットワークは一般的にアダムで訓練される。
等変線形層内のこの違いの1つの源を同定する。
ブロックワイドなステップ制御と運動量蓄積が、ムオンの利点の大部分を占めることを示す。
論文 参考訳（メタデータ） (2026-09-08T07:52:03Z) - Disparity Has a Sign: Stereo Matching Beyond the Zero-Disparity Plane [52.210414985125816]
立体視内容が、負の相違に対応するゼロの相違面の背後にある物体をどう含んでいるかを示す。
撮影者が作成した7本の公開映画から21,495ドルのステレオペアのベンチマークである textitZDPShift を提案する。
同じシーンコンテンツでは、ファンデーションは25.24ドルEPEから75.33ドルpxに上昇し、すべてのバックボーンが3ピクセルの差分誤差を超えるピクセルの約半分を残している。
論文 参考訳（メタデータ） (2026-09-06T19:58:35Z) - BiKAN: Restoring Collapsed Basis of Binary Kolmogorov--Arnold Networks [6.860988566886594]
Kolmogorov-Arnold Network(KAN)のバイナリ化は各レイヤで利用可能な関数空間を変更する。
提案するBiKANは,各2進数2のWalsh文字を加算することにより,この問題に対処する。
W1A1では、ビカンは99.48%、84.38%、Mは55.81%、401AR-10は72AR-100である。
論文 参考訳（メタデータ） (2026-08-02T20:49:59Z) - The Intruder Threshold: A Spectral Law for LoRA Fine-Tuning [3.860898721527665]
LoRAファインチューニングは、破滅的な忘れを誘う侵入者次元を生み出すことができる。
観測されたスペクトルの層ごとに層が現れると予測される理論は存在しない。
完全な微調整は、すべてのレイヤのしきい値よりはるかに低いアップデートを分散させる。
Norm-matchedの介入は、更新の規模ではなく、しきい値の交差する層が忘れを伴っていることを確認します。
論文 参考訳（メタデータ） (2026-07-26T15:17:41Z) - More Structure, Not More Capacity: Object-Centric Representations for Visuomotor Imitation Learning [54.65906330923846]
対象中心のスロット表現は、事前学習された視覚モデルに代わる構造化された代替物であることを示す。
トークンの16倍の高密度なパッチグリッドは、グローバル機能に匹敵するパフォーマンスはない。
明示的な2D空間目標とネイティブ解像度レンダリングにより、全システムは68.7$pm$4.2%まで上昇し、特権付き3Dオーラクルの上界の直ぐ下にある。
論文 参考訳（メタデータ） (2026-07-10T10:35:24Z) - Hidden-State Privacy Has an Empty Middle [51.56484100374058]
すべてのフルランクガウス解放を$O(1)$ Fisher utility で表すと、マハラノビス信号が隠れた幅で直線的に成長する方向を認める。
スクラッチからトレーニングされたスプリットメモリトランスフォーマーは、[20, 33]$90MでG_mathrmMahに達し、固定言語損失ペナルティにおいて、30Mから1Bまでの同じ予算のGPTベースラインに対して6ドル～24ドルという優位性を維持する。
論文 参考訳（メタデータ） (2026-05-21T20:12:09Z) - Quantum double aspects of surface code models [77.34726150561087]
基礎となる量子double $D(G)$対称性を持つ正方格子上でのフォールトトレラント量子コンピューティングの北エフモデルを再検討する。
有限次元ホップ代数$H$に基づいて、我々の構成がどのように$D(H)$モデルに一般化するかを示す。
論文 参考訳（メタデータ） (2021-06-25T17:03:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。