論文の概要: A Gravitational Interpretation of Fine-Tuning Reversion

• arxiv url: http://arxiv.org/abs/2606.28525v1
• Date: Fri, 26 Jun 2026 18:21:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:15.591349
• Title: A Gravitational Interpretation of Fine-Tuning Reversion
• Title（参考訳）: 微調整反転の重力論的解釈
• Abstract要約: 無害データの微調整は、トレーニングの早い段階で取得した振る舞いを部分的に解き放つことができる。 これらの現象は、共通のトレーニング履歴レンズを通して有用である、と我々は主張する。 24回のランステップペアで、観測された各アライメントは等方性活性化空間ヌルのp99を超える。
• 参考スコア（独自算出の注目度）: 7.860909954604633
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fine-tuning on harmless data can partially undo behaviors acquired earlier in training. Safety can erode under benign post-alignment updates, unlearned capabilities can re-emerge, latent traits can transfer through apparently unrelated supervision, and related post-alignment fragility appears in other generative settings. We argue these phenomena are usefully viewed through a common training-history lens. Our hypothesis is geometric: large early training phases create dominant behavioral manifolds, while later alignment or specialization phases are shallower displacements from them. Subsequent fine-tuning can therefore inherit a persistent reversion component pointing back toward a witness of the dominant manifold. We call this the gravitational interpretation of fine-tuning reversion. Across our main settings, representational drift rapidly acquires a component along a history-defined reversion direction (v_rev). In our main track, alignment with v_rev rises from cos = 0.429 +/- 0.052 after the first update to 0.647 +/- 0.021 by step 20. Across 24 run-step pairs, every observed alignment exceeds the p99 of an isotropic activation-space null. We demonstrate that selectively blocking motion along v_rev changes the final alignment at T=100 from 0.648 +/- 0.009 to -0.211 +/- 0.021 and reduces harmfulness from 19.0% +/- 4.0% to 8.5% +/- 1.5% with little task cost. These results support v_rev as a causally relevant mediator of early post-alignment reversion in our setup. Importantly, we do not claim that v_rev is the unique safety direction, nor that the dominant manifold is directly observed; rather, we identify a robust, history-defined direction that explains and partially controls early reversion dynamics.
• Abstract（参考訳）: 無害データの微調整は、トレーニングの早い段階で取得した振る舞いを部分的に解き放つことができる。 安全は、良心的なポストアライメントの更新の下で損なわれ、未学習の能力は再びエマージされ、潜伏した特性は明らかに無関係な監督を通じて伝達され、関連するポストアライメントの脆弱性は他のジェネレーション設定で現れる。 これらの現象は、共通のトレーニング履歴レンズを通して有用である、と我々は主張する。 我々の仮説は幾何学的であり、大きな初期訓練段階は支配的な挙動多様体を創出するが、後続のアライメントや特殊化段階はそれらからより浅い変位である。 したがって、その後の微調整は、支配多様体の目撃者を指して、永続的な回帰成分を継承することができる。 これを微調整の逆転の重力解釈と呼ぶ。 主要な設定全体にわたって、表現のドリフトは、履歴定義された回帰方向(v_rev)に沿ったコンポーネントを急速に取得する。 メイントラックでは、v_rev とのアライメントは、最初の更新後の cos = 0.429 +/- 0.052 から、ステップ20で 0.647 +/- 0.021 に上昇します。 24回のランステップペアで、観測された各アライメントは等方性活性化空間ヌルのp99を超える。 我々は, T=100における最終アライメントを0.648 +/- 0.009から-0.211 +/- 0.021に変更し, 19.0% +/- 4.0%から8.5% +/- 1.5%に減らすことを実証した。 これらの結果から,v_revは初期適応後回帰の因果関係のメディエータとして有効である。 重要なことは、v_rev が一意の安全方向であり、また支配的多様体が直接観察されることは主張しない。

関連論文リスト

• One Step, One Lead: Mitigating Higher-Order Interference in Multi-Domain Reinforcement Learning via Cross-Step Control [62.82372407840088]
  同点領域勾配は、連続的な更新が出力空間で部分的に逆転する場合においても、ほぼ一定であることを示す。 トークンレベルのリバウンドリスクをランク付けするために,各イテレーションでフォーカスドメインを指定するOSOLを提案する。 OSOLは0.4822のドメイン-マクロ平均に達し、最強の比較ベースラインよりも5.7%向上した。
  論文  参考訳（メタデータ） (2026-09-06T08:32:59Z)
• Lagged Coupling: Internal Representations Become Readable Before They Become Causal [0.0]
  内部可読性は因果効果を体系的に上回り、ラグはスケールとともに縮小しない。 予め登録されたOLMo-2複製は、減衰した大きさで方向を保存する。
  論文  参考訳（メタデータ） (2026-09-01T10:46:42Z)
• ReNFT: Repairing Mode Collapse in Reward Post-Training via Internal Probability-Mass Recalibration [84.10540890311843]
  再学習後、必然的に確率質量をいくつかの報奨モード、即時多様性を消去するモード崩壊に集中させる。 本稿では、内部の確率質量再校正により、高逆低ダイバーシティアダプタを修復するReNFTを提案する。 PickScoreとGenEvalでは、ReNFTはNFTの報酬の98.9%と99.0%を保持し、DreamSim-Divは58.8%、55.0%改善している。
  論文  参考訳（メタデータ） (2026-08-30T14:13:50Z)
• Orientation, not magnitude: the causal structure of task-vector interference in merged language models [0.0]
  タスク算術はそうでなければ機能し、フィールドはマグニチュードで原因を診断する。 層状フラックスの正確な分解は、既存の断続輸送の増幅によって支配されていることを示している。 ナイーブのbfloat16生成の「ユニバーサリティ」は、量子化粗さであることが判明した。
  論文  参考訳（メタデータ） (2026-08-12T08:40:24Z)
• Is Convergence Inevitable? Tracing Output Homogeneity Back to Base Models [49.46165710676499]
  最初のアライメント段階から意味収束が観察される。 我々は収束を明らかにし増幅することができるが、SFTデータでは導入されないことを発見した。 その結果,LMトレーニングの根底にある目的から,意味収束が自然に生じる可能性が示唆された。
  論文  参考訳（メタデータ） (2026-08-11T20:47:06Z)
• Latent Clarity: Bridging World-Model Kinematics to Semantic Manifolds for Video Anomaly Anticipation [0.0]
  継続的ビデオ検出は、リアクティブなMIL(Multiple Instance Learning)によって支配され、機能がスコアに分解される。 本稿では,連続的な意味的世界モデルパイプラインであるPULS(Predictive Unified Latent Space)を紹介する。 この翻訳だけで、UCF-Crime のチャンクレベル AUROC は 0.8994 であり、MIL や階層融合のない分布外異常は 0.8162 である。
  論文  参考訳（メタデータ） (2026-07-03T18:47:54Z)
• Taming Curvature: Architecture Warm-Up for Stable Transformer Training [52.6838951211596]
  本稿では,Hessian-vector製品を用いた暖かくスタートした変種に基づく最大(プレコンディション付き)Hessian固有値(曲率)の高速オンライン推定手法を提案する。 トレーニングの不安定性は、事前条件付き曲率の急激な上昇と一致し、曲率の深さが増加する。 大規模変圧器の実験により,本手法が効率的な曲率追跡を可能にし,不安定性を低減できることを確認した。
  論文  参考訳（メタデータ） (2026-06-15T14:16:56Z)
• When Do LLM Agents Treat Surface Noise Differently from Semantic Noise? A 68-Cell Measurement Study with a Held-Out Trace-Level Validation [9.055086193088083]
  10大言語モデルによって駆動されるチェーン・オブ・シンクとReActエージェントに経験的現象を記述した。 平均的な摂動は、同等の厳しさのプレゼンテーション摂動よりも、最終的な答えを頻繁に変更する。
  論文  参考訳（メタデータ） (2026-05-25T15:57:11Z)
• Alignment Dynamics in LLM Fine-Tuning [37.49269074190027]
  大規模言語モデル(LLM)は、人間のフィードバックから教師付き微調整と強化学習を通じて、強い整合性を達成する。 そこで我々は,微調整中にアライメントスコアを導入し,そのクローズドフォーム更新を導出し,アライメントダイナミックスのための統一的なフレームワークを提供する。
  論文  参考訳（メタデータ） (2026-05-18T12:27:12Z)
• Exactness Matters for Physical Rule Enforcement [4.230349220081444]
  より強い物理ルールの執行がいつ信頼できるか、いつそれが流通シフトの源となるかは、まだ不明である。 この問題は作用素の正確性(すなわち、補修写像が対象多様体上の恒等写像であるかどうか)を通して研究する。 制御ミスマッチ、スクリーニングされたクリーンアップ、アダプティブゲーティング、および外部バックボーンチェックは、最適な近似登録操作ポイントが生またはほぼ同一であることを示す。
  論文  参考訳（メタデータ） (2026-05-08T07:59:59Z)
• The Geometry of Alignment Collapse: When Fine-Tuning Breaks Safety [40.556122962771276]
  良質なタスクに関する微調整言語モデルは、予測不能に安全ガードレールを格下げする。 我々は、アライメントがシャープな曲率を持つ低次元部分空間に集中していることを証明する。 我々はこの機構をアライメント不安定条件によって定式化する。
  論文  参考訳（メタデータ） (2026-02-17T18:39:15Z)
• Safety Alignment as Continual Learning: Mitigating the Alignment Tax via Orthogonal Gradient Projection [52.551864761088574]
  大規模言語モデル(LLM)は、しばしばアライメント税を課す。 この税は、主に連続的な順序で学習スタイルを忘れることから生じると我々は主張する。 我々は, 塑性と安定性のバランスをとるために, OGPSA (Orthogonal Gradient Projection for Safety Alignment) を提案する。
  論文  参考訳（メタデータ） (2026-02-08T09:53:46Z)
• Riemannian Flow Matching for Disentangled Graph Domain Adaptation [51.98961391065951]
  グラフドメイン適応(GDA)は典型的には、ユークリッド空間におけるグラフ埋め込みの整列に逆学習を使用する。 DisRFMは、埋め込みとフローベースのトランスポートを統一する幾何学的なGDAフレームワークである。
  論文  参考訳（メタデータ） (2026-01-31T11:05:35Z)
• Geometric-Disentangelment Unlearning [106.99160454669902]
  忘れたサンプルへの勾配は しばしば 保持された知識を傷つける 本稿では,GU(Geometric-disment Unlearning)を提案する。 本手法はプラグ・アンド・プレイであり,既存の勾配に基づくアンラーニング手法と併用することで副作用を軽減できる。
  論文  参考訳（メタデータ） (2025-11-21T09:58:25Z)
• Direction Matters: On the Implicit Bias of Stochastic Gradient Descent with Moderate Learning Rate [105.62979485062756]
  本稿では,中等度学習におけるSGDの特定の正規化効果を特徴付けることを試みる。 SGDはデータ行列の大きな固有値方向に沿って収束し、GDは小さな固有値方向に沿って収束することを示す。
  論文  参考訳（メタデータ） (2020-11-04T21:07:52Z)
• Deriving Differential Target Propagation from Iterating Approximate Inverses [91.3755431537592]
  本稿では,各層が学習した逆数に依存するターゲット伝搬の特定の形態が,ガウス-ニュートン勾配に基づく近似最適化に対応する更新規則を導出することを示す。 そこで我々は,各層における局所的自動エンコーダに基づく反復計算について検討し,より正確な目標伝搬のインバージョンを実現する。
  論文  参考訳（メタデータ） (2020-07-29T22:34:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。