論文の概要: Omega-S: A Functional Resilience Index for LLM Fine-Tuning

• arxiv url: http://arxiv.org/abs/2608.03887v1
• Date: Tue, 04 Aug 2026 16:22:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-05 15:30:23.280751
• Title: Omega-S: A Functional Resilience Index for LLM Fine-Tuning
• Title（参考訳）: Omega-S: LLMファインチューニングのための機能レジリエンス指標
• Abstract要約: 大規模な言語モデルの微調整は、以前学んだことを劣化させる。 重み行列のみから計算したドロップインペナルティであるOmega-Sを提案する。 既存のトレーニングループには3行あり、ステップのコストに対して4%未満の追加がある。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Fine-tuning a large language model on new data degrades what it previously learned. We present Omega-S, a drop-in penalty computed from the weight matrix alone: it needs no previous-task data, no Fisher matrix and no stored copy of the old weights. It is three lines in an existing training loop and adds under 4% to the cost of a step. Retention. On Llama-3-8B with LoRA, fine-tuned from code to prose and measured by HumanEval over ten seeds, Omega-S retains more of the original capability than no regularisation on 9 of 10 seeds (0.173 -> 0.238 absolute pass@1; sign test one-sided p=0.011, Wilcoxon p=0.006), as a retention ratio, 62.9% -> 84.1%. It also beats tuned weight decay on 10 of 10 seeds (p=0.002) and tuned EWC on 8 of 10 (p=0.014), every arm re-measured in the same session. Mechanism, measured rather than asserted. Omega-S is topological by construction, its objective built from Tr(A^3), but we measured which of its four factors actually moves and three do not: their elasticity with respect to the weights is at or below 1e-4, against 9e-3 for the degree-variance term. As implemented, the composite reduces to a penalty on the variance of node degrees, which means row magnitude in square modules and directional alignment in non-square ones. We report this because a method whose name promises one thing and whose gradient does another should say so. We also enumerate the open design choices, including a contrast-preserving construction that does what it was designed to do and makes retention worse on all ten seeds. Repeating an identical configuration, same seed and same hardware, gives a standard deviation of 0.104 in retention ratio. We have not found this quantified for low-rank fine-tuning of language models, and it bounds every seed-paired comparison in this literature, ours included. Code, per-seed results and the full record of negative results are available.
• Abstract（参考訳）: 新しいデータに対する大きな言語モデルの微調整は、以前学んだことを劣化させる。 重み行列のみから計算したドロップインペナルティであるOmega-Sについて述べる。 既存のトレーニングループには3行あり、ステップのコストに対して4%未満の追加がある。 保留。 Llama-3-8Bでは、10種のうち9種(0.173 -> 0.238 absolute pass@1; sign test one-sided p=0.011, Wilcoxon p=0.006)を62.9% -> 84.1%で保持する。 また、10種中10種(p=0.002)で調整された重量減衰を10種中8種(p=0.014)で調整し、各腕を同じセッションで再測定した。 メカニズム、主張されるのではなく測定される。 Omega-S は Tr(A^3) を用いて構築されたトポロジカルな構造であるが,その 4 つの因子のうちどれが実際に動くのか,また 3 つの因子がそうでないのかを測定した。 実装されるにつれて、この合成はノード次数の分散に対するペナルティに還元され、これは正方形加群における行の大きさと非正方形における方向アライメントを意味する。 このことは、名前が一つのことを約束し、勾配が別のことをするメソッドがそう言っているからである。 オープンデザインの選択も列挙しています。これにはコントラスト保存構造が含まれています。 同じ構成、同じシードと同じハードウェアを繰り返すと、保持率0.104の標準偏差が得られる。 我々は、低ランクの言語モデルの微調整のためにこれを定量化していない。 コード、シード毎の結果、否定的な結果の全記録が利用可能だ。

関連論文リスト

• Steering Under Compression: Dose-Response, Capability Cost, and Failure Asymmetry in Quantized LLMs [0.0]
  推論時ステアリングは、パラメータ修正なしで大きな言語モデルの振る舞い制御を可能にする。 トレーニング後の量子化により、デプロイメントのメモリと計算コストが削減される。 重量のみの量子化下での活性化ステアリングを系統的に研究する。
  論文  参考訳（メタデータ） (2026-09-06T08:41:42Z)
• Omega-N: Interpretable Structural Node Descriptors and Their Applicability Domain [0.0]
  複合構造指数は、ネットワークを1つの数で要約する。 この指数族の理論論文の回顧録は、世界中心性はそれらを破るよりも、鋭いベースラインを結びつけるべきだと述べている。 4つの因子のそれぞれをローカライズすることで、Omega-Nを構築する。
  論文  参考訳（メタデータ） (2026-08-21T16:16:30Z)
• Feature Priming in Online Linear Regression: Sparse-Regret Lower Bounds and a Tight Univariate Rate [47.36630149538994]
  高次元のオンライン予測では、最良の予測子はいくつかの機能にのみ依存する可能性があるため、後悔は周囲の次元ではなく、疎らさでスケールすべきである。 WarmuthとAmidはCOLT 2023で、これらの3つのルールのいずれかが競合するオンライン後悔の保証を認めているかどうかを尋ねた。 安価なニュアンスは、リフィットが真の予測座標を過度に重くする原因となる。
  論文  参考訳（メタデータ） (2026-08-18T09:32:03Z)
• When Single-Dataset Conclusions Fail: A 45-Task Study of Threshold Tuning and Resampling for Imbalanced Classification [0.0]
  クラス不均衡処理は、単一のベンチマークデータセットで定期的に評価される。 リークフリーなネスト型クロスバリデーションプロトコルの下では、デフォルト0.5しきい値のプレーンランダムフォレストがF1 = 0.861 +/-0.021に達する。 閾値調整の利点は、不均衡比において非単調である。
  論文  参考訳（メタデータ） (2026-08-17T05:58:33Z)
• Forgetful Attention: A Trainable Support-Vector Memory with Certified Selection and Exact Unlearning [0.16921396880325776]
  固定ボックスパラメータCの1クラスSfpの支持係数が重みを持つメモリであるSupport Vector Attention(SV-Attention)を導入する。 アクティブセットのパーティションは、リザーブトークンを正確にゼロウェイト、出力ウェイトを与え、インクリメンタルインクリメンタルソルバトークンは、同じCの下で再トレーニングせずに生成した状態を回復する。 また,実文埋め込み上での外科的排除,正確な編集,患者記録の削除,忘れやすい検索メモリも示す。
  論文  参考訳（メタデータ） (2026-07-13T23:13:57Z)
• Privacy from Symmetry: Orthogonally Equivariant Transformers for LLM Inference [45.663066206650115]
  分割推論はしばしば非現実的であり、機密テキストの推論をサードパーティプロバイダにプッシュする。 我々は、軽量な正規化変更を通じて、正確に$mathrmO(d)$-equivariantであるトランスフォーマー変種であるConjFormerを紹介した。
  論文  参考訳（メタデータ） (2026-06-15T09:31:24Z)
• Loss-Conditional PINNs for Parametric PDE Families [45.945826972787415]
  物理インフォームドニューラルネットワーク(PINN)は、残差、境界、初期およびデータ損失の重み付けを最小化し、ODEとPDEの解を近似する。 我々は,Dosovitskiy と Djolonga (2020) の損失条件訓練を PDE-Residual 設定に適応させるLC-PINNを紹介した。 完全な物理情報しか持たないが、パラメトリックな家族の訓練も受けている。
  論文  参考訳（メタデータ） (2026-06-03T04:02:10Z)
• Right Makes Might: Aligning Verified Hidden States Empowers RL Reasoning [55.264863369127774]
  現在の方法では、それぞれの正しいロールアウトを単一の報酬ビットに減らし、隠れた状態間で共有される幾何学的構造を無視している。 本稿では,RLトレーニングにおけるアンカートークンにおける正ロールアウトの最終層を,トレーニングと推論の両方においてゼロオーバーヘッドで整列する補助損失関数Hidden-Alignを提案する。 8つの数学的推論ベンチマークでは、Hidden-AlignはDAPOベースラインの平均パス@1をQwen3-1.7B, 4B, 14Bで3.8, 6.2, 5.4ポイント改善し、3つのスケールで一貫したパス@kゲインを得る。
  論文  参考訳（メタデータ） (2026-06-02T06:51:15Z)
• Measuring the Symmetry--Data Exchange Rate [0.2538209532048867]
  同一の軌道サイズと一致した計算値を持つ間違った群制御は制約を伴わないよりも悪いことを示す。 相対交換率beta_diff = 1.28は、理論ブートストラップ1.0と符号と桁違いに一致している。 手法的貢献 -- 共有拡散の欠点をキャンセルする相対レート推定器、間違ったグループ制御、および予め特定された失敗分類 - は、強度をパラメータ化できる帰納バイアスに転送される。
  論文  参考訳（メタデータ） (2026-05-31T08:17:40Z)
• Decomposing Evolutionary Mixture-of-LoRA Architectures: The Routing Lever, the Lifecycle Penalty, and a Substrate-Conditional Boundary [3.151184728006369]
  我々は、LoRAシステムの進化的混合を、ルータの書き換え、ドメイン単位の離脱評価スコープ、死のライフサイクル、アルファブレンド継承、SVD突然変異、スロット再配置の3つの要因に分解する。 合成サンドボックスは、制御チャネル上の進化的探索は、タスクに予め整列している場合にのみ負荷を受ける。
  論文  参考訳（メタデータ） (2026-05-11T18:59:11Z)
• The Extrapolation Cliff in On-Policy Distillation of Near-Deterministic Structured Outputs [52.709361620508595]
  ListOPDは、パラメータの5分の1で8B-SFTベースラインで、学生をドメイン内に持ち込む。 Amazon Fashionでは、3つの事前登録テスト — 細粒度崖間隔テスト、小さなクリップのクロス予測 — がロックされた予測ウィンドウ内に落下し、グリッド解像度以下のクローズドフォーム予測に一致する小さなクリップ値が設定されている。
  論文  参考訳（メタデータ） (2026-05-09T06:48:00Z)
• Statistically-Lossless Quantization of Large Language Models [41.38595517076645]
  本稿では、量子化LDMにおけるロスレスの3つの相補的な概念を通して、統計的にロスレス圧縮の中間点について検討する。 第一に、タスクロスレス圧縮は、自然サンプリングのばらつきの中でゼロショットベンチマークの精度を保ち、攻撃的なビット幅で達成可能である。 第二に、分散ロスレス圧縮というより厳密な概念を定式化し、量子化モデルの次トーケン分布を、原点と事実上区別できないものにすることを要求する。 第三に、対称量子化が非対称量子化に対するガンマ二乗によるノイズ分散を膨らませることを示すガンマ二乗分散法則を証明する。
  論文  参考訳（メタデータ） (2026-05-04T09:46:47Z)
• Lost in State Space: Probing Frozen Mamba Representations [0.5156484100374058]
  マンバの繰り返し状態 h_t は、これまで見てきた全てのトークンの圧縮された要約である。 固定パッチ境界におけるトークンレベルの出力y_tを抽出すると、意味文要約を無償で取得する。 我々は,事前訓練したマンバ130Mの背骨から凍結文表現を抽出する4つの方法の比較を行った。
  論文  参考訳（メタデータ） (2026-04-30T21:35:08Z)
• ZenBrain: A Neuroscience-Inspired 7-Layer Memory Architecture for Autonomous AI Systems [51.56484100374058]
  LongMemEval-500では、ZenBrainは長いコンテキストのオラクルのバイナリ・ジャッジの精度を4.5pp以内と一致させる。 ZenBrainは7層の神経科学にインスパイアされたメモリアーキテクチャである。
  論文  参考訳（メタデータ） (2026-04-26T20:39:19Z)
• Revisiting Auxiliary Losses for Conditional Depth Routing: An Empirical Study [31.968379218484746]
  ゲート決定は、言語モデリング(LM)の損失に影響を与える前に、多くのレイヤを通して伝播しなければならない。 補助的な損失はトレーニングを安定させるために積み重ねられることが多いが、それらの間の相互作用、特に予測的な補助的なスコアと明示的なスコアの監督の間の相互作用は、制御された条件下で体系的に比較されていない。 これは、後続のすべてのレイヤがフルに実行されると仮定する、オフポリティのオラクルラベルにトレースしますが、ゲートされた実行ルートはフルに1分しかありません。
  論文  参考訳（メタデータ） (2026-04-19T03:20:40Z)
• Only relative ranks matter in weight-clustered large language models [0.0]
  大規模言語モデル(LLM)は数十億のパラメータを含むが、多くの正確な値は必須ではない。 重みの相対的なランクは、ある接続が正確な大きさよりも強いか弱いかを示す。 Llama 3.1-8B-Instruct と SmolLM2-135M では、各行列を16-64個の異なる値に減らし、再トレーニングすることなく高い精度を保っている。
  論文  参考訳（メタデータ） (2026-03-18T16:55:13Z)
• Semantic Tube Prediction: Beating LLM Data Efficiency with JEPA [50.494504099850325]
  我々は、トークン列が滑らかな意味多様体上の測地線を辿り、従って局所線型であることを示す測地論仮説を導入する。 本稿では,この制約により信号対雑音比が向上し,軌道中の衝突を防止することにより多様性が保たれることを示す。 幾何学的先行性は、ブルートフォーススケーリングを超越できることを実証する。
  論文  参考訳（メタデータ） (2026-02-26T04:45:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。