論文の概要: Towards Building Non-Fine-Tunable Foundation Models

• arxiv url: http://arxiv.org/abs/2602.00446v1
• Date: Sat, 31 Jan 2026 01:40:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-03 19:28:33.186406
• Title: Towards Building Non-Fine-Tunable Foundation Models
• Title（参考訳）: 非Fine-Tunable Foundationモデルの構築に向けて
• Authors: Ziyao Wang, Nizhang Li, Pingzhi Li, Guoheng Sun, Tianlong Chen, Ang Li,
• Abstract要約: オープンソース基盤モデル(FM)は、幅広い再利用を可能にすると同時に、モデルトレーナーを経済的・安全リスクに晒す。 PMP(Private Mask Pre-Training)は,表現学習をスパースサブネットワークに集約する事前学習フレームワークである。 これにより、マスクにアクセスせずに未許可の微調整を行い、事前訓練されたサブスペースとミスマッチしたパラメータを更新する。
• 参考スコア（独自算出の注目度）: 41.92499476983174
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Open-sourcing foundation models (FMs) enables broad reuse but also exposes model trainers to economic and safety risks from unrestricted downstream fine-tuning. We address this problem by building non-fine-tunable foundation models: models that remain broadly usable in their released form while yielding limited adaptation gains under task-agnostic unauthorized fine-tuning. We propose Private Mask Pre-Training (PMP), a pre-training framework that concentrates representation learning into a sparse subnetwork identified early in training. The binary mask defining this subnetwork is kept private, and only the final dense weights are released. This forces unauthorized fine-tuning without access to the mask to update parameters misaligned with pretraining subspace, inducing an intrinsic mismatch between the fine-tuning objective and the pre-training geometry. We provide theoretical analysis showing that this mismatch destabilizes gradient-based adaptation and bounds fine-tuning gains. Empirical results on large language models demonstrating that PMP preserves base model performance while consistently degrading unauthorized fine-tuning across a wide range of downstream tasks, with the strength of non-fine-tunability controlled by the mask ratio.
• Abstract（参考訳）: オープンソースファウンデーションモデル(FM)は、広範囲の再利用を可能にするが、モデルトレーナーは、制限のない下流の微調整から経済的および安全性のリスクにさらされる。 我々は、タスク非依存の未許可微調整の下で限られた適応ゲインを得ながら、リリース形式で広く使用可能なモデルを構築することで、この問題に対処する。 本稿では,PMP(Private Mask Pre-Training)を提案する。 このサブネットを定義する二項マスクは秘密にされ、最後の密重みのみが解放される。 これにより、マスクにアクセスせずに未許可の微調整を行い、事前訓練されたサブスペースと不一致なパラメータを更新し、微調整目的と事前訓練された幾何学との間の本質的なミスマッチを誘導する。 我々は,このミスマッチが勾配に基づく適応を不安定化し,微調整ゲインを束縛することを示す理論的解析を行った。 大規模言語モデルにおける実験結果から,PMPはベースモデル性能を保ちながら,マスク比によって制御される非微細チューニングの強度を抑えながら,広範囲の下流タスクにおいて不許可な微調整を連続的に低下させることを示した。

関連論文リスト

• Provably Safe Model Updates [6.7544474785403885]
  確実に安全なモデル更新のためのフレームワークを導入します。 パラメータ化された抽象領域(orthotopes, zonotopes)に問題を緩和すると、抽出可能な原始双対の定式化が得られることを示す。 これにより、安全なドメインにプロジェクションすることで、更新(使用するデータやアルゴリズムに依存しない)の効率的な認証が可能になる。
  論文  参考訳（メタデータ） (2025-12-01T17:19:53Z)
• Deep Hierarchical Learning with Nested Subspace Networks [53.71337604556311]
  大規模ニューラルネットワークのためのNested Subspace Networks (NSN)を提案する。 NSNは、単一のモデルを連続した計算予算の範囲で動的かつきめ細かな調整を可能にする。 我々は,NSNを訓練済みのLLMに外科的に適用し,スムーズで予測可能な計算性能フロンティアを解き放つことができることを示した。
  論文  参考訳（メタデータ） (2025-09-22T15:13:14Z)
• Unsupervised Parameter Efficient Source-free Post-pretraining [52.27955794126508]
  教師なしのUpStepを紹介します。 ソースドメインからターゲットドメインへのベースモデルを適応するための、ソースフリーのポストプレトレーニングアプローチ。 私たちは、Imagenetをベースモデルとして、教師付きおよび教師なしの両方でトレーニングされた、さまざまな一般的なバックボーンアーキテクチャを使用します。
  論文  参考訳（メタデータ） (2025-02-28T18:54:51Z)
• Inducing Semi-Structured Sparsity by Masking for Efficient Model Inference in Convolutional Networks [0.0]
  本稿では,コンボリューションカーネルの半構造化空間パターンをマスキング形式で学習する手法を提案する。 この手法はモデル性能を低下させることなく、推論中に2倍以上の畳み込みモデルを加速する。
  論文  参考訳（メタデータ） (2024-11-01T00:53:33Z)
• Provable Meta-Learning with Low-Rank Adaptations [37.120226706944926]
  本稿では,PEFTをベースとしたメタラーニングフレームワークを導入し,未知のタスクに容易に適応できるモデルを学習する。 LoRAを用いた線形モデルでは、適応可能なパラメータの集合を見つけるのに標準再学習が確実に最適であることを示す。 我々は、これらの理論的洞察を、実データビジョンや言語タスクと同様に、合成データの実験を通じて検証する。
  論文  参考訳（メタデータ） (2024-10-29T17:24:18Z)
• Recovering the Pre-Fine-Tuning Weights of Generative Models [43.59537275572178]
  そこで本研究では,いくつかの低ランク(LoRA)微調整モデルを用いて,プレファインチューニングモデルの重みを復元する手法を提案する。 このアプローチでは、パーソナライズされたStable DiffusionやアライメントされたMistralといった大規模モデルに対して、この新しい脆弱性を活用しています。
  論文  参考訳（メタデータ） (2024-02-15T18:59:02Z)
• Sparse is Enough in Fine-tuning Pre-trained Large Language Models [98.46493578509039]
  我々はSparse Increment Fine-Tuning (SIFT) という勾配に基づくスパース微調整アルゴリズムを提案する。 GLUE Benchmark や Instruction-tuning などのタスクで有効性を検証する。
  論文  参考訳（メタデータ） (2023-12-19T06:06:30Z)
• Extended Unconstrained Features Model for Exploring Deep Neural Collapse [59.59039125375527]
  近年、ディープニューラルネットワークで「神経崩壊」(NC)と呼ばれる現象が経験的に観察されている。 最近の論文は、単純化された「制約なし特徴モデル」を最適化する際に、この構造を持つ最小化器が出現することを示している。 本稿では, 正規化MSE損失に対するUDFについて検討し, クロスエントロピーの場合よりも最小化器の特徴がより構造化可能であることを示す。
  論文  参考訳（メタデータ） (2022-02-16T14:17:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。