論文の概要: Curvature Tuning: Provable Training-free Model Steering From a Single Parameter

• arxiv url: http://arxiv.org/abs/2502.07783v1
• Date: Tue, 11 Feb 2025 18:59:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-12 14:06:48.643190
• Title: Curvature Tuning: Provable Training-free Model Steering From a Single Parameter
• Title（参考訳）: 曲率チューニング: 単一パラメータからの学習不要モデルステアリング
• Authors: Leyang Hu, Randall Balestriero,
• Abstract要約: モデル決定境界の曲率を1つのパラメータで変調する方法を示す。 これにより、CTは従来の微調整法よりも効率的かつ解釈可能である。 事前学習モデルの一般化とロバスト性を改善する上での有効性を実証的に検証する。
• 参考スコア（独自算出の注目度）: 13.412573082645096
• License:
• Abstract: The scaling of model size and data size has reshaped the paradigm of AI. As a result, the common protocol to leverage the latest models is to steer them towards a specific downstream task of interest through {\em fine-tuning}. Despite its importance, the main methods for fine-tuning remain limited to full or low-rank adapters--containing countless hyper-parameters and lacking interpretability. In this paper, we take a step back and demonstrate how novel and explainable post-training steering solutions can be derived theoretically from {\em spline operators}, a rich mathematical framing of Deep Networks that was recently developed. Our method--coined \textbf{Curvature Tuning (CT)}--has a single parameter that provably modulates the curvature of the model's decision boundary henceforth allowing training-free steering. This makes CT both more efficient and interpretable than conventional fine-tuning methods. We empirically validate its effectiveness in improving generalization and robustness of pretrained models. For example, CT improves out-of-distribution transfer performances of ResNet-18/50 by 2.57\%/1.74\% across seventeen downstream datasets, and improves RobustBench robust accuracy by 11.76\%/348.44\%. Additionally, we apply CT to ReLU-based Swin-T/S, improving their generalization on nine downstream datasets by 2.43\%/3.33\%. Our code is available at \href{https://github.com/Leon-Leyang/curvature-tuning}{https://github.com/Leon-Leyang/curvature-tuning}.
• Abstract（参考訳）: モデルサイズとデータサイズのスケーリングは、AIのパラダイムを変えました。 結果として、最新のモデルを活用するための一般的なプロトコルは、それらを特定の下流のタスクへと誘導することである。 その重要性にもかかわらず、微調整の主な方法はフルまたはローランクのアダプタに限られており、無数のハイパーパラメータを含み、解釈性に欠ける。 本稿では,最近開発されたDeep Networks のリッチな数学的フレーミングである {\em spline operator} から,新奇かつ説明可能なポストトレーニングステアリングソリューションが理論的にどのように導出できるかを示す。 我々の方法-coined \textbf{Curvature Tuning (CT)}-は、モデルの決定境界の曲率を順に変調する単一のパラメータを持ち、したがってトレーニング不要なステアリングを可能にする。 これにより、CTは従来の微調整法よりも効率的かつ解釈可能である。 事前学習モデルの一般化とロバスト性を改善する上での有効性を実証的に検証する。 例えば、CTは17の下流データセットでResNet-18/50の分布外転送性能を2.57\%/1.74\%改善し、ロバストベンチのロバスト精度を11.76\%/348.44\%改善している。 さらに、ReLUベースのSwin-T/SにCTを適用し、9つの下流データセットの一般化を2.43\%/3.33\%改善する。 我々のコードは \href{https://github.com/Leon-Leyang/curvature-tuning}{https://github.com/Leon-Leyang/curvature-tuning} で利用可能です。

関連論文リスト

• NUDGE: Lightweight Non-Parametric Fine-Tuning of Embeddings for Retrieval [0.7646713951724011]
  既存のアプローチは、事前訓練されたモデル自体を微調整するか、より効率的に、事前訓練されたモデルの出力を変換するためにアダプタモデルを訓練する。 NUDGEは、新しい非パラメトリック埋め込みファインチューニングアプローチのファミリーである。 NUDGEは、$k$-NN検索の精度を最大化するために、データレコードの埋め込みを直接修正する。
  論文  参考訳（メタデータ） (2024-09-04T00:10:36Z)
• Test-time adaptation for geospatial point cloud semantic segmentation with distinct domain shifts [6.80671668491958]
  テスト時間適応(TTA)は、ソースデータへのアクセスや追加のトレーニングなしに、推論段階でラベル付けされていないデータに事前訓練されたモデルの直接適応を可能にする。 本稿では,3つの領域シフトパラダイムを提案する。光グラムから空気中LiDAR,空気中LiDAR,合成-移動レーザー走査である。 実験の結果,分類精度は最大20%mIoUに向上し,他の手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-07-08T15:40:28Z)
• Towards Robust and Efficient Cloud-Edge Elastic Model Adaptation via Selective Entropy Distillation [56.79064699832383]
  Cloud-Edge Elastic Model Adaptation (CEMA)パラダイムを確立し、エッジモデルが前方伝播のみを実行するようにします。 CEMAでは,通信負担を軽減するため,不要なサンプルをクラウドにアップロードすることを避けるための2つの基準を考案した。
  論文  参考訳（メタデータ） (2024-02-27T08:47:19Z)
• Trainable Projected Gradient Method for Robust Fine-tuning [36.470333094917436]
  本研究では,各層に課される制約を自動的に学習し,微粒な微調整正規化を実現するために,TPGM(Traiable Projected Gradient Method)を提案する。 これは二段階制約最適化問題としてファインチューニングを定式化することによって動機付けられる。 TPGM は OOD 性能における既存の微調整手法よりも優れた性能を示し,ID 性能に適合することを示した。
  論文  参考訳（メタデータ） (2023-03-19T17:30:44Z)
• Online Hyperparameter Optimization for Class-Incremental Learning [99.70569355681174]
  クラス増分学習(Class-incremental Learning, CIL)は、クラス数がフェーズごとに増加する一方で、分類モデルを訓練することを目的としている。 CILの固有の課題は、安定性と塑性のトレードオフである。すなわち、CILモデルは古い知識を保ち、新しい知識を吸収するためにプラスチックを保たなければならない。 本稿では,事前設定を知らずにトレードオフを適応的に最適化するオンライン学習手法を提案する。
  論文  参考訳（メタデータ） (2023-01-11T17:58:51Z)
• Prompt Tuning for Parameter-efficient Medical Image Segmentation [79.09285179181225]
  2つの医用画像データセットのセマンティックセグメンテーションにパラメータ効率が良いが効果的な適応を実現するために,いくつかのコントリビューションを提案し,検討する。 我々はこのアーキテクチャを、オンライン生成プロトタイプへの割り当てに基づく専用密集型セルフスーパービジョンスキームで事前訓練する。 得られたニューラルネットワークモデルにより、完全に微調整されたモデルとパラメータに適応したモデルとのギャップを緩和できることを実証する。
  論文  参考訳（メタデータ） (2022-11-16T21:55:05Z)
• Scaling & Shifting Your Features: A New Baseline for Efficient Model Tuning [126.84770886628833]
  既存の微調整法は、事前訓練されたモデルの全てのパラメータ(フル微調整)をチューニングするか、最後の線形層(線形プローブ)のみをチューニングする。 そこで本研究では,SSFと呼ばれるパラメータ効率の高いファインタニング手法を提案する。
  論文  参考訳（メタデータ） (2022-10-17T08:14:49Z)
• DSEE: Dually Sparsity-embedded Efficient Tuning of Pre-trained Language Models [152.29364079385635]
  事前訓練されたモデルが大きくなればなるほど、微調整のプロセスは時間がかかり、計算コストがかかる可能性がある。 本稿では,重み更新と最終モデルの重み付けに先立って,疎度を活用することで,資源・パラメータ効率の微調整を行うフレームワークを提案する。 提案するフレームワークは,Dually Sparsity-Embeded Efficient Tuning (DSEE)と呼ばれ,パラメータ効率のよい微調整とリソース効率の推論という2つの重要な目標を達成することを目的としている。
  論文  参考訳（メタデータ） (2021-10-30T03:29:47Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。