論文の概要: Sparse Autoencoders enable Robust and Interpretable Fine-tuning of CLIP models

• arxiv url: http://arxiv.org/abs/2605.15961v1
• Date: Fri, 15 May 2026 13:54:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-18 21:22:26.300932
• Title: Sparse Autoencoders enable Robust and Interpretable Fine-tuning of CLIP models
• Title（参考訳）: スパースオートエンコーダはCLIPモデルのロバストかつ解釈可能な微調整を可能にする
• Abstract要約: CLIPのような大規模で事前訓練された視覚言語モデルは、さまざまなタスクにまたがる顕著なゼロショットパフォーマンスを示している。 近年のアプローチでは、このトレードオフを緩和しようと試みているが、しばしば計算コストの高いテキストガイダンスに依存している。 そこで本研究では,モデルの視覚的表現のみで動作する頑健な微調整手法であるSAE-FTを提案する。
• 参考スコア（独自算出の注目度）: 20.739509756066795
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large-scale pre-trained vision-language models like CLIP demonstrate remarkable zero-shot performance across diverse tasks. However, fine-tuning these models to improve downstream performance often degrades robustness against distribution shifts. Recent approaches have attempted to mitigate this trade-off, but often rely on computationally expensive text-guidance. We propose a novel method for robust fine-tuning, SAE-FT, which operates only on the model's visual representations. SAE-FT regularizes changes to these representations by penalizing the addition and removal of semantically meaningful features identified by a Sparse Autoencoder trained on the pre-trained model. This constraint prevents catastrophic forgetting and makes the fine-tuning process interpretable, enabling direct analysis of semantic changes. SAE-FT is both mechanistically transparent and computationally efficient, matching or exceeding state-of-the-art performance on ImageNet and its associated distribution shift benchmarks. Code is publicly available at: https://github.com/Fabian-Mor/sae-ft.
• Abstract（参考訳）: CLIPのような大規模で事前訓練された視覚言語モデルは、さまざまなタスクにまたがる顕著なゼロショットパフォーマンスを示している。 しかし、下流性能を改善するためにこれらのモデルを微調整すると、分散シフトに対する堅牢性は低下することが多い。 近年のアプローチでは、このトレードオフを緩和しようと試みているが、しばしば計算コストの高いテキストガイダンスに依存している。 そこで本研究では,モデルの視覚的表現のみで動作する頑健な微調整手法であるSAE-FTを提案する。 SAE-FTは、事前訓練されたモデルで訓練されたスパースオートエンコーダによって識別される意味論的意味のある特徴の追加と削除を罰することによって、これらの表現の変更を規則化する。 この制約は破滅的な忘れ込みを防ぎ、微調整プロセスの解釈を可能とし、意味的変化の直接解析を可能にする。 SAE-FTは、ImageNetとその関連する分散シフトベンチマークにおいて、機械的に透過的かつ計算的に効率的である。 コードは、https://github.com/Fabian-Mor/sae-ft.comで公開されている。

関連論文リスト

• Adaptive Depth Sparse Framework: Similarity-Driven Resource Allocation for Pre-Trained LLMs [18.457250148137494]
  本稿では,既設の大規模言語モデルから深度スパースモデルへの変換を行う適応深度スパースフレームワーク(AdaDSF)を提案する。 GPT-NeoX と Qwen2.5 では、言語モデリングとコモンセンス推論について、AdaDSF は高密度の性能を保ちながら、推論FLOP を大幅に削減する。
  論文  参考訳（メタデータ） (2026-07-23T13:13:04Z)
• Interpretability Without Tradeoffs: Disentangling Polysemanticity At Equal Predictive Performance [58.49623467782041]
  ELUDeはディープニューラルネットワークの解釈可能性を改善する方法である。 潜在表現を、解釈可能な機能のように振る舞う透明で検査可能なサブユニットに分解する。 明示的なトレーニングもラベルも必要とせず、事前訓練されたモデルにも適用できる。
  論文  参考訳（メタデータ） (2026-05-29T13:39:09Z)
• Concept-Guided Fine-Tuning: Steering ViTs away from Spurious Correlations to Improve Robustness [16.541207762213272]
  視覚変換器(ViT)は、しばしば急激な相関に依存するため、分布シフトによって劣化する。 概念レベルのセマンティクスに対する推論をモデル化する,新たなファインタニングフレームワークを提案する。 提案手法は,複数のViTモデル間のロバスト性を向上する。
  論文  参考訳（メタデータ） (2026-03-09T12:31:14Z)
• Benchmarking Few-shot Transferability of Pre-trained Models with Improved Evaluation Protocols [123.73663884421272]
  より強力な事前訓練モデルと改良された適応アルゴリズムによって、わずかなショット転送が革新されている。 FEWTRANSは10種類のデータセットを含む総合的なベンチマークである。 FEWTRANS をリリースすることにより,数発の転写学習研究において再現性の向上を合理化するための厳密な "ルーラー" の提供を目指す。
  論文  参考訳（メタデータ） (2026-02-28T05:41:57Z)
• EfficientFSL: Enhancing Few-Shot Classification via Query-Only Tuning in Vision Transformers [4.880377460177786]
  Vision Transformers (ViTs) のような大型モデルは、ResNetのような小さなアーキテクチャに比べて、数ショットの分類において顕著な優位性を示している。 本稿では,クエリのみの微調整フレームワークであるEfficientFSLを提案する。 最小限のトレーニング可能なパラメータで、EfficientFSLは4つのドメイン内のいくつかのショットデータセットと6つのクロスドメインデータセットで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-01-13T12:33:02Z)
• Every Step Counts: Decoding Trajectories as Authorship Fingerprints of dLLMs [63.82840470917859]
  本稿では,dLLMの復号化機構をモデル属性の強力なツールとして利用できることを示す。 本稿では、デコードステップ間の構造的関係を捉え、モデル固有の振る舞いをよりよく明らかにする、DDM(Directed Decoding Map)と呼ばれる新しい情報抽出手法を提案する。
  論文  参考訳（メタデータ） (2025-10-02T06:25:10Z)
• StarFT: Robust Fine-tuning of Zero-shot Models via Spuriosity Alignment [70.87096576708898]
  本稿では,ゼロショットモデルの微調整を行うフレームワークであるStarFTを提案する。 StarFTはウォーターバードグループのシフトシナリオにおいて、それぞれ14.30%、平均精度を3.02%向上させる。
  論文  参考訳（メタデータ） (2025-05-19T15:15:35Z)
• TOAST: Transformer Optimization using Adaptive and Simple Transformations [40.311292704886235]
  ToASTは,全トランスバータブロックを軽量なクローズドフォームマッピングで近似する冗長性を利用するフレームワークである。 その結果,変圧器の深さの大部分は自明な関数に置き換えられ,効率的な基礎モデルに対する新たな視点が開かれた。
  論文  参考訳（メタデータ） (2024-10-07T11:35:24Z)
• Masked Images Are Counterfactual Samples for Robust Fine-tuning [77.82348472169335]
  微調整の深層学習モデルは、分布内(ID)性能と分布外(OOD)堅牢性の間のトレードオフにつながる可能性がある。 そこで本研究では,マスク付き画像を対物サンプルとして用いて,ファインチューニングモデルのロバスト性を向上させる新しいファインチューニング手法を提案する。
  論文  参考訳（メタデータ） (2023-03-06T11:51:28Z)
• Autoencoding Variational Autoencoder [56.05008520271406]
  我々は,この行動が学習表現に与える影響と,自己整合性の概念を導入することでそれを修正する結果について検討する。 自己整合性アプローチで訓練されたエンコーダは、敵攻撃による入力の摂動に対して頑健な(無神経な)表現につながることを示す。
  論文  参考訳（メタデータ） (2020-12-07T14:16:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。