論文の概要: Reversion, Retention, and Semantic Intervention: Measuring Functional Content in CLIP Fine-Tuning Deltas

• arxiv url: http://arxiv.org/abs/2610.34144v1
• Date: Sun, 25 Oct 2026 08:22:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.544475
• Title: Reversion, Retention, and Semantic Intervention: Measuring Functional Content in CLIP Fine-Tuning Deltas
• Title（参考訳）: Reversion, Retention, and Semantic Intervention: Measurementing Functional Content in CLIP Fine-Tuning Deltas
• Abstract要約: 微調整は、トレーニング済みのモデルを新しいタスクに適応させるが、どの重み変更が結果の振る舞いをサポートするかを特定することは依然として困難である。 本研究では,VT-L/14によるFGVCAircraft,VT-B/16によるFGVCAircraft,VT-L/14によるCLIPモデルの評価を行った。
• 参考スコア（独自算出の注目度）: 2.8190302580124804
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fine-tuning adapts pretrained models to new tasks, but identifying which weight changes support the resulting behavior remains difficult. Weight-space interpretability assigns semantic descriptions to these changes, called fine-tuning deltas. Such descriptions leave open how much task performance depends on the identified updates, particularly when other updates can support the same predictions. We address this gap by pairing reversion, which restores selected parameters to their pretrained values, with retention, which keeps only selected fine-tuning updates. We evaluate Contrastive Language-Image Pretraining (CLIP) models on synthetic financial charts, Flowers102, EuroSAT, and FGVCAircraft with ViT-L/14, and on Flowers102 with ViT-B/16, using a shared recipe that tunes the final six visual blocks. Our contributions are threefold. First, attention value-output (VO) updates alone recover 43-87% of the accuracy improvement, although reverting them leaves chart accuracy unchanged. Cross-entropy loss preserves this contrast on Charts and EuroSAT, while correct-class score margins reveal additional contributions. Second, VO weights recover more loss improvement than all ten equally sized, layer-matched random subsets in each setting. VO and multilayer perceptron (MLP) retentions jointly correct 25-81% of pretrained errors, demonstrating overlapping recovered behavior, which we call operational redundancy. Third, removing semantically selected directions reduces VO-retained recovery more than matched-random removal in all five settings. Together, these results distinguish semantic alignment, removal cost, and retained recovery as complementary evidence about the functional role of fine-tuning updates within the evaluated CLIP recipe.
• Abstract（参考訳）: 微調整は、トレーニング済みのモデルを新しいタスクに適応させるが、どの重み変更が結果の振る舞いをサポートするかを特定することは依然として困難である。 重み空間の解釈可能性(英語版)は、微調整デルタ(英語版)と呼ばれるこれらの変化に意味的記述を割り当てる。 このような説明は、特に他のアップデートが同じ予測をサポートする場合、特定された更新に依存するタスクパフォーマンスをオープンにする。 このギャップに対処するには、選択したパラメータを事前訓練された値に復元するペアのリバージョンと、選択した微調整更新のみを保持するリテンションによって対処する。 本研究では,VT-L/14によるFGVCAircraft,VT-B/16によるFGVCAircraft,VT-B/16によるCLIPモデルの評価を行った。 私たちの貢献は3倍です。 まず、注意値出力(VO)の更新だけで正確さは43～87%回復するが、チャートの正確さは変わらない。 クロスエントロピー損失はチャートとユーロサットのコントラストを保ち、正しいクラススコアのマージンは追加のコントリビューションを示している。 第2に、VO重み付けは、各設定における10の等サイズの層整合ランダムサブセットよりも多くの損失改善を回復する。 VOおよび多層パーセプトロン(MLP)の保持は,事前訓練したエラーの25～81%を共同で補正し,重複した回復挙動を示す。 第三に、意味的に選択された方向を除去することで、5つの設定で一致したランダム削除よりもVO保持されたリカバリが減少する。 これらの結果は,CLIPレシピにおける微調整更新の機能的役割に関する補完的な証拠として,セマンティックアライメント,除去コスト,回復の維持を区別する。

関連論文リスト

• How Shared Representations Become Specialized: Formation, Maintenance, and Latent Susceptibility [0.6768558752130311]
  いくつかの予測が同じ内部表現を使用する場合、あるターゲットに関する情報は、他のターゲットに関する情報よりも容易に回復することができる。 我々は、この特殊化が、最小限の人工学習者をどのように形成し、持続し、そして変化させるかを研究する。
  論文  参考訳（メタデータ） (2026-10-11T18:32:41Z)
• LARC: Low-Rank Adaptive Residual Connections for Learning in Frozen Models [0.5371337604556311]
  本稿では,メモリ・メディア・ラーニング・アーキテクチャにおける数値ポリシ・キャリアの入力側実現について述べる。 凍結したMiniCPM5-1B-SFT基板上で12,288個のトレーニング可能なパラメータを持つランク4入力残基について検討した。
  論文  参考訳（メタデータ） (2026-09-30T16:21:39Z)
• Scheduling Recursive Reasoning in Looped Transformers [21.17643456743291]
  Trajectory Adaptive Progress-Fluctuation Schedulerは、リトレーニングなしで構造化推論タスクの終端精度を向上させる。 TAPSは、一致したベースライン精度で最大1.56倍のウォールクロックスピードアップで、さらなる精度向上をもたらす。 これらの結果は、アーキテクチャと深さと共に繰り返し推論の相補的な制御軸として更新スケールを確立する。
  論文  参考訳（メタデータ） (2026-09-29T03:54:50Z)
• Beyond One-Step Accuracy: State-Affine Latent Transition for Reliable Visual Planning [53.476598858325985]
  複数ステップのロールアウトエラーを個々のステップで導入したエラーに分解し,その後の遷移を通した伝播を行う。 状態-アフィンダイナミクスは、状態非依存のヤコビアンとの微分可能遷移であることを示す。 動作条件付き状態-アフィンダイナミクスモデルであるSALTを導入し、動作が状態変換と追加更新の両方を変調する。
  論文  参考訳（メタデータ） (2026-09-27T14:12:27Z)
• Self-Confirming Superposition Traps in Reinforcement Learning [62.71685993550818]
  強化学習はエージェントのポリシーによって選択されたデータに基づいて表現し、その結果のリターンを使って次の選択を導く。 これらのデータに対して表現フィッティングがグローバルに最適である場合でも,このループは低リターンポリシーを維持可能であることを示す。
  論文  参考訳（メタデータ） (2026-09-26T21:56:26Z)
• DRSR: Learning Set-Level Deletion Risk for Efficient Long-Horizon Agents [55.84813053778976]
  ロングホライゾン言語モデルエージェントは、現在の決定と関係が変化する推論の痕跡、ツール交換、観察を蓄積する。 直接セットリスクスコアは、削除セットの選択としてエージェント履歴圧縮リスクを定式化する。 メカニカル・アナリシスとアブリケーションは、決定に制約のある関係、保持されたコンテキスト情報、ペア・インタラクション、および棄権がそれぞれ信頼できるプルーニングに寄与していることを示している。
  論文  参考訳（メタデータ） (2026-09-23T03:06:01Z)
• Balancing Emotional Alignment and Semantic Consistency in Image Generation via Reinforcement Learning with Valence-Arousal Anchoring [55.57242007016976]
  テキスト・ツー・イメージ生成における継続的な感情制御は、プロンプトによって記述されたオブジェクトやレイアウト、シーンを変更することなく、感情的アライメントを改善するモデルを必要とする。 既存の教師付き感情注入法は、しばしば特徴空間プロキシを最適化し、したがって感情のセマンティックドリフトを示す。 本稿では,連続的原子価覚醒条件設定,グループ相対ポリシー最適化,中立的セマンティックアンカーを組み合わせたフローマッチング画像生成フレームワークを用いてこの問題に対処する。
  論文  参考訳（メタデータ） (2026-09-11T13:24:35Z)
• REER-PT: Reverse-Engineered Reasoning for Perplexity-Guided Pre-training Data Augmentation [64.84437332310516]
  我々は,Reverse-Engineered Reasoning (REER) を生の事前学習データに拡張するスケーラブルなフレームワークである textbfREER-PT を紹介する。 REER-PTは予測が難しいが、それ以前のコンテキストから推論できる継続を識別し、コンテキストと継続の間の欠落した接続を再構築する簡潔な推論アノテーションを挿入する。 このスパース変換は、ソーステキストを保存し、トレーニング前のオンライン推論ロールアウトを避けることで、標準的な次世代の予測と互換性を維持します。
  論文  参考訳（メタデータ） (2026-08-31T11:34:19Z)
• Causal Unlearning in Collaborative Optimization: Exact and Approximate Influence Reversal under Adversarial Contributions [2.5565719921628443]
  フェデレートされた学習システムは、プライバシー規則に従うためにデータ削除要求をサポートしなければならない。 本稿では,クライアントのコントリビューションをKrylov部分空間の共役反復によって近似することで,クライアントのコントリビューションを除去する手法であるHF-KCUを提案する。 我々は、k がヘッセン条件数である場合、クリロフ近似誤差が O((k 1/2-1)/(k1/2+1) として減少することを示す収束保証を提供する。
  論文  参考訳（メタデータ） (2026-05-19T18:00:39Z)
• Geometric-Disentangelment Unlearning [106.99160454669902]
  忘れたサンプルへの勾配は しばしば 保持された知識を傷つける 本稿では,GU(Geometric-disment Unlearning)を提案する。 本手法はプラグ・アンド・プレイであり,既存の勾配に基づくアンラーニング手法と併用することで副作用を軽減できる。
  論文  参考訳（メタデータ） (2025-11-21T09:58:25Z)
• STABLE: Gated Continual Learning for Large Language Models [0.0]
  STABLEは、シーケンシャルな更新時に忘れることを制限する、ゲート付き連続的なセルフ編集フレームワークである。 各候補編集は3つの指標のうちの1つを用いて安定性の予算に対して評価される。 Qwen-2.5-7Bモデルの実験では、ゲーティングは適応性を保ちながら忘れを効果的に軽減することを示した。
  論文  参考訳（メタデータ） (2025-10-17T16:14:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。