論文の概要: Model Immunization from a Condition Number Perspective

• arxiv url: http://arxiv.org/abs/2505.23760v1
• Date: Thu, 29 May 2025 17:59:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-30 18:14:08.086453
• Title: Model Immunization from a Condition Number Perspective
• Title（参考訳）: 条件数から見たモデル免疫
• Authors: Amber Yijia Zheng, Cedar Site Bai, Brian Bullins, Raymond A. Yeh,
• Abstract要約: 線形モデルに対するモデル免疫を解析するために,ヘッセン行列の条件数に基づくフレームワークを提案する。 我々は,事前学習後の条件数を制御するために,正規化項を持つアルゴリズムを設計する。 線形モデルと非線形ディープネットに関する実験結果から,提案アルゴリズムの有効性が示された。
• 参考スコア（独自算出の注目度）: 14.84123611635938
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Model immunization aims to pre-train models that are difficult to fine-tune on harmful tasks while retaining their utility on other non-harmful tasks. Though prior work has shown empirical evidence for immunizing text-to-image models, the key understanding of when immunization is possible and a precise definition of an immunized model remain unclear. In this work, we propose a framework, based on the condition number of a Hessian matrix, to analyze model immunization for linear models. Building on this framework, we design an algorithm with regularization terms to control the resulting condition numbers after pre-training. Empirical results on linear models and non-linear deep-nets demonstrate the effectiveness of the proposed algorithm on model immunization. The code is available at https://github.com/amberyzheng/model-immunization-cond-num.
• Abstract（参考訳）: モデル免疫は、有害なタスクに対して微調整が難しいモデルを事前訓練することを目的としており、他の有害なタスクに対して実用性を保っている。 以前の研究は、テキスト・ツー・イメージ・モデルの免疫に関する実証的な証拠を示してきたが、いつ免疫が可能であるか、そして免疫モデルが正確に定義されるのか、重要な理解はいまだ不明である。 本研究では,線形モデルに対するモデル免疫を解析するために,ヘッセン行列の条件数に基づくフレームワークを提案する。 この枠組みに基づいて,事前学習後の条件数を制御するための正規化項を持つアルゴリズムを設計する。 線形モデルと非線形ディープネットの実証実験により,提案アルゴリズムがモデル免疫に与える影響が示された。 コードはhttps://github.com/amberyzheng/model-immunization-cond-numで公開されている。

関連論文リスト

• Just as Humans Need Vaccines, So Do Models: Model Immunization to Combat Falsehoods [4.6697477379475005]
  生成AIモデルは、トレーニングコーパスに存在する偽情報を学習し、再現することが多い。 本稿は、AIモデルは、偽情報に対する"ワクチン"として明確にラベル付けされた偽装の、小さくて隔離されたセットで微調整されるべきである、と論じる。
  論文  参考訳（メタデータ） (2025-05-23T13:20:23Z)
• One-for-More: Continual Diffusion Model for Anomaly Detection [61.12622458367425]
  異常検出法は拡散モデルを用いて任意の異常画像が与えられたときの正常サンプルの生成または再構成を行う。 われわれは,拡散モデルが「重度忠実幻覚」と「破滅的な忘れ」に悩まされていることを発見した。 本研究では,安定な連続学習を実現するために勾配予測を用いた連続拡散モデルを提案する。
  論文  参考訳（メタデータ） (2025-02-27T07:47:27Z)
• Mesh2SSM++: A Probabilistic Framework for Unsupervised Learning of Statistical Shape Model of Anatomies from Surface Meshes [0.0]
  Mesh2SSM++は、教師なしの方法でメッシュから対応を推定する、新しいアプローチである。 メッシュ上で直接操作する能力と計算効率と解釈可能性を組み合わせることで、従来のディープラーニングベースのSSMアプローチに代わる魅力的な選択肢となる。
  論文  参考訳（メタデータ） (2025-02-11T00:19:23Z)
• Multi-concept Model Immunization through Differentiable Model Merging [11.912092139018885]
  モデル免疫は、オープンソースモデルに関連する誤用の潜在的なリスクを軽減することを目的としている。 モデル免疫に関する最近の研究は、シングルコンセプト設定に焦点を当てている。 そこで本研究では,一組の概念を用いた適応法について,単一の難易度初期化'を学習する免疫アルゴリズムを提案する。 複数の概念に適応したモデルの重みの集合を組み合わせた、微分可能なマージ層を組み込むことで、これを実現する。
  論文  参考訳（メタデータ） (2024-12-19T18:59:05Z)
• Shortcomings of Top-Down Randomization-Based Sanity Checks for Evaluations of Deep Neural Network Explanations [67.40641255908443]
  モデルランダム化に基づく正当性チェックの限界を,説明書の評価のために同定する。 トップダウンモデルランダム化は、フォワードパスアクティベーションのスケールを高い確率で保存する。
  論文  参考訳（メタデータ） (2022-11-22T18:52:38Z)
• On the Generalization and Adaption Performance of Causal Models [99.64022680811281]
  異なる因果発見は、データ生成プロセスを一連のモジュールに分解するために提案されている。 このようなモジュラニューラル因果モデルの一般化と適応性能について検討する。 我々の分析では、モジュラーニューラル因果モデルが、低データレギュレーションにおけるゼロおよび少数ショットの適応において、他のモデルよりも優れていることを示している。
  論文  参考訳（メタデータ） (2022-06-09T17:12:32Z)
• Unifying Epidemic Models with Mixtures [28.771032745045428]
  新型コロナウイルスのパンデミックは、感染モデルに対する強固な理解の必要性を強調している。 本稿では2つのアプローチをブリッジする単純な混合モデルを提案する。 モデルは非機械的であるが、ネットワーク化されたSIRフレームワークに基づくプロセスの自然な結果として現れることを示す。
  論文  参考訳（メタデータ） (2022-01-07T19:42:05Z)
• Probabilistic Modeling for Human Mesh Recovery [73.11532990173441]
  本稿では,2次元の証拠から3次元の人体復元の問題に焦点を当てた。 我々は,この問題を,入力から3Dポーズの分布へのマッピング学習として再考した。
  論文  参考訳（メタデータ） (2021-08-26T17:55:11Z)
• Firearm Detection via Convolutional Neural Networks: Comparing a Semantic Segmentation Model Against End-to-End Solutions [68.8204255655161]
  武器の脅威検出とライブビデオからの攻撃的な行動は、潜在的に致命的な事故の迅速検出と予防に使用できる。 これを実現する一つの方法は、人工知能と、特に画像分析のための機械学習を使用することです。 従来のモノリシックなエンド・ツー・エンドのディープラーニングモデルと、セマンティクスセグメンテーションによって火花を検知する単純なニューラルネットワークのアンサンブルに基づく前述したモデルを比較した。
  論文  参考訳（メタデータ） (2020-12-17T15:19:29Z)
• Robustness of Model Predictions under Extension [3.766702945560518]
  分析にモデルを使うのに注意すべき点は、予測因果効果と条件独立性はモデル拡張の下では堅牢でないことである。 定性モデル予測のロバスト性を効率的に評価するために,因果順序付け手法の使い方を示す。 平衡の力学系では、新しい洞察が適切なモデル拡張を選択するのにどのように役立つかを示す。
  論文  参考訳（メタデータ） (2020-12-08T20:21:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。