論文の概要: Multi-concept Model Immunization through Differentiable Model Merging

• arxiv url: http://arxiv.org/abs/2412.15320v1
• Date: Thu, 19 Dec 2024 18:59:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-23 16:24:09.038844
• Title: Multi-concept Model Immunization through Differentiable Model Merging
• Title（参考訳）: 微分モデルマージによる多概念モデル免疫
• Authors: Amber Yijia Zheng, Raymond A. Yeh,
• Abstract要約: モデル免疫は、オープンソースモデルに関連する誤用の潜在的なリスクを軽減することを目的としている。 モデル免疫に関する最近の研究は、シングルコンセプト設定に焦点を当てている。 そこで本研究では,一組の概念を用いた適応法について,単一の難易度初期化'を学習する免疫アルゴリズムを提案する。 複数の概念に適応したモデルの重みの集合を組み合わせた、微分可能なマージ層を組み込むことで、これを実現する。
• 参考スコア（独自算出の注目度）: 11.912092139018885
• License:
• Abstract: Model immunization is an emerging direction that aims to mitigate the potential risk of misuse associated with open-sourced models and advancing adaptation methods. The idea is to make the released models' weights difficult to fine-tune on certain harmful applications, hence the name ``immunized''. Recent work on model immunization focuses on the single-concept setting. However, models need to be immunized against multiple concepts in real-world situations. To address this gap, we propose an immunization algorithm that, simultaneously, learns a single ``difficult initialization'' for adaptation methods over a set of concepts. We achieve this by incorporating a differentiable merging layer that combines a set of model weights adapted over multiple concepts. In our experiments, we demonstrate the effectiveness of multi-concept immunization by generalizing prior work's experiment setup of re-learning and personalization adaptation to multiple concepts.
• Abstract（参考訳）: モデル免疫は、オープンソースモデルや適応手法の進歩に伴う誤用の潜在的なリスクを軽減することを目的とした、新たな方向性である。 この考え方は、リリースされたモデルの重み付けをある種の有害なアプリケーションで微調整することを困難にすることであり、したがって ''免疫' という名前が用いられる。 モデル免疫に関する最近の研究は、シングルコンセプト設定に焦点を当てている。 しかし、モデルは現実の状況において複数の概念に対して免疫される必要がある。 このギャップに対処するために,一組の概念に対する適応法について,同時に単一の 'difficult initialization'' を学習する免疫アルゴリズムを提案する。 複数の概念に適応したモデルの重みの集合を組み合わせた、微分可能なマージ層を組み込むことで、これを実現する。 本実験では,複数概念に対する再学習とパーソナライズ適応の事前学習実験を一般化することにより,多概念免疫の有効性を実証する。

関連論文リスト

• Mediffusion: Joint Diffusion for Self-Explainable Semi-Supervised Classification and Medical Image Generation [3.046689922445082]
  共同拡散モデルに基づく説明可能な分類を伴う半教師あり学習のための新しい手法であるメディフフュージョンを導入する。 我々は,最近の半教師付き手法に匹敵する結果を得るとともに,より信頼性と正確な説明を提供する。
  論文  参考訳（メタデータ） (2024-11-12T23:14:36Z)
• Concept Complement Bottleneck Model for Interpretable Medical Image Diagnosis [8.252227380729188]
  本稿では,医用画像診断のための補完的ボトルネックモデルを提案する。 そこで本研究では,概念の相違点を抽出し,それぞれの注意チャンネルで概念をスコアリングするために,概念アダプタを利用することを提案する。 本モデルでは,概念検出と疾患診断の課題において,最先端の競争相手よりも優れていた。
  論文  参考訳（メタデータ） (2024-10-20T16:52:09Z)
• Separable Multi-Concept Erasure from Diffusion Models [52.51972530398691]
  大規模拡散モデルから安全でない概念を排除するために,分離可能なマルチコンセプト消去器(SepME)を提案する。 後者は最適化可能なモデルウェイトを分離し、各ウェイトインクリメントは特定の概念の消去に対応する。 広範囲にわたる実験は, 概念の排除, モデル性能の保存, 各種概念の消去・回復における柔軟性の確保に, アプローチの有効性を示すものである。
  論文  参考訳（メタデータ） (2024-02-03T11:10:57Z)
• Orthogonal Adaptation for Modular Customization of Diffusion Models [39.62438974450659]
  我々は、カスタマイズされたモデルを効率的にマージすることを目的として、Modular Customizationと呼ばれる新しい問題に対処する。 直交適応(Orthogonal Adaptation, Orthogonal Adaptation)は,微調整時に相互にアクセスできないカスタマイズモデルを支援する手法である。 提案手法は単純かつ汎用的であり,モデルアーキテクチャのほぼすべての最適化可能な重みに適用可能である。
  論文  参考訳（メタデータ） (2023-12-05T02:17:48Z)
• MAST: Model-Agnostic Sparsified Training [4.962431253126472]
  我々は、ブラックボックス関数として機械学習モデル損失を最小限に抑える従来の方法から外れた、新しい最適化問題の定式化を導入する。 従来の定式化とは異なり、提案手法は、初期訓練されたモデルとランダムスケッチ演算子を明示的に組み込む。 本稿では,新しい問題定式化に適応したグラディエント・ディキセント法(SGD)のいくつかの変種について述べる。
  論文  参考訳（メタデータ） (2023-11-27T18:56:03Z)
• Phasic Content Fusing Diffusion Model with Directional Distribution Consistency for Few-Shot Model Adaption [73.98706049140098]
  本稿では,方向分布の整合性を損なう少数ショット拡散モデルを用いた新しいファシックコンテンツを提案する。 具体的には、ファシックコンテンツ融合を用いたファシックトレーニング戦略を設計し、tが大きければ、モデルがコンテンツやスタイル情報を学ぶのに役立てる。 最後に、ドメイン適応時の構造整合性を高めるクロスドメイン構造ガイダンス戦略を提案する。
  論文  参考訳（メタデータ） (2023-09-07T14:14:11Z)
• Multi-modal Latent Diffusion [8.316365279740188]
  多モード変分オートエンコーダ(Multi-modal Variational Autoencoder)は、様々なモダリティの合同表現を学習することを目的とした、一般的なモデルのファミリーである。 既存のアプローチはコヒーレンス品質のトレードオフに悩まされており、優れた世代品質のモデルはモダリティ間で生成コヒーレンスを欠いている。 独立に訓練された一様・一様・決定論的オートエンコーダの集合を用いる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-06-07T14:16:44Z)
• Raising the Cost of Malicious AI-Powered Image Editing [82.71990330465115]
  本研究では,大規模な拡散モデルによる悪意ある画像編集のリスクを軽減するためのアプローチを提案する。 鍵となるアイデアは、イメージを免疫して、これらのモデルによる操作に抵抗するようにすることだ。
  論文  参考訳（メタデータ） (2023-02-13T18:38:42Z)
• A Twin Neural Model for Uplift [59.38563723706796]
  Upliftは条件付き治療効果モデリングの特定のケースです。 相対リスクのベイズ解釈との関連性を利用して定義した新たな損失関数を提案する。 本提案手法は,シミュレーション設定の最先端と大規模ランダム化実験による実データとの競合性を示す。
  論文  参考訳（メタデータ） (2021-05-11T16:02:39Z)
• Adversarial Sample Enhanced Domain Adaptation: A Case Study on Predictive Modeling with Electronic Health Records [57.75125067744978]
  ドメイン適応を容易にするデータ拡張手法を提案する。 逆生成したサンプルはドメイン適応時に使用される。 その結果,本手法の有効性とタスクの一般性が確認された。
  論文  参考訳（メタデータ） (2021-01-13T03:20:20Z)
• An Optimal Control Approach to Learning in SIDARTHE Epidemic model [67.22168759751541]
  本研究では,疫病データから動的コンパートメンタルモデルの時間変化パラメータを学習するための一般的な手法を提案する。 我々はイタリアとフランスの疫病の進化を予報する。
  論文  参考訳（メタデータ） (2020-10-28T10:58:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。