論文の概要: SafeFix: Targeted Model Repair via Controlled Image Generation

• arxiv url: http://arxiv.org/abs/2508.08701v1
• Date: Tue, 12 Aug 2025 07:45:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-13 21:07:34.336577
• Title: SafeFix: Targeted Model Repair via Controlled Image Generation
• Title（参考訳）: SafeFix: 制御された画像生成によるターゲットモデル修復
• Authors: Ouyang Xu, Baoming Zhang, Ruiyu Mao, Yunhui Guo,
• Abstract要約: 我々は、解釈可能な障害帰属パイプラインの上に構築されたモデル修復モジュールを導入する。 提案手法では, 条件付きテキスト・ツー・イメージモデルを用いて, セマンティックに忠実で, ターゲットとした画像を生成する。 この稀なケース拡張合成データセットを用いて視覚モデルを再訓練することにより、稀なケースに関連するエラーを著しく低減する。
• 参考スコア（独自算出の注目度）: 5.4185493412773456
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep learning models for visual recognition often exhibit systematic errors due to underrepresented semantic subpopulations. Although existing debugging frameworks can pinpoint these failures by identifying key failure attributes, repairing the model effectively remains difficult. Current solutions often rely on manually designed prompts to generate synthetic training images -- an approach prone to distribution shift and semantic errors. To overcome these challenges, we introduce a model repair module that builds on an interpretable failure attribution pipeline. Our approach uses a conditional text-to-image model to generate semantically faithful and targeted images for failure cases. To preserve the quality and relevance of the generated samples, we further employ a large vision-language model (LVLM) to filter the outputs, enforcing alignment with the original data distribution and maintaining semantic consistency. By retraining vision models with this rare-case-augmented synthetic dataset, we significantly reduce errors associated with rare cases. Our experiments demonstrate that this targeted repair strategy improves model robustness without introducing new bugs. Code is available at https://github.com/oxu2/SafeFix
• Abstract（参考訳）: 視覚認識のためのディープラーニングモデルは、あまり表現されていない意味的サブポピュレーションによる体系的な誤りを示すことが多い。 既存のデバッグフレームワークは、重要な障害属性を識別することでこれらの障害を特定できるが、効果的にモデルを修正することは難しいままである。 現在のソリューションでは、しばしば手動で設計したプロンプトを使用して、合成トレーニングイメージを生成する。 これらの課題を克服するために,解釈可能な障害帰属パイプライン上に構築されたモデル修復モジュールを導入する。 提案手法では, 条件付きテキスト・ツー・イメージモデルを用いて, セマンティックに忠実で, ターゲットとした画像を生成する。 生成したサンプルの品質と関連性を維持するために、出力をフィルタリングし、元のデータ分布と整合し、セマンティック一貫性を維持するために、大きな視覚言語モデル(LVLM)を用いる。 この稀なケース拡張合成データセットを用いて視覚モデルを再訓練することにより、稀なケースに関連するエラーを著しく低減する。 我々の実験は、この目標とする修復戦略が、新しいバグを導入することなく、モデルロバスト性を改善することを実証している。 コードはhttps://github.com/oxu2/SafeFixで入手できる。

関連論文リスト

• Boosting Alignment for Post-Unlearning Text-to-Image Generative Models [55.82190434534429]
  大規模な生成モデルは、大量のデータによって推進される印象的な画像生成能力を示している。 これはしばしば必然的に有害なコンテンツや不適切なコンテンツを生み出し、著作権の懸念を引き起こす。 学習しない反復ごとに最適なモデル更新を求めるフレームワークを提案し、両方の目的に対して単調な改善を確実にする。
  論文  参考訳（メタデータ） (2024-12-09T21:36:10Z)
• Model Integrity when Unlearning with T2I Diffusion Models [11.321968363411145]
  「忘れ分布からのサンプルを特徴とする特定種類の画像の生成を減らすために、近似機械学習アルゴリズムを提案する。」 次に、既存のベースラインと比較してモデルの整合性を保つ上で優れた効果を示す未学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-11-04T13:15:28Z)
• Reinforcing Pre-trained Models Using Counterfactual Images [54.26310919385808]
  本稿では,言語誘導型生成対実画像を用いた分類モデル強化のための新しいフレームワークを提案する。 逆ファクト画像データセットを用いてモデルをテストすることにより、モデルの弱点を同定する。 我々は、分類モデルを微調整し強化するために、デファクトイメージを拡張データセットとして採用する。
  論文  参考訳（メタデータ） (2024-06-19T08:07:14Z)
• Identifying and Mitigating Model Failures through Few-shot CLIP-aided Diffusion Generation [65.268245109828]
  本稿では,突発的相関に付随する障害モードのテキスト記述を生成するためのエンドツーエンドフレームワークを提案する。 これらの記述は拡散モデルのような生成モデルを用いて合成データを生成するのに使うことができる。 本実験では, ハードサブポピュレーションの精度(sim textbf21%$)が著しく向上した。
  論文  参考訳（メタデータ） (2023-12-09T04:43:49Z)
• Masked Images Are Counterfactual Samples for Robust Fine-tuning [77.82348472169335]
  微調整の深層学習モデルは、分布内(ID)性能と分布外(OOD)堅牢性の間のトレードオフにつながる可能性がある。 そこで本研究では,マスク付き画像を対物サンプルとして用いて,ファインチューニングモデルのロバスト性を向上させる新しいファインチューニング手法を提案する。
  論文  参考訳（メタデータ） (2023-03-06T11:51:28Z)
• Discovering Bugs in Vision Models using Off-the-shelf Image Generation and Captioning [25.88974494276895]
  この研究は、オフザシェルフ、大規模、画像からテキストへ、そしてテキストから画像へのモデルがどのように活用され、自動的に失敗を見つけるかを示す。 本質的には、条件付きテキスト・ツー・イメージ生成モデルを使用して、大量の合成的かつ現実的な入力を生成する。
  論文  参考訳（メタデータ） (2022-08-18T13:49:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。