論文の概要: When Masking Helps or Hurts Robustness in Compressed CLIP: A Pre-Deployment Diagnostic

• arxiv url: http://arxiv.org/abs/2609.39704v1
• Date: Wed, 30 Sep 2026 13:21:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.829508
• Title: When Masking Helps or Hurts Robustness in Compressed CLIP: A Pre-Deployment Diagnostic
• Title（参考訳）: 圧縮型CLIPにおけるマスキングによるロバスト性改善 : デプロイ前診断
• Abstract要約: マスクベースのトークンプルーニングは、ラベルや微調整なしで、デプロイ前に予測できる。 本稿では,最悪のグループ精度に対する影響が極めて不安定であることを示す。 一部のデータセットでは最大82.5%の精度向上を実現し、他のデータセットでは最大100%の精度向上を実現している。
• 参考スコア（独自算出の注目度）: 3.1440229445336274
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper demonstrate that whether masking-based token pruning helps or hurts worst-group robustness can be predicted before deployment, without labels or fine-tuning. A systematic study of semantic masking across 8 spurious-correlation benchmarks shows its effect on worst-group accuracy is highly unstable: it improves accuracy by up to 82.5\% relative on some datasets and degrades it by up to 100\% on others. We trace this instability to spurious inversion: background patches receive higher CLIP text-similarity than the true object when the spurious attribute is background-separable, inverting the assumption every text- and attention-guided pruning method relies on. We introduce the Spurious Inversion Metric (SIM), a label-free, pre-deployment diagnostic whose sign predicts this effect with statistical significance (binomial $p=0.035$) across all 8 datasets, and remains dependable across 6 CLIP architectures with a clean foreground/background split. Naive masking is itself a major source of risk: it causes the largest average-accuracy loss of any method we evaluate, and its own per-image segmentation step is a significant runtime bottleneck. To address this, we design a batched, synchronization-free GPU segmentation routine that cuts this overhead from 3.5$\times$ to 1.75$\times$ baseline. Gating deployment by SIM's sign recovers masking's benefits while avoiding its worst failures, matching or exceeding a strong pruning baseline on 7 of 8 datasets.
• Abstract（参考訳）: 本稿では,マスクベースのトークンプルーニングが,ラベルや微調整を伴わずに,配置前に最悪のグループロバスト性を予測できることを実証する。 8つのスプリアス相関ベンチマークにおけるセマンティックマスキングの体系的研究は、最悪のグループ精度に対する効果が極めて不安定であることを示し、いくつかのデータセットでは最大82.5\%の精度向上と最大100\%の精度低下を実現している。 背景パッチは、スプリアス属性が背景分離可能であるときに、真のオブジェクトよりも高いCLIPテキスト類似性を受け取り、すべてのテキストおよび注意誘導プルーニングメソッドが依存する仮定を反転させる。 Spurious Inversion Metric (SIM) は、ラベルのない事前デプロイ診断であり、この効果を統計的に予測し、すべての8つのデータセットに対して$p=0.035$で予測し、クリーンなフォアグラウンド/バックグラウンドの分割で6つのCLIPアーキテクチャで信頼性が保たれている。 ネイブマスキングは、それ自体が大きなリスク源である – 評価対象のメソッドの平均精度損失が最大になると同時に、独自のイメージごとのセグメンテーションステップが、重要なランタイムボトルネックになります。 これを解決するために、バッチ化された同期不要なGPUセグメンテーションルーチンを設計し、このオーバーヘッドを3.5$\times$から1.75$\times$ベースラインに削減した。 SIMのサインによるデプロイメントのゲーティングは、最悪の障害を避けながら、マスクのメリットを回復する。

関連論文リスト

• Which Negatives Matter? Ask Your Text Encoder: Adaptive Similarity Margins for Dense-Caption Retrieval [20.130842837418726]
  本稿では,HN-CLIPを導入し,テキストエンコーダのテキスト・テキスト・ジオメトリを用いてアダプティブ・アダプティブ・類似性マージンを構築する。 結果として得られた目的は、トレーニング中に1つのキャプション類似性マトリックスとマスク付きロジットの追加のみを必要とする。 実験の結果、HN-CLIPは最強のライバルに対して+2.5から+4.0 R@1に改善され、GOALより2.4倍、StructXLIPより5.4倍高速にトレーニングされた。
  論文  参考訳（メタデータ） (2026-08-19T04:16:46Z)
• Understanding NPM Malicious Package Detection: A Benchmark-Driven Empirical Analysis [10.599261033874884]
  NPMエコシステムは、ソフトウェアサプライチェーン攻撃の主要なターゲットとなっている。 ベンチマークによるNPMマルウェア検出の実証分析を行う。 我々は、11の行動カテゴリと8の回避テクニックを付加した、6,420の悪意のある7,288の良性パッケージのデータセットを構築した。
  論文  参考訳（メタデータ） (2026-03-29T07:04:31Z)
• PANC: Prior-Aware Normalized Cut for Object Segmentation [0.0]
  本稿では,最小限の注釈付き視覚トークンを用いた弱教師付きスペクトルセグメンテーションフレームワークを提案する。 均質, 細粒, テクスチャ制限ドメインについて, 強い結果を報告した。 マルチオブジェクトベンチマークでは、明示的でユーザ制御可能なセマンティックセマンティックセグメンテーションが紹介されている。
  論文  参考訳（メタデータ） (2026-02-06T18:07:20Z)
• CORE: Context-Robust Remasking for Diffusion Language Models [51.59514489363897]
  我々は、推論時リビジョンのためのトレーニング不要フレームワークであるContext-Robust Remasking (CORE)を提案する。 静的トークンの確率を信頼するのではなく、COREは、ターゲットとなるマスク付きコンテキストの摂動に対する感受性を示すことによって、コンテキスト不安定なトークンを識別する。 LLaDA-8B-Baseでは、COREは推論とコードベンチマークの間で一貫した改善を行い、計算に適合したベースラインを上回り、MBPPを最大9.2%改善した。
  論文  参考訳（メタデータ） (2026-02-04T00:12:30Z)
• D2Pruner: Debiased Importance and Structural Diversity for MLLM Token Pruning [49.16227597771663]
  D2Prunerは、デバイアスされた重要性と構造的なプルーニングメカニズムを組み合わせたフレームワークである。 FLOPを74.2%削減し、元の性能の99.2%を維持した。 既存の手法に比べて63.53%も改善されている。
  論文  参考訳（メタデータ） (2025-12-22T14:42:31Z)
• CLUE: Non-parametric Verification from Experience via Hidden-State Clustering [64.50919789875233]
  隠れアクティベーションの軌跡内の幾何的に分離可能なシグネチャとして解の正しさが符号化されていることを示す。 ClUE は LLM-as-a-judge ベースラインを一貫して上回り、候補者の再選において近代的な信頼に基づく手法に適合または超えている。
  論文  参考訳（メタデータ） (2025-10-02T02:14:33Z)
• Improving Face Recognition by Clustering Unlabeled Faces in the Wild [77.48677160252198]
  極値理論に基づく新しいアイデンティティ分離法を提案する。 重なり合うラベルノイズによる問題を大幅に低減する。 制御された設定と実際の設定の両方の実験は、我々のメソッドの一貫性のある改善を示している。
  論文  参考訳（メタデータ） (2020-07-14T12:26:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。