論文の概要: InstructMixup: Instruction-Guided Salient Patch Editing for Robust Data Augmentation
- arxiv url: http://arxiv.org/abs/2607.19324v1
- Date: Tue, 21 Jul 2026 17:44:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-22 19:05:05.518779
- Title: InstructMixup: Instruction-Guided Salient Patch Editing for Robust Data Augmentation
- Title（参考訳）: InstructMixup:ロバストデータ拡張のためのインストラクションガイド付きサリアンパッチ編集
- Abstract要約: 本稿では,ラベルに一貫性のあるトレーニングサンプルを1つのビジュアルサンプルにまとめて構築するデータ拡張手法を提案する。
われわれはまず, 軽量な塩分濃度検出器を用いて試料から多スケールの塩分パッチを抽出し, それぞれのパッチを指導誘導生成モデルで精製し, 編集したパッチを同一試料の非塩分領域にブレンドする。
学習された表現をさらに多様化させるために,我々は自己相似フラクタル構造を適応比で同一のサリアン領域に注入し,各トレーニング試料はフラクタル構造と非フラクタル構造の両方を担っている。
- 参考スコア（独自算出の注目度）: 41.90458736034228
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In image and video technologies, data augmentation is widely used to improve the generalization of deep visual models, and mixup-based strategies that interpolate between samples have become the dominant approach. However, computing informative mixing regions adds substantial overhead, and blending content across different images frequently disrupts the semantic integrity of the resulting sample. We propose \our{}, a data augmentation method that constructs challenging yet label-consistent training samples entirely within a single visual sample. \our{} first extracts multi-scale salient patches from the sample using a lightweight saliency detector, refines each patch with an instruction-guided generative model, and blends the edited patch back into the non-salient regions of the same sample; because the generative edits are computed once and cached offline, this step adds negligible training cost. To further diversify the learned representation, \our{} injects self-similar fractal structure into the same salient regions at an adaptive ratio, so each training sample carries both fractal and non-fractal structure. We derive a second-order approximation of the resulting vicinal risk, showing that the method simultaneously enforces invariance to the generative edit and suppresses curvature along the perturbed salient directions, and we verify both predictions empirically. We evaluate on small to large backbones for instance Convolutional Neural Networks (CNNs), Vision Transformers (ViTs) and Vision-Language Foundational Models (VLMs) across seven benchmarks covering coarse- and fine-grained classification, robustness to corruption and occlusion, calibration, and transfer and self-supervised learning, InstructMixup outperforms nine competing augmentation methods, surpassing the strongest baseline across all benchmarks.
- Abstract（参考訳）: 画像とビデオ技術では、深層視覚モデルの一般化を改善するためにデータ拡張が広く使われており、サンプル間を補間するミックスアップベースの戦略が主流となっている。
しかし、情報混合領域の計算にはかなりのオーバーヘッドが伴い、異なる画像にコンテンツをブレンドすることで、結果として得られるサンプルのセマンティックな整合性をしばしば破壊する。
本稿では,データ拡張手法である‘our{}’を提案する。
\our{}はまず、軽量な唾液検知器を使用してサンプルから複数スケールの唾液パッチを抽出し、各パッチを命令誘導生成モデルで洗練し、編集されたパッチを同じサンプルの非塩分領域にブレンドする。
学習された表現をさらに多様化させるために、 \our{} は自己相似フラクタル構造を適応比で同じサリアン領域に注入し、各トレーニングサンプルはフラクタル構造と非フラクタル構造の両方を運ぶ。
本手法は, 生成編集に同時に不均一を課し, 摂動塩分方向に沿った曲率を抑え, 両予測を実証的に検証することを示し, 得られたビシナルリスクの2次近似を導出する。
例えば、CNN(Convolutional Neural Networks)、Vits(Vits)、Vision-Language Foundational Models(VLMs)など、粗大できめ細かな分類、汚職や隠蔽に対する堅牢性、キャリブレーション、移動と自己教師型学習などを含む7つのベンチマークに対して評価を行い、InstructMixupは9つの競合する拡張手法を上回り、すべてのベンチマークで最強のベースラインを上回ります。
関連論文リスト
- $S^{2}$-FracMix: Label-Preserving Self-Saliency Mixup Augmentation [41.90458736034228]
Self-Saliency(S2$) MixupとFracMix(S2$-FracMix)が紹介される。
自己塩分は、多スケールの塩分パッチを抽出することによって、ラベルに一貫性のあるサンプルを抽出する。
FracMixは適応比を用いて自己相似パターンをサルト領域に注入する。
論文 参考訳（メタデータ） (2026-06-24T13:00:39Z) - Towards Generalized Image Manipulation Localization via Score-based Model [38.03898206912958]
IMLにスコアベース生成モデルを導入する新しいフレームワークであるDiffIMLを提案する。
この定式化の下では、拡散モデルは学習したスコア関数の効果的な数値解法として機能する。
8つの非生成的および3つの生成的ベンチマークの実験は、DiffIMLが一貫して最先端の手法より優れていることを示した。
論文 参考訳（メタデータ） (2026-05-16T08:39:54Z) - Calibrating Biased Distribution in VFM-derived Latent Space via Cross-Domain Geometric Consistency [52.52950138164424]
特徴抽出にオフザシェルフ(ビジョン)基礎モデルを利用する場合、特徴分布の幾何学的形状はドメインやデータセット間で顕著な伝達性を示す。
我々は,我々の幾何学的知識誘導分布キャリブレーションフレームワークを,フェデレーション学習とロングテール認識の2つの人気かつ挑戦的な設定で具体化する。
長期学習において、サンプル豊富なカテゴリから移動された幾何学的知識を利用して、サンプル・スカース・テールクラスの真の分布を復元する。
論文 参考訳（メタデータ） (2025-08-19T05:22:59Z) - Cross-Subject Mind Decoding from Inaccurate Representations [42.19569985029642]
正確なデコード表現予測のためのBi Autoencoder Intertwiningフレームワークを提案する。
本手法は,定性評価と定量的評価の両方において,ベンチマークデータセットの最先端手法よりも優れている。
論文 参考訳（メタデータ） (2025-07-25T08:45:02Z) - A Simplified Framework for Contrastive Learning for Node Representations [2.277447144331876]
グラフにノードを埋め込むために,グラフニューラルネットワークと組み合わせてコントラスト学習を展開できる可能性を検討する。
組込み行列の単純なカラムワイド後処理により, 組込み結果の品質とトレーニング時間を大幅に改善できることを示す。
この修正により、下流の分類タスクは最大1.5%改善され、8つの異なるベンチマークのうち6つで既存の最先端のアプローチに勝っている。
論文 参考訳（メタデータ） (2023-05-01T02:04:36Z) - Reflected Diffusion Models [93.26107023470979]
本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。
提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
論文 参考訳（メタデータ） (2023-04-10T17:54:38Z) - Intra-class Adaptive Augmentation with Neighbor Correction for Deep
Metric Learning [99.14132861655223]
深層学習のためのクラス内適応拡張(IAA)フレームワークを提案する。
クラスごとのクラス内変動を合理的に推定し, 適応型合成試料を生成し, 硬質試料の採掘を支援する。
本手法は,検索性能の最先端手法を3%～6%向上させる。
論文 参考訳（メタデータ） (2022-11-29T14:52:38Z) - DoubleMix: Simple Interpolation-Based Data Augmentation for Text
Classification [56.817386699291305]
本稿では,DoubleMixと呼ばれる単純なデータ拡張手法を提案する。
DoubleMixはまず、トレーニングデータごとにいくつかの摂動サンプルを生成する。
次に、摂動データと元のデータを使って、隠れたニューラルネットワークの空間で2段階のステップを実行する。
論文 参考訳（メタデータ） (2022-09-12T15:01:04Z) - Saliency Grafting: Innocuous Attribution-Guided Mixup with Calibrated
Label Mixing [104.630875328668]
ミックスアップスキームは、強化されたトレーニングサンプルを作成するために、サンプルのペアを混ぜることを提案する。
両世界のベストを捉えた、斬新だがシンプルなミックスアップ版を提示する。
論文 参考訳（メタデータ） (2021-12-16T11:27:48Z) - Conditional Variational Autoencoder for Learned Image Reconstruction [5.487951901731039]
本研究では,未知画像の後部分布を問合せ観測で近似する新しいフレームワークを開発する。
暗黙のノイズモデルと先行処理を処理し、データ生成プロセス(フォワード演算子)を組み込み、学習された再構成特性は異なるデータセット間で転送可能である。
論文 参考訳（メタデータ） (2021-10-22T10:02:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。