Fugu-MT 論文翻訳(概要): Suppressing Non-Semantic Noise in Masked Image Modeling Representations

論文の概要: Suppressing Non-Semantic Noise in Masked Image Modeling Representations

arxiv url: http://arxiv.org/abs/2604.00172v1
Date: Tue, 31 Mar 2026 19:22:21 GMT
ステータス: 翻訳完了
システム内更新日: 2026-04-02 16:44:31.691893
Title: Suppressing Non-Semantic Noise in Masked Image Modeling Representations
Title（参考訳）: マスキング画像の表現における非意味ノイズの抑制
Abstract要約: Masked Image Modeling (MIM)は、ユビキタスな自己監督型ビジョンパラダイムとなっている。我々はMIMの目的が学習した表現に非意味的な情報を保持することを示している。本稿では,パッチ表現における非意味情報を直接抑制する簡易な方法であるSemantically Orthogonal Artifact Projection (SOAP)を提案する。
参考スコア（独自算出の注目度）: 10.470642234528988
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Masked Image Modeling (MIM) has become a ubiquitous self-supervised vision paradigm. In this work, we show that MIM objectives cause the learned representations to retain non-semantic information, which ultimately hurts performance during inference. We introduce a model-agnostic score for semantic invariance using Principal Component Analysis (PCA) on real and synthetic non-semantic images. Based on this score, we propose a simple method, Semantically Orthogonal Artifact Projection (SOAP), to directly suppress non-semantic information in patch representations, leading to consistent improvements in zero-shot performance across various MIM-based models. SOAP is a post-hoc suppression method, requires zero training, and can be attached to any model as a single linear head.
Abstract（参考訳）: Masked Image Modeling (MIM)は、ユビキタスな自己監督型ビジョンパラダイムとなっている。本研究では,MIMの目的が学習した表現に非意味的な情報を保持する原因となり,推論時の性能を損なうことを示す。実画像と合成画像に主成分分析(PCA)を用いた意味的不変性に対するモデル非依存スコアを提案する。このスコアに基づいて,パッチ表現における非意味的情報を直接抑制し,様々なMIMモデル間のゼロショット性能を一貫した改善を実現するための簡易な方法であるSemantically Orthogonal Artifact Projection (SOAP)を提案する。 SOAPはポストホックな抑制方法であり、トレーニングが不要で、任意のモデルに1つのリニアヘッドとしてアタッチできる。

関連論文リスト

The microscope is the mask: privileged views and labels from a cryo-ET forward model [3.4415392202192137]
本研究では,タンパク質アノテーションのモデル構築のためのシミュレーションデータの利用について検討する。フォワードモデルによって課される汚職を利用して、まったく同じシーンのドメイン固有の拡張ペアビューを生成します。本稿では,CARNIVALがシミュレーションデータに対して比較対象を用いて訓練した最先端モデルよりも優れていることを示す。
論文参考訳（メタデータ） (2026-09-03T18:00:18Z)
Source-Agnostic Image Translation Based on Latent Aware Adaptive Masking [2.0673681624647844]
本稿では,逆拡散過程を通じて二項マスクを動的に洗練する情報源に依存しないフレームワークを提案する。本手法では,経験的平均値と予測誤差の標準偏差から得られた時間依存統計的しきい値決定手法を提案する。本手法は, 各種ソース分布の高精度かつ自動的ローカライゼーションとシームレスな翻訳を, 特別な訓練を伴わずに実現している。
論文参考訳（メタデータ） (2026-08-14T07:51:40Z)
Learning an Image Editing Model without Image Editing Pairs [83.03646586929638]
最近の画像編集モデルは、自然言語編集の指示に従いながら印象的な成果を上げている。それらは、インプットとターゲットのペアの大きなデータセットによる教師付き微調整に依存している。現在の回避策は、既存のモデルのゼロショット機能を利用する合成トレーニングペアを使用する。ペア化されたデータを完全に不要にする新たなトレーニングパラダイムを提案する。
論文参考訳（メタデータ） (2025-10-16T17:59:57Z)
Language Integration in Fine-Tuning Multimodal Large Language Models for Image-Based Regression [2.9998889086656586]
本稿では,トランスフォーマーベース分類(RvTC)が語彙制約型分類を柔軟なビンベースアプローチで置き換える方法を示す。汎用的なタスク記述とは異なり、特定の画像に関する意味情報を含むプロンプトにより、MLLMはクロスモーダル理解を活用することができる。
論文参考訳（メタデータ） (2025-07-20T15:05:24Z)
Diffuse and Disperse: Image Generation with Representation Regularization [23.413550999126173]
拡散に基づく生成モデルを効果的に改善するプラグイン・アンド・プレイ・レギュレータである textitDispersive Loss を提案する。我々の損失関数は、内部表現が、対照的な自己教師付き学習に類似した隠れ空間に分散することを奨励する。最近の表現アライメント法(REPA)と比較して、我々のアプローチは自己完結型で最小限であり、事前学習も追加パラメータも外部データも必要としない。
論文参考訳（メタデータ） (2025-06-10T17:53:29Z)
Multimodal LLM-Guided Semantic Correction in Text-to-Image Diffusion [52.315729095824906]
MLLM Semantic-Corrected Ping-Pong-Ahead Diffusion (PPAD) は,マルチモーダル大言語モデル(MLLM)を推論中の意味的オブザーバとして導入する新しいフレームワークである。中間世代をリアルタイムに分析し、潜在意味的不整合を識別し、フィードバックを制御可能な信号に変換し、残りの認知ステップを積極的に導く。大規模な実験ではPPADの大幅な改善が示されている。
論文参考訳（メタデータ） (2025-05-26T14:42:35Z)
Orthogonal Subspace Decomposition for Generalizable AI-Generated Image Detection [58.87142367781417]
航法的に訓練された検出器は、限定的で単調な偽のパターンに過度に適合する傾向にあり、特徴空間は高度に制約され、低ランクになる。潜在的な治療法の1つは、ビジョンファウンデーションモデルに事前訓練された知識を取り入れて、機能領域を広げることである。主要なコンポーネントを凍結し、残ったコンポーネントのみを適用することで、フェイクパターンを学習しながら、トレーニング済みの知識を保存します。
論文参考訳（メタデータ） (2024-11-23T19:10:32Z)
Steering Masked Discrete Diffusion Models via Discrete Denoising Posterior Prediction [88.65168366064061]
本稿では,確率論的推論の課題として,事前学習したMDMを操る作業を行う新しいフレームワークであるDDPPを紹介する。私たちのフレームワークは、3つの新しい目標のファミリーにつながります。 Wet-lab Validation(ウェット・ラブ・バリデーション)を用いて,報酬最適化タンパク質配列の過渡的発現を観察する。
論文参考訳（メタデータ） (2024-10-10T17:18:30Z)
Morphing Tokens Draw Strong Masked Image Models [28.356863521946607]
Masked Image Modeling (MIM) は、視覚変換器(ViT)の事前訓練のための有望なアプローチとして登場した。動的トークンモルフィング(DTM)は,コンテキストを保存しながら動的にトークンを集約し,コンテキスト化されたターゲットを生成する手法である。 DTMはさまざまなSSLフレームワークと互換性があります。
論文参考訳（メタデータ） (2023-12-30T14:53:09Z)
Semantic-Aware Autoregressive Image Modeling for Visual Representation Learning [9.960835000101115]
本稿では,セマンティック・アウェア・オートレグレッシブ・イメージ・モデリング(SemAIM)手法を提案する。 SemAIMの主な洞察は、セマンティックパッチから、セマンティックパッチの少ないセマンティックパッチへの自動回帰モデルイメージである。 ViT-Bで、SemAIMはImageNet上での微調整で84.1%のトップ-1精度、オブジェクト検出とインスタンス/セマンティックセグメンテーションで51.3%AP、45.4%APを達成した。
論文参考訳（メタデータ） (2023-12-16T14:03:10Z)
Learning to Mask and Permute Visual Tokens for Vision Transformer Pre-Training [55.12082817901671]
我々はMasked and Permuted Vision Transformer(MaPeT)という自己教師型事前学習手法を提案する。 MaPeTは、自動回帰および置換予測を使用して、パッチ内依存関係をキャプチャする。以上の結果から,MaPeTはベースラインやコンペティターと同一のモデル設定で比較して,ImageNet上での競合性能を実証した。
論文参考訳（メタデータ） (2023-06-12T18:12:19Z)
Stare at What You See: Masked Image Modeling without Reconstruction [154.74533119863864]
Masked Autoencoders (MAE) は、大規模な視覚表現事前学習のパラダイムとして広く普及している。近年の手法では, 画像特徴を再構成対象として抽出するために, セマンティック・リッチな教師モデルが適用されており, 性能が向上している。強力な教師モデルによって抽出された特徴は、画像中の領域間のリッチなセマンティックな相関を既にエンコードしていると論じる。
論文参考訳（メタデータ） (2022-11-16T12:48:52Z)
Diffusion Visual Counterfactual Explanations [51.077318228247925]
VCE(Visual Counterfactual Explanations)は、画像の決定を理解するための重要なツールである。 VCEの生成に対する現在のアプローチは、逆向きに堅牢なモデルに制限されており、しばしば非現実的なアーティファクトを含んでいる。本稿では、任意のイメージネット分類器に対して、視覚拡散対実説明(DVCE)を生成することでこれを克服する。
論文参考訳（メタデータ） (2022-10-21T09:35:47Z)
Semantic Image Synthesis via Diffusion Models [174.24523061460704]
Denoising Diffusion Probabilistic Models (DDPM) は様々な画像生成タスクにおいて顕著な成功を収めた。セマンティック画像合成に関する最近の研究は、主に事実上のGANベースのアプローチに従っている。意味画像合成のためのDDPMに基づく新しいフレームワークを提案する。
論文参考訳（メタデータ） (2022-06-30T18:31:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。