論文の概要: PPOM: Marginalizing Patch-Grid Phase for CLIP-Based Generalizable Vision-Language Prompt Tuning
- arxiv url: http://arxiv.org/abs/2608.13969v1
- Date: Fri, 14 Aug 2026 05:31:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-17 20:14:29.288846
- Title: PPOM: Marginalizing Patch-Grid Phase for CLIP-Based Generalizable Vision-Language Prompt Tuning
- Title(参考訳): PPOM:CLIPに基づく汎用ビジョンランゲージ・プロンプトチューニングのためのマージナイズドパッチグリッド位相
- Abstract要約: 本稿では,位相シフトをニュアンス変数として扱うトレーニングフリー推論演算子である Patch-Phase Orbit Marginalization (PPOM) を紹介する。
PPOMは、プロンプト適応とパッチグリッド感度の間に決定論的インターフェースを提供する。
- 参考スコア(独自算出の注目度): 40.4729793696265
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Prompt tuning adapts CLIP-based vision-language models with few trainable parameters, yet its predictions remain sensitive to the spatial sampling imposed by a frozen vision transformer. In particular, non-overlapping patch tokenization makes predictions depend on the alignment (phase) between image and the patch lattice. To reduce prediction sensitivity to patch-grid alignment, we introduce Patch-Phase Orbit Marginalization (PPOM), a training-free inference operator that treats phase shift as a nuisance variable. Given a patch stride, PPOM evaluates the identity view and reflection-padded translations, pairs opposite shifts into horizontal, vertical, and diagonal antithetic families, and assigns equal mass to these families and the identity prediction to avoid view-count bias during phase integration. In summary, PPOM provides a deterministic interface between prompt adaptation and patch-grid sensitivity. Across multiple prompt-learning hosts, PPOM improves host performance without re-training.
- Abstract(参考訳): プロンプトチューニングは、トレーニング可能なパラメータがほとんどないCLIPベースの視覚言語モデルに適応するが、その予測は、凍結した視覚変換器によって課される空間サンプリングに敏感である。
特に、重複しないパッチトークン化は、画像とパッチ格子のアライメント(フェーズ)に依存する。
パッチグリッドアライメントに対する予測感度を低減するために,位相シフトをニュアンス変数として扱うトレーニングフリー推論演算子であるPatch-Phase Orbit Marginalization (PPOM)を導入する。
パッチ・ストライドが与えられた場合、PPOMはアイデンティティ・ビューとリフレクション・パッドド・トランスレーション、対を水平、垂直、対角のアンチテティック・ファミリーに変更し、これらのファミリーと同一質量を割り当て、位相積分中のビュー・カウント・バイアスを避けるためにアイデンティティ・予測を行う。
要約すると、PPOMはプロンプト適応とパッチグリッド感度の間に決定論的インターフェースを提供する。
複数のプロンプトラーニングホスト全体で、PPOMは再トレーニングせずにホストのパフォーマンスを改善する。
関連論文リスト
- Balancing Emotional Alignment and Semantic Consistency in Image Generation via Reinforcement Learning with Valence-Arousal Anchoring [55.57242007016976]
テキスト・ツー・イメージ生成における継続的な感情制御は、プロンプトによって記述されたオブジェクトやレイアウト、シーンを変更することなく、感情的アライメントを改善するモデルを必要とする。
既存の教師付き感情注入法は、しばしば特徴空間プロキシを最適化し、したがって感情のセマンティックドリフトを示す。
本稿では,連続的原子価覚醒条件設定,グループ相対ポリシー最適化,中立的セマンティックアンカーを組み合わせたフローマッチング画像生成フレームワークを用いてこの問題に対処する。
論文 参考訳(メタデータ) (2026-09-11T13:24:35Z) - Test-Time Prototype Adaptation for Open-Vocabulary Semantic Segmentation [5.483657589815383]
Test-time Prototype Adaptation (TPA) は出力レベルで動作し、ホストのフォワードパスとウェイトは変更されていない。
TPAは、未ラベルのデプロイメントドメインイメージの小さなプール上で、ホスト自身の出力予測から確実なアンカーパッチを特定する。
この凍結された銀行に対する1つのコサイン類似性のルックアップは、ホストのロジットと線形に融合された補助スコアを提供する。
論文 参考訳(メタデータ) (2026-08-08T18:51:16Z) - Rethinking Weight Tying: Pseudo-Inverse Tying for Stable LM Training and Updates [22.84428628659889]
Pseudo-Inverse Tyingはトレーニングを通じて擬似逆整合インターフェースを保証する。
256M-1.3Bパラメータにまたがるデバイス上でのPITを評価する。
論文 参考訳(メタデータ) (2026-02-04T13:44:53Z) - PseudoNeg-MAE: Self-Supervised Point Cloud Learning using Conditional Pseudo-Negative Embeddings [55.55445978692678]
PseudoNeg-MAEは、ポイントクラウドマスマスキングオートエンコーダのグローバルな特徴表現を強化する。
本研究では,ネットワークが識別的表現を保ちながら,よりリッチな変換キューをキャプチャできる新たな損失を提案する。
論文 参考訳(メタデータ) (2024-09-24T07:57:21Z) - Semi-Supervised Coupled Thin-Plate Spline Model for Rotation Correction and Beyond [84.56978780892783]
制御点が限られている複数のTPSを、より柔軟で強力な変換に繰り返し結合するCoupledTPSを提案する。
注記コストを考慮に入れた半教師付き学習手法を開発し、ラベルのないデータを活用することにより、ワープ品質を向上させる。
実験は、回転補正のための既存の最先端解よりもCoupledTPSの優位性と普遍性を示す。
論文 参考訳(メタデータ) (2024-01-24T13:03:28Z) - Learning to Mask and Permute Visual Tokens for Vision Transformer Pre-Training [55.12082817901671]
我々はMasked and Permuted Vision Transformer(MaPeT)という自己教師型事前学習手法を提案する。
MaPeTは、自動回帰および置換予測を使用して、パッチ内依存関係をキャプチャする。
以上の結果から,MaPeTはベースラインやコンペティターと同一のモデル設定で比較して,ImageNet上での競合性能を実証した。
論文 参考訳(メタデータ) (2023-06-12T18:12:19Z) - UIA-ViT: Unsupervised Inconsistency-Aware Method based on Vision
Transformer for Face Forgery Detection [52.91782218300844]
そこで我々は、UIA-ViTと呼ばれるビジョン変換器に基づく教師なし不整合認識手法を提案する。
自己注意機構により、パッチ埋め込み間の注意マップは自然に一貫性関係を表現し、一貫性表現学習に適した視覚変換器となる。
論文 参考訳(メタデータ) (2022-10-23T15:24:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。