論文の概要: CAPE-JEPA - Cross-modal Adversarial Probabilistic Embedding JEPA
- arxiv url: http://arxiv.org/abs/2611.06247v1
- Date: Wed, 04 Nov 2026 09:55:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 03:25:58.048409
- Title: CAPE-JEPA - Cross-modal Adversarial Probabilistic Embedding JEPA
- Title(参考訳): CAPE-JEPA - クロスモーダルな確率的確率的JEPA
- Abstract要約: クロスモーダルリモートセンシング画像検索(RS-CMIR)は、モダリティ不変かつ意味的に識別可能な表現を必要とする。
最近のJEPAをベースとした予測的自己教師型アプローチであるX-JEPAは、決定論的潜在予測タスクとしてクロスモーダルアライメントを定式化している。
確率的クロスモーダルな共同埋め込み予測アーキテクチャCAPE-JEPAを3つのコントリビューションで提案する。
- 参考スコア(独自算出の注目度): 21.673603012365884
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Cross-modal remote sensing image retrieval (RS-CMIR) requires representations that are simultaneously modality-invariant and semantically discriminative, despite the profound physical gap between heterogeneous sensors such as Synthetic Aperture Radar (SAR) and multispectral imagery. Recent JEPA-based Predictive self-supervised approaches such as X-JEPA formulate cross-modal alignment as a deterministic latent forecasting task, implicitly assuming uniform patch predictability and leaving cross-modal distributional alignment unaddressed. We propose CAPE-JEPA, a probabilistic cross-modal Joint Embedding Predictive Architecture with three contributions: (i) a cross-attentional Gaussian predictor outputting per-patch parameters (mu, sigma^2) conditioned on opposite-modality context, trained via negative log-likelihood to model inherent cross-sensor prediction uncertainty; (ii) adversarial distributional regularization combining unimodal isotropic Gaussian regularization with a novel cross-modal adversarial variant that aligns modality distributions via worst-case Epps-Pulley characteristic function tests without explicit sample pairing; and (iii) in-training contrastive learning with attention-pooled heads for scene-level discriminative grounding. Evaluated on BigEarthNet-14K (BEN-14K) and fMoW across SAR, multispectral, and RGB modalities, CAPE-JEPA surpasses X-JEPA by up to 13.74 points on BEN-14K and 15.59 points on fMoW, outperforming all baselines including SkySense and CROMA across both unimodal and cross-modal directions while using fewer parameters (407.30M vs. 432.72M).
- Abstract(参考訳): クロスモーダルリモートセンシング画像検索(RS-CMIR)は、SAR(Synthetic Aperture Radar)のような異種センサとマルチスペクトル画像の間に深い物理的ギャップがあるにもかかわらず、同時にモダリティ不変かつ意味差別的な表現を必要とする。
最近のJEPAベースの予測的自己監督アプローチであるX-JEPAは、決定論的潜在予測タスクとしてクロスモーダルアライメントを定式化し、均一なパッチ予測可能性を暗黙的に仮定し、クロスモーダル分布アライメントを未修正のまま残している。
確率的クロスモーダルな共同埋め込み予測アーキテクチャであるCAPE-JEPAを3つのコントリビューションで提案する。
(i)非モダリティ文脈で条件付きパッチ毎のパラメータ(mu, sigma^2)を出力する対向的ガウス予測器であって、対向的対向的予測の不確かさをモデル化するために負対数様態を用いて訓練すること。
(II)一様等方性ガウス正規化と、最悪のEpps-Pulley特性関数によるモダリティ分布を明示的なサンプルペア化なしで整列する新しいクロスモーダル逆正則化を組み合わせた逆正則化(II)
(3) シーンレベルの差別的接地のための注目型頭部を用いた訓練的コントラスト学習。
BigEarthNet-14K (BEN-14K) とfMoWをSAR、マルチスペクトル、RGBモダリティで評価し、CAPE-JEPAはX-JEPAを13.74ポイント、fMoWで15.59ポイント、SkySenseやCROMAを含む全てのベースラインよりも少ないパラメータ(407.30M vs. 432.72M)で上回っている。
関連論文リスト
- M-JEPA: Predictive Self-Supervised Learning for Molecular Graphs with Scaffold-Shift Evaluation on Tox21 [0.0]
自己教師付き分子表現学習は、ラベルに制限された小さな特性予測タスクの伝達を改善するために、ますます使われている。
化学コヒーレントな結合部分グラフをマスキングすることにより分子グラフに結合埋め込み予測アーキテクチャ(JEPA)を適用する。
マッチングされた計算では、M-JEPAは計算マッチングされたInfoNCEベースラインよりもかなり低いESOLプロキシRMSEを達成する。
論文 参考訳(メタデータ) (2026-10-18T10:39:31Z) - COMPASS: Contextual Moment Prior Alignment for Generalizable AIGI Detection [87.91469665365304]
一般化可能なAI生成画像(AIGI)とディープフェイク検出は、非対称性現象のため難しいままである。
最近の部分空間適応法は、残留部分空間を適応させながら高次主成分を凍結することによりこの問題を軽減する。
本稿では,小さなSemantic Proxy Setを用いて,ターゲットのアクティベーション統計を推定するデータ認識サブスペース適応フレームワークを提案する。
論文 参考訳(メタデータ) (2026-10-13T09:23:12Z) - Revealing Epistemic Uncertainty in MLLMs via Causal-Invariant Masking [66.12909617366432]
MLLM(Multimodal Large Language Models)は幻覚に悩まされ、信頼性の高いデプロイメントを保証するために不確実性定量化(Uncertainty Quantification, UQ)が重要なニーズとなる。
因果関係に焦点を絞った視点で,元の予測と条件のセマンティックシフトを測定するコーサル不変マスキング(CIM)を提案する。
また,超球面埋め込み空間内でのセマンティックシフトを推定する高速な幾何的プロキシ指標であるEEDを提案する。
論文 参考訳(メタデータ) (2026-10-02T06:29:37Z) - Von Mises Based Uncertainty Quantification for Closely Spaced Automotive Radar Targets [0.5378499388029053]
本研究は,自動車レーダの到達方向推定(DOA)に対する不確実性を考慮した深層学習手法について検討する。
円形のvon Mises(VM)アンサンブル(ENS)を、通常の逆ガンマ定式化に基づく明らかな深層学習(EDL)フレームワークと比較する。
ENSは名目条件下では低い不確実性を実現し、重度の摂動に対して強い感度を示す一方、EDLはよりスムーズな不確実性変化とわずかに改善されたランキング整合性を提供する。
論文 参考訳(メタデータ) (2026-06-30T10:49:45Z) - CR-JEPA: Cross-Modal Joint-Embedding Predictive Learning for Remote Sensing Image Retrieval [17.886004315444357]
クロスモーダルなリモートセンシング画像検索は、異質なセンシングモダリティをまたいだセマンティックなシーンの検索を目的としている。
両モードリモートセンシング検索のためのクロスモーダル検索統合埋め込み予測アーキテクチャCR-JEPAを提案する。
論文 参考訳(メタデータ) (2026-05-30T12:29:46Z) - Beyond Mode Collapse: Distribution Matching for Diverse Reasoning [69.88237286885065]
GRPOのようなオンライン強化学習手法はモード崩壊に悩まされる。
このことは、逆KL最小化のモード探索行動に由来することを示す。
KL最小化の原理的近似によりモード崩壊を防止するDMPOを提案する。
論文 参考訳(メタデータ) (2026-05-19T07:13:00Z) - Too Correct to Learn: Reinforcement Learning on Saturated Reasoning Data [55.84428098924793]
構造保存探索を行うためのパラメータ自由復号法である Constrained Uniform Top-K Smpling (CUTS) を提案する。
グループ内の利点分散を増幅するために、エクスプロイトと探索的なロールアウトを相乗化するためのトレーニングフレームワークであるMixed-CUTSに統合する。
特にMixed-CUTSは、AIME25ベンチマークのPass@1の精度を標準のGRPOよりも15.1%向上している。
論文 参考訳(メタデータ) (2026-04-20T16:43:28Z) - Uncertainty-Aware Optimal Transport for Semantically Coherent
Out-of-Distribution Detection [18.63223813938397]
SCOOD(Semantically coherent out-of-distribution)検出は、ラベルなしの余分な集合にアクセスして、意図したデータ分布からアウトリーチを識別することを目的としている。
分布内および分布外サンプルの共存は、区別されない場合の過剰適合を悪化させる。
提案手法は,セマンティックな表現の割り当てを促進するため,不確実性の変動コストを推定するエネルギーベース輸送機構から構成される。
論文 参考訳(メタデータ) (2023-03-18T16:22:59Z) - Comparing Probability Distributions with Conditional Transport [63.11403041984197]
新しい発散として条件輸送(CT)を提案し、償却されたCT(ACT)コストと近似します。
ACTは条件付き輸送計画の計算を補正し、計算が容易な非バイアスのサンプル勾配を持つ。
さまざまなベンチマークデータセットのジェネレーティブモデリングでは、既存のジェネレーティブ敵対ネットワークのデフォルトの統計距離をACTに置き換えることで、一貫してパフォーマンスを向上させることが示されています。
論文 参考訳(メタデータ) (2020-12-28T05:14:22Z) - Probabilistic electric load forecasting through Bayesian Mixture Density
Networks [70.50488907591463]
確率的負荷予測(PLF)は、スマートエネルギーグリッドの効率的な管理に必要な拡張ツールチェーンの重要なコンポーネントです。
ベイジアン混合密度ネットワークを枠とした新しいPLFアプローチを提案する。
後方分布の信頼性と計算にスケーラブルな推定を行うため,平均場変動推定と深層アンサンブルを統合した。
論文 参考訳(メタデータ) (2020-12-23T16:21:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。