論文の概要: DuoJEPA: Cross-Modal Translation Between Unaligned Self-Supervised Embedding Spaces
- arxiv url: http://arxiv.org/abs/2611.15968v1
- Date: Wed, 11 Nov 2026 20:10:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.268356
- Title: DuoJEPA: Cross-Modal Translation Between Unaligned Self-Supervised Embedding Spaces
- Title(参考訳): DuoJEPA: アンアラインな自己スーパーバイディングスペース間の相互変換
- Abstract要約: DuoJEPAは、自己監督型のLeJEPA目標で、モダリティごとに1つのエンコーダを訓練する。
2つのエンコーダの埋め込み空間が不整合のままである間に、クロスモーダル検索と分類が得られる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Learning from paired modalities is commonly equated with aligning them: two encoders are trained until the embeddings of a pair coincide in a shared space. We study whether cross-modal retrieval and classification can instead be obtained while the two encoders' own embedding spaces remain directly unaligned. DuoJEPA trains one encoder per modality with the self-supervised LeJEPA objective and appends to each encoder a single transformer layer that translates its embedding into the other encoder's space, supervised by a contrastive objective computed entirely within that target space. No loss term compares the two own spaces directly, although the encoders are optimised jointly through the translation objective. In our experiments, the translator's residual connections determine where the cross-modal pressure is absorbed: with a residual translator the two encoders become directly aligned, whereas with a skipless (residual-free) translator a paired-cosine test detects no alignment in the final models, and at most a weak one in the ablations, at comparable cross-modal performance. The learned class-token translation is well approximated by a single scaled rotation of the source space. We evaluate DuoJEPA on two modality pairs that differ in nearly every respect. On chest radiographs and reports from CheXpert Plus, it attains a zero-shot AUC of 86.6 and a cross-modal retrieval score of 78.5, compared with 60.0 and 64.2 for our reimplementation of LeVLJEPA with the same encoders and data. On Sentinel-2 optical and Sentinel-1 radar imagery, the frozen encoders fall within the range of published Sentinel foundation models under our reproduction of the Copernicus-Bench linear-probe protocol, the translator retrieves the paired image of the other sensor among 4,000 candidates in 77-79% of cases, and a patch-level extension transfers the within-image similarity structure of the scene.
- Abstract(参考訳): 2つのエンコーダは、ペアの埋め込みが共有空間に一致するまで訓練される。
2つのエンコーダの埋め込み空間が直接アンアライメントされている間、クロスモーダル検索と分類が可能であるかを検討する。
DuoJEPAは、自己監督されたLeJEPA目標で1つのエンコーダを訓練し、各エンコーダに1つのトランスフォーマー層を追加し、そのエンコーダの空間への埋め込みを他のエンコーダの空間に変換する。
2つの空間を直接比較する損失項は存在しないが、エンコーダは変換目的によって共同で最適化される。
残差トランスレータでは2つのエンコーダが直接アライメントされるのに対し、スキップレス(残差のない)トランスレータではペアドコサインテストは最終モデルにおけるアライメントを検出せず、少なくともアブレーションにおける弱いものと同等のクロスモーダル性能で、トランスレータの残差が吸収される。
学習したクラストークン変換は、ソース空間の単一スケール回転によってよく近似される。
ほぼすべての点で異なる2つのモダリティ対についてDuoJEPAを評価した。
CheXpert Plusの胸部X線写真や報告では、86.6のゼロショットAUCと78.5のクロスモーダル検索スコアを達成し、LeVLJEPAを同じエンコーダとデータで再実装した60.0と64.2と比較した。
Sentinel-2光およびSentinel-1レーダー画像では、冷凍エンコーダは、Copernicus-Bench線形プローブプロトコルの再現の下で公開されたSentinel基盤モデルの範囲内にあり、トランスレータは77-79%のケースで4,000の候補のうち、他のセンサーのペア画像を取得し、パッチレベルの拡張はシーンの内像類似性構造を転送する。
関連論文リスト
- Label-Efficient Document-Grounded Factuality Detection via Cross-Paraphrastic Invariance Learning [13.433404959890645]
大規模な言語モデルは、与えられたソースドキュメントによって、流れることのできないクレームを生成することができる。
コンパクトな事実性検出器は推論時に効率的であるが、一般に大きなラベル付きまたは合成されたコーパスに依存している。
本稿では,2段階のシームズフレームワークであるCPILを提案する。
論文 参考訳(メタデータ) (2026-11-12T04:06:48Z) - AC-JEPA: Anchored Cross-Modal Joint Embedding Predictive Architecture for Visual-to-Symbolic Translation [14.985121477806059]
クロスモーダル翻訳は、モダリティ間で共有セマンティクスをキャプチャするモデルを必要とする。
Supervised Fine-tuning (SFT)は、分類トークンレベルの監督を通じて、クロスモーダル翻訳を直接最適化する。
SFT互換のプラグインであるAnchored Cross-Modal JEPA (AC-JEPA)を導入する。
論文 参考訳(メタデータ) (2026-10-27T01:49:22Z) - LoCA: Enabling Multi-Modality in Geospatial Location Encoders [18.583385746719348]
位置エンコーダは、対照的なアライメント画像を通して、地理的座標を高次元ディスクリプタにマッピングする。
リプシッツの位置エンコーダは、アーキテクチャや帯域幅に関わらず、次元2の出力を生成する。
次元制限はあるものの、現在の位置エンコーダは凍結画像エンコーダに対するトレーニングによってこのスペクトル崩壊を横に進める。
どちらも満足できる2段階パイプラインであるLoCA(Location Contrastive Alignment)を提案する。
論文 参考訳(メタデータ) (2026-10-23T17:01:04Z) - MEOX: Compact Multimodal Mixture-of-Experts for Earth Observation [0.0]
我々は,2.939万のパラメータエンコーダと3.115万のパラメータを持つマルチモーダルマスク付きオートエンコーダMEOXを提案する。
センサ固有のアダプタ、明示的な妥当性信号、共有スパース・エキスパートブロックは、モダリティに依存した処理を保存する。
このモデルは64.42%に達し、カシューセグメンテーションでは64ピクセル、ユーロサットでは90.56%の精度で224ピクセルで交差する。
論文 参考訳(メタデータ) (2026-09-04T16:59:36Z) - LeVJEPA: Efficient & Scalable Video Pretraining without the Heuristics [50.45297537821907]
我々はLeJEPAの崩壊のない目的の下で訓練された最初のビデオエンコーダLeVJEPAを紹介する。
単一のエンコーダは、クリップのグローバルおよびローカルビューよりも分散損失で訓練される。
LeVJEPAはV-JEPA 2とVT-S/B/Lの5.6から20.8倍の速さで一致または超える。
論文 参考訳(メタデータ) (2026-08-27T17:26:24Z) - Beyond Encoder Accumulation: Measuring Encoder Roles in Multi-Encoder VLMs [50.3757247538081]
我々は、統一パイプラインの下で、5つの共通ビジョンエンコーダの空でないサブセット31を再訓練し、評価する。
各エンコーダのコントリビューションを,容量と必要量という2つの軸に分解する。
エンコーダごとのプロジェクタ有効ランクは、残留スコアの変動を説明する。
論文 参考訳(メタデータ) (2026-06-02T16:46:42Z) - A Modelling and Evaluation Framework for EuroCrops-Driven Sentinel-2 Crop Segmentation [78.66324246922831]
本研究では,Sentinel-2イメージとEuroCropsパーセルレベルのアノテーションからセマンティックセグメンテーション対応農業データセットを生成するパイプラインを提案する。
このデータセットには、ヨーロッパ5カ国から67,337のパッチが含まれており、10種類の作物と背景の分類を減らしている。
The four-level U-Net with Group Normalization were training using 10 Sentinel-2 spectrum bands and a Composite loss with class-weighted cross-entropy and Dice loss。
論文 参考訳(メタデータ) (2026-05-30T11:20:29Z) - Complexity Matters: Rethinking the Latent Space for Generative Modeling [65.64763873078114]
生成的モデリングにおいて、多くの成功したアプローチは、例えば安定拡散のような低次元の潜在空間を利用する。
本研究では, モデル複雑性の観点から潜在空間を再考することにより, 未探索の話題に光を当てることを目的としている。
論文 参考訳(メタデータ) (2023-07-17T07:12:29Z) - LoopITR: Combining Dual and Cross Encoder Architectures for Image-Text
Retrieval [117.15862403330121]
共同学習のためのネットワークにおいて,デュアルエンコーダとクロスエンコーダを組み合わせたLoopITRを提案する。
具体的には、二重エンコーダをクロスエンコーダに強陰性を与え、より識別性の高いクロスエンコーダを用いてその予測を二重エンコーダに戻す。
論文 参考訳(メタデータ) (2022-03-10T16:41:12Z) - Fast Interleaved Bidirectional Sequence Generation [90.58793284654692]
左右方向と左右方向を同時に生成するデコーダを提案する。
一方向デコードのための標準アーキテクチャを簡単に双方向デコーダに変換することができることを示す。
我々のインターリーブ双方向デコーダ (IBDecoder) は標準変換器のモデル単純性と訓練効率を保っている。
論文 参考訳(メタデータ) (2020-10-27T17:38:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。