論文の概要: AC-JEPA: Anchored Cross-Modal Joint Embedding Predictive Architecture for Visual-to-Symbolic Translation

• arxiv url: http://arxiv.org/abs/2610.36493v1
• Date: Tue, 27 Oct 2026 01:49:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.461345
• Title: AC-JEPA: Anchored Cross-Modal Joint Embedding Predictive Architecture for Visual-to-Symbolic Translation
• Title（参考訳）: AC-JEPA:ビジュアル・シンボリック翻訳のための予測アーキテクチャを組み込んだクロスプラットフォーム共同埋め込み
• Abstract要約: クロスモーダル翻訳は、モダリティ間で共有セマンティクスをキャプチャするモデルを必要とする。 Supervised Fine-tuning (SFT)は、分類トークンレベルの監督を通じて、クロスモーダル翻訳を直接最適化する。 SFT互換のプラグインであるAnchored Cross-Modal JEPA (AC-JEPA)を導入する。
• 参考スコア（独自算出の注目度）: 14.985121477806059
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Cross-modal translation requires models to capture shared semantics across modalities while preserving the fine-grained structure required by the target modality. Yet in real-world scientific domains, paired data are often imperfect, while obtaining clean pairs at scale is costly. Supervised fine-tuning (SFT) directly optimizes cross-modal translation through categorical token-level supervision, but this objective is sensitive to errors in the target sequences. JEPA offers a complementary representation-space objective, but most existing formulations focus on prediction within a modality rather than translation across modalities. We introduce Anchored Cross-Modal JEPA (AC-JEPA), an SFT-compatible plug-in that predicts masked intermediate states in both cross-modal directions using paired data. The joint-embedding objective targets cross-modal structure predictable from context, while the causal SFT path retains direct token-level supervision for the target sequence. During self-training, AC-JEPA learns from continuous latent targets derived from imperfect pseudo-labeled pairs, offering intrinsic tolerance to local data errors without promoting pseudo-tokens to hard categorical supervision. Using optical chemical structure recognition as a testbed, AC-JEPA trained on clean pairs achieves 76.07% accuracy on the Simple set of the WildMol benchmark, compared with 67.40% for SFT alone. Using the same pseudo-labeled data for both approaches, AC-JEPA-based self-training further raises accuracy to 80.23%, whereas accuracy under direct SFT drops from 67.40% to 63.47%. These results support SFT-anchored joint-embedding prediction as an effective strategy for cross-modal translation under both curated and imperfect supervision.
• Abstract（参考訳）: クロスモーダル翻訳では、対象のモダリティによって要求されるきめ細かい構造を保ちながら、モダリティを越えて共有セマンティクスをキャプチャするモデルが必要である。 しかし、現実世界の科学領域では、ペア化されたデータはしばしば不完全であり、クリーンなペアを大規模に取得するにはコストがかかる。 Supervised Fine-tuning (SFT) は、分類的トークンレベルの監督を通じて、直接クロスモーダル翻訳を最適化するが、この目的はターゲットシーケンスのエラーに敏感である。 JEPAは相補的な表現空間の目的を提供するが、既存の定式化のほとんどは、モダリティ間の変換ではなく、モダリティ内の予測に焦点を当てている。 SFT互換のプラグインであるAnchored Cross-Modal JEPA (AC-JEPA)を導入する。 連載対象はコンテキストから予測可能なクロスモーダル構造を目標とし、因果SFTパスはターゲットシーケンスのトークンレベルを直接監視する。 自己学習中、AC-JEPAは、不完全な擬似ラベルペアから派生した継続的な潜伏目標から学習し、疑似トークンを厳格な分類的監督に昇格させることなく、局所データエラーに対する本質的な耐性を提供する。 光学化学構造認識をテストベッドとして使用したAC-JEPAは、SFT単独の67.40%と比較して、WildMolベンチマークの単純なセットで76.07%の精度を達成している。 同じ擬似ラベルデータを用いて、AC-JEPAベースの自己学習は80.23%まで精度を上げ、SFTの直接精度は67.40%から63.47%に低下した。 これらの結果は,SFT-anchored 共同埋め込み予測を,治療と不完全管理の両面において,相互翻訳の効果的な戦略として支持する。

関連論文リスト

• MM-LeJEPA: Correlated Gaussian Regularization for Multimodal Joint-Embedding Predictive Architectures [50.784615468964176]
  LeJEPAは、そのタスク仮定の下で、フィッシャー情報基準を最小化することで、等方的ガウス埋め込みターゲットを導出する。 我々は,LJEPAのタスク仮定をマルチモーダル学習に拡張することでMM-LeJEPAを導入する。
  論文  参考訳（メタデータ） (2026-10-17T13:20:43Z)
• COMPASS: Contextual Moment Prior Alignment for Generalizable AIGI Detection [87.91469665365304]
  一般化可能なAI生成画像(AIGI)とディープフェイク検出は、非対称性現象のため難しいままである。 最近の部分空間適応法は、残留部分空間を適応させながら高次主成分を凍結することによりこの問題を軽減する。 本稿では,小さなSemantic Proxy Setを用いて,ターゲットのアクティベーション統計を推定するデータ認識サブスペース適応フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-10-13T09:23:12Z)
• A Step Towards Robust Unsupervised Domain Adaptation via Fine-Tuning and Reinforcement Learning [2.436631469537453]
  我々は,2段階の堅牢なUDAフレームワークである textbfSFT+RL を提案し,Supervised Fine Tuning と Reinforcement Learning を統合した。 textbfSFT+RLは、清潔な精度で textbf10.2% を平均的に改善し、textbf15.8% を3つのデータセットで比較した。
  論文  参考訳（メタデータ） (2026-07-03T20:56:12Z)
• Predict and Reconstruct: Joint Objectives for Self-Supervised Language Representation Learning [0.0]
  Masked Language Modelling (MLM) は BERT 以降,テキストエンコーダの事前学習の主流となっている。 視覚とオーディオにおけるJEPA(Joint Embedding Predictive Architectures)の成功に触発されて,我々はハイブリッドな目的を提案する。 我々は、同じアーキテクチャと計算予算を用いて、ハイブリッドモデルと純粋MLMベースラインの両方を英語ウィキペディアで事前訓練する。
  論文  参考訳（メタデータ） (2026-04-16T22:26:47Z)
• SCOPE: Semantic Coreset with Orthogonal Projection Embeddings for Federated learning [0.7799711162530713]
  現在のMLアプローチでは、非現実的なデータアグリゲーションを必要とするか、クラス不均衡のため失敗する。 SCOPEは,異常をフィルタし,冗長なデータを長期スキューに適応させる,フェデレートされたデータのためのコアセットフレームワークである。 SCOPEは、アップリンク帯域幅を128倍から512倍に削減しながら、競争力のあるグローバル精度と堅牢な収束をもたらす。
  論文  参考訳（メタデータ） (2026-03-13T13:24:12Z)
• TAB-PO: Preference Optimization with a Token-Level Adaptive Barrier for Token-Critical Structured Generation [0.0]
  高価値セマンティックトークンを優先するトークン重み付き参照調整アドバンテージが提示される。 医療コミュニケーションアノテーションを用いたTAB-POの評価を行った。
  論文  参考訳（メタデータ） (2026-02-03T23:48:13Z)
• Winning the Pruning Gamble: A Unified Approach to Joint Sample and Token Pruning for Efficient Supervised Fine-Tuning [71.30276778807068]
  サンプルプルーニングとトークンプルーニングを戦略的に協調する統合フレームワークを提案する。 Q-Tuningは、トレーニングデータの12.5%しか使用せず、全データSFTベースラインに対する平均38%の改善を実現している。
  論文  参考訳（メタデータ） (2025-09-28T13:27:38Z)
• Semi-DETR: Semi-Supervised Object Detection with Detection Transformers [105.45018934087076]
  半教師付き物体検出(SSOD)におけるDETRに基づくフレームワークの解析 本報告では,第1次変圧器を用いたエンド・ツー・エンド半教師対象検出器であるSemi-DETRについて述べる。 我々の手法は、最先端の手法をクリアマージンで上回る。
  論文  参考訳（メタデータ） (2023-07-16T16:32:14Z)
• Divide and Contrast: Source-free Domain Adaptation via Adaptive Contrastive Learning [122.62311703151215]
  Divide and Contrast (DaC) は、それぞれの制限を回避しつつ、両方の世界の善良な端を接続することを目的としている。 DaCは、ターゲットデータをソースライクなサンプルとターゲット固有なサンプルに分割する。 さらに、ソースライクなドメインと、メモリバンクベースの最大平均離散性(MMD)損失を用いて、ターゲット固有のサンプルとを整合させて、分散ミスマッチを低減する。
  論文  参考訳（メタデータ） (2022-11-12T09:21:49Z)
• Semi-supervised Domain Adaptive Structure Learning [72.01544419893628]
  半教師付きドメイン適応 (SSDA) は,1) アノテーションの低いデータに過度に適合する手法と,2) ドメイン間の分散シフトの両方を克服しなければならない課題である。 SSLとDAの協調を正規化するための適応型構造学習手法を提案する。
  論文  参考訳（メタデータ） (2021-12-12T06:11:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。