論文の概要: PACE: Progressive Angular-to-Norm Contrastive Embedding

• arxiv url: http://arxiv.org/abs/2609.15152v1
• Date: Mon, 14 Sep 2026 07:26:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:06.169584
• Title: PACE: Progressive Angular-to-Norm Contrastive Embedding
• Title（参考訳）: PACE: プログレッシブなAngular-to-Normコントラストの埋め込み
• Abstract要約: 多モード埋め込みモデルは異種入力を共有埋め込み空間にエンコードし、モダリティやタスク間の効率的な類似性計算を可能にする。 既存のほとんどの手法はコサインに基づくコントラスト目的を最適化し、安定なトレーニングを促進するが、意味的整合性を角幾何学に制限する。 表現空間とトレーニング可能なパラメータ空間の両方を段階的に拡張する2段階フレームワークである PACE を提案する。
• 参考スコア（独自算出の注目度）: 30.250903454626553
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal embedding models encode heterogeneous inputs into a shared embedding space, enabling efficient similarity computation across modalities and tasks. Most existing methods optimize cosine-based contrastive objectives, which promote stable training but restrict semantic compatibility to angular geometry, precluding embedding norms from serving as an additional semantic signal. However, directly optimizing the more expressive dot-product similarity, which leverages both angular and norm information, underperforms cosine-based training and exhibits unstable training dynamics. We attribute this discrepancy to premature optimization-space expansion, manifested as angular--norm entanglement and directional anisotropy in the representation space and further compounded by full-parameter fine-tuning. In this paper, we propose PACE, a two-stage framework that progressively expands both the representation and trainable parameter spaces. Stage I combines cosine-based objective with low-rank adaptation to establish a reliable angular geometry within constrained optimization spaces. Stage II switches to dot-product similarity and full-parameter fine-tuning, enabling embedding directions and norms to jointly encode semantic information. We further introduce Focal Embedding Loss, a confidence-adaptive objective that downweights queries with high positive retrieval confidence while emphasizing ambiguous queries with competitive negatives. Experiments across multiple backbone scales and diverse multimodal embedding tasks consistently validate the effectiveness of PACE.
• Abstract（参考訳）: 多モード埋め込みモデルは異種入力を共有埋め込み空間にエンコードし、モダリティやタスク間の効率的な類似性計算を可能にする。 既存のほとんどの手法はコサインベースのコントラスト目的を最適化し、安定なトレーニングを促進するが、埋め込みノルムが追加の意味信号として機能することを避けるために、角幾何学に意味的適合性を制限する。 しかし、角情報と標準情報の両方を利用するより表現力のあるドット積類似性を直接最適化することは、コサインベースのトレーニングを過小評価し、不安定なトレーニングダイナミクスを示す。 我々は,この相違点を,角-ノルム交絡と方向異方性として表わされ,さらに全パラメータ微調整によって合成される,早期の最適化空間展開に起因している。 本稿では、表現空間とトレーニング可能なパラメータ空間の両方を段階的に拡張する2段階フレームワークであるPACEを提案する。 ステージ1はコサインに基づく目的と低ランク適応を組み合わせることで、制約付き最適化空間内での信頼できる角形状を確立する。 ステージIIはドット積の類似性とフルパラメータの微調整に切り替え、埋め込み方向とノルムがセマンティック情報を共同でエンコードすることを可能にする。 さらにFocal Embedding Lossを紹介した。これは、競合性のある不明瞭なクエリを強調しながら、高い肯定的な検索信頼を持つクエリをダウンウェイトする、信頼性適応的な目的である。 複数のバックボーンスケールにわたる実験と多様なマルチモーダル埋め込みタスクは、PACEの有効性を一貫して検証する。

関連論文リスト

• INST-Align: Implicit Neural Alignment for Spatial Transcriptomics via Canonical Expression Fields [1.0487944945684993]
  INST-Alignは、座標ベースの変形ネットワークと共有カノニカル表現場を結合する。 最先端の平均OT精度(0.702)、NN精度(0.719)、チャンファー距離(94.9%)を実現している。 また、生物学的に意味のある空間埋め込みとコヒーレントな3D組織再構築をもたらす。
  論文  参考訳（メタデータ） (2026-04-13T21:44:18Z)
• Variational Entropic Optimal Transport [67.76725267984578]
  本稿では,ドメイン翻訳問題に対する変分エントロピー最適輸送(VarEOT)を提案する。 VarEOTは、補助正の正規化子上のトラクタブルな一般化として、log-partition $log mathbbE[exp(cdot)$の正確な変分再構成に基づいている。 合成データと画像と画像の変換に関する実験は、競争力のあるか、あるいはより良い翻訳品質を示す。
  論文  参考訳（メタデータ） (2026-02-02T15:48:44Z)
• From Coefficients to Directions: Rethinking Model Merging with Directional Alignment [66.99062575537555]
  パラメータと特徴空間の両面に一貫した方向構造を整列する,方向アライメント付きemphMerging(method)という統一幾何学的枠組みを導入する。 分析の結果、指向性アライメントは構造的コヒーレンスを改善し、ベンチマーク、モデルスケール、タスク構成にまたがる広範な実験により、我々のアプローチの有効性がさらに検証された。
  論文  参考訳（メタデータ） (2025-11-29T08:40:58Z)
• Beyond flattening: a geometrically principled positional encoding for vision transformers with Weierstrass elliptic functions [2.8199098530835127]
  視覚変換器はコンピュータビジョンタスクにおいて顕著な成功を収めた。 伝統的な位置符号化アプローチはユークリッド空間距離とシーケンシャルインデックス距離との間の単調な対応を確立するのに失敗する。 WEF-PE(英語版)は、自然複素領域表現による埋め込み2次元座標を直接扱う数学的原理のアプローチである。
  論文  参考訳（メタデータ） (2025-08-26T16:14:59Z)
• PAID: Pairwise Angular-Invariant Decomposition for Continual Test-Time Adaptation [70.98107766265636]
  本稿では,事前学習した重みの幾何学的特性を出発点として,3つの重要な成分(等級,絶対角,対角構造)を体系的に解析する。 両角構造は多種多様なドメインにわたって安定であり, ドメイン不変な意味情報を符号化し, 適応中に保存すべきことを示唆する。
  論文  参考訳（メタデータ） (2025-06-03T05:18:15Z)
• A Consistency-Aware Spot-Guided Transformer for Versatile and Hierarchical Point Cloud Registration [9.609585217048664]
  我々は整合性を考慮したスポット誘導変換器(CAST)を開発した。 CASTは、無関係な領域への干渉を避けるために、スポット誘導のクロスアテンションモジュールを組み込んでいる。 スパースキーポイントと高密度特徴の両方のための軽量な微細マッチングモジュールは、変換を正確に推定することができる。
  論文  参考訳（メタデータ） (2024-10-14T08:48:25Z)
• Towards Continual Learning Desiderata via HSIC-Bottleneck Orthogonalization and Equiangular Embedding [55.107555305760954]
  本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。 提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
  論文  参考訳（メタデータ） (2024-01-17T09:01:29Z)
• Dynamic Kernel-Based Adaptive Spatial Aggregation for Learned Image Compression [63.56922682378755]
  本稿では,空間アグリゲーション機能の拡張に焦点をあて,動的カーネルベースの変換符号化を提案する。 提案したアダプティブアグリゲーションはカーネルオフセットを生成し、コンテント条件付き範囲の有効な情報をキャプチャして変換を支援する。 実験により,本手法は,最先端の学習手法と比較して,3つのベンチマークにおいて高い速度歪み性能が得られることを示した。
  論文  参考訳（メタデータ） (2023-08-17T01:34:51Z)
• Implicit Bayes Adaptation: A Collaborative Transport Approach [25.96406219707398]
  領域適応は、高次元ユークリッド空間に埋め込まれた非線型部分多様体に本質的に横たわる各データの固有表現に根付いていることを示す。 これは暗黙のベイズ的フレームワークに準じるものであり、ドメイン適応に対するより堅牢で優れたパフォーマンスのアプローチで実現可能であることを示す。
  論文  参考訳（メタデータ） (2023-04-17T14:13:40Z)
• Efficient Semantic Image Synthesis via Class-Adaptive Normalization [116.63715955932174]
  クラス適応正規化(CLADE)は、セマンティッククラスにのみ適応する軽量かつ等価なバリアントである。 セマンティクスレイアウトから計算したクラス内位置マップエンコーディングを導入し,cladeの正規化パラメータを変調する。 提案されたCLADEは異なるSPADEベースのメソッドに一般化し、SPADEと比較して同等の生成品質を達成できる。
  論文  参考訳（メタデータ） (2020-12-08T18:59:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。