論文の概要: $\boldsymbolλ$-Orthogonality Regularization for Compatible Representation Learning

• arxiv url: http://arxiv.org/abs/2509.16664v1
• Date: Sat, 20 Sep 2025 12:35:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-23 18:58:15.913917
• Title: $\boldsymbolλ$-Orthogonality Regularization for Compatible Representation Learning
• Title（参考訳）: $\boldsymbolλ$-Orthogonality regularization for Compatible Representation Learning
• Authors: Simone Ricci, Niccolò Biondi, Federico Pernici, Ioannis Patras, Alberto Del Bimbo,
• Abstract要約: 検索システムは、ますます強力なモデルによって学習される表現に依存している。 学習表現における学習コストと不整合のため、表現間のコミュニケーションを促進することには大きな関心がある。
• 参考スコア（独自算出の注目度）: 48.264642951728085
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Retrieval systems rely on representations learned by increasingly powerful models. However, due to the high training cost and inconsistencies in learned representations, there is significant interest in facilitating communication between representations and ensuring compatibility across independently trained neural networks. In the literature, two primary approaches are commonly used to adapt different learned representations: affine transformations, which adapt well to specific distributions but can significantly alter the original representation, and orthogonal transformations, which preserve the original structure with strict geometric constraints but limit adaptability. A key challenge is adapting the latent spaces of updated models to align with those of previous models on downstream distributions while preserving the newly learned representation spaces. In this paper, we impose a relaxed orthogonality constraint, namely $\lambda$-orthogonality regularization, while learning an affine transformation, to obtain distribution-specific adaptation while retaining the original learned representations. Extensive experiments across various architectures and datasets validate our approach, demonstrating that it preserves the model's zero-shot performance and ensures compatibility across model updates. Code available at: https://github.com/miccunifi/lambda_orthogonality
• Abstract（参考訳）: 検索システムは、ますます強力なモデルによって学習される表現に依存している。 しかし、学習した表現のトレーニングコストの高さと不整合のため、表現間のコミュニケーションを容易にし、独立に訓練されたニューラルネットワーク間の互換性を確保することに大きな関心がある。 文献では、アフィン変換は特定の分布によく適応するが、元の表現を著しく変化させることができる。 重要な課題は、新しい学習された表現空間を保ちながら、下流の分布において以前のモデルと整合するように、更新されたモデルの潜在空間を適応させることである。 本稿では,アフィン変換を学習しながら,ゆるやかな直交制約,すなわち$\lambda$-orthogonality regularizationを課し,元の学習表現を維持しながら分布特異的適応を得る。 さまざまなアーキテクチャやデータセットにわたる大規模な実験によって、このアプローチが検証され、モデルのゼロショットのパフォーマンスを保ち、モデル更新間の互換性を確保することが実証されます。 https://github.com/miccunifi/lambda_orthogonality

関連論文リスト

• Invariance Pair-Guided Learning: Enhancing Robustness in Neural Networks [0.0]
  トレーニングフェーズを通じてニューラルネットワークを誘導する手法を提案する。 従来の勾配降下法を補完する補正勾配を形成する。 ColoredMNIST、Waterbird-100、CelebANISTデータセットの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2025-02-26T09:36:00Z)
• Equivariant Adaptation of Large Pretrained Models [20.687626756753563]
  正規化ネットワークは,大規模な事前学習ネットワークの同種化に有効であることを示す。 データセットに依存した事前情報を用いて正準化関数を通知し、その性能を維持しながら、大きな事前訓練されたモデルを同変させることができる。
  論文  参考訳（メタデータ） (2023-10-02T21:21:28Z)
• Equivariance with Learned Canonicalization Functions [77.32483958400282]
  正規化を行うために小さなニューラルネットワークを学習することは、事前定義を使用することよりも優れていることを示す。 実験の結果,正準化関数の学習は多くのタスクで同変関数を学習する既存の手法と競合することがわかった。
  論文  参考訳（メタデータ） (2022-11-11T21:58:15Z)
• Frame Averaging for Equivariant Shape Space Learning [85.42901997467754]
  形状空間学習に対称性を組み込む自然な方法は、形状空間(エンコーダ)への写像と形状空間(デコーダ)からの写像が関連する対称性に同値であることを問うことである。 本稿では,2つのコントリビューションを導入することで,エンコーダとデコーダの等価性を組み込む枠組みを提案する。
  論文  参考訳（メタデータ） (2021-12-03T06:41:19Z)
• Structured Reordering for Modeling Latent Alignments in Sequence Transduction [86.94309120789396]
  本稿では,分離可能な置換の辺りを正確に推定する効率的な動的プログラミングアルゴリズムを提案する。 結果のSeq2seqモデルは、合成問題やNLPタスクの標準モデルよりも体系的な一般化が優れている。
  論文  参考訳（メタデータ） (2021-06-06T21:53:54Z)
• Exploring Complementary Strengths of Invariant and Equivariant Representations for Few-Shot Learning [96.75889543560497]
  多くの現実世界では、多数のラベル付きサンプルの収集は不可能です。 少ないショット学習はこの問題に対処するための主要なアプローチであり、目的は限られた数のサンプルの存在下で新しいカテゴリに迅速に適応することです。 幾何学的変換の一般集合に対する等分散と不変性を同時に強制する新しい訓練機構を提案する。
  論文  参考訳（メタデータ） (2021-03-01T21:14:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。