論文の概要: $\boldsymbolλ$-Orthogonality Regularization for Compatible Representation Learning

• arxiv url: http://arxiv.org/abs/2509.16664v2
• Date: Mon, 20 Oct 2025 18:17:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:10.315288
• Title: $\boldsymbolλ$-Orthogonality Regularization for Compatible Representation Learning
• Title（参考訳）: $\boldsymbolλ$-Orthogonality regularization for Compatible Representation Learning
• Abstract要約: 検索システムは、ますます強力なモデルによって学習される表現に依存している。 学習表現における学習コストと不整合のため、表現間のコミュニケーションを促進することには大きな関心がある。
• 参考スコア（独自算出の注目度）: 48.264642951728085
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Retrieval systems rely on representations learned by increasingly powerful models. However, due to the high training cost and inconsistencies in learned representations, there is significant interest in facilitating communication between representations and ensuring compatibility across independently trained neural networks. In the literature, two primary approaches are commonly used to adapt different learned representations: affine transformations, which adapt well to specific distributions but can significantly alter the original representation, and orthogonal transformations, which preserve the original structure with strict geometric constraints but limit adaptability. A key challenge is adapting the latent spaces of updated models to align with those of previous models on downstream distributions while preserving the newly learned representation spaces. In this paper, we impose a relaxed orthogonality constraint, namely $\lambda$-Orthogonality regularization, while learning an affine transformation, to obtain distribution-specific adaptation while retaining the original learned representations. Extensive experiments across various architectures and datasets validate our approach, demonstrating that it preserves the model's zero-shot performance and ensures compatibility across model updates. Code available at: \href{https://github.com/miccunifi/lambda_orthogonality.git}{https://github.com/miccunifi/lambda\_orthogonality}.
• Abstract（参考訳）: 検索システムは、ますます強力なモデルによって学習される表現に依存している。 しかし、学習した表現のトレーニングコストの高さと不整合のため、表現間のコミュニケーションを容易にし、独立に訓練されたニューラルネットワーク間の互換性を確保することに大きな関心がある。 文献では、アフィン変換は特定の分布によく適応するが、元の表現を著しく変化させることができる。 重要な課題は、新しい学習された表現空間を保ちながら、下流の分布において以前のモデルと整合するように、更新されたモデルの潜在空間を適応させることである。 本稿では,アフィン変換を学習しながら,ゆるやかな直交制約,すなわち$\lambda$-Orthogonality regularizationを課し,元の学習表現を維持しながら分布特異的適応を得る。 さまざまなアーキテクチャやデータセットにわたる大規模な実験によって、このアプローチが検証され、モデルのゼロショットのパフォーマンスを保ち、モデル更新間の互換性を確保することが実証されます。 コードは以下の通り。 \href{https://github.com/miccunifi/lambda_orthogonality.git}{https://github.com/miccunifi/lambda\_orthogonality}。

関連論文リスト

• Re-calibrated Contrastive Loss for Transformation-Aware Prompt Conditioning in Vision-Language Models [5.403677859218301]
  既存の方法は、異なるインスタンスとして同一クラスのサンプルを扱い、ペア化されたテキストプロンプトとは独立して画像を変換する。 我々は、変換対応のプロンプト条件付けと、再校正されたコントラッシブ損失により、これらの制限に対処する。 提案手法では,モデルがドメイン固有の特徴をより効果的に学習できるようにするため,異なるインスタンスではなく,同じクラスサンプルをポジティブとして扱う。
  論文  参考訳（メタデータ） (2026-09-07T03:04:38Z)
• Where Does Generative Difficulty Reside? An Empirical Study of Target Representations [62.54876287800644]
  ターゲット表現は、イメージジェネレータが学ぶ必要がある分布を定義するが、しばしば交換可能なインターフェースとして扱われる。 マスク付き自己回帰整流モデルにおいて,生画素,SD-VAE潜伏剤,DINOv2,MAE表現-オートエンコーダの特徴について検討した。 その結果, 圧縮, 再構成忠実度, トークン次元, 可視的セマンティッククラスタリングは生成挙動を個別に予測できないことがわかった。
  論文  参考訳（メタデータ） (2026-08-01T12:32:31Z)
• A Stationary (and Therefore Compatible) Representation is All You Need [30.104718500934506]
  互換性のある表現の学習は、モデルが更新を行うたびに、時間とともに相互に使用できる特徴表現を学習することを目的としている。 我々は、d-Simplex固定型分類器によって学習された定常表現が、形式的定義のように互換性を示すことを示す。 静止表現は、(ギャラリーイメージを再処理することなく)未中断の検索サービスを可能とし、モデル更新や置換時の性能を改善していることを示す。
  論文  参考訳（メタデータ） (2026-06-10T09:30:29Z)
• Variational Learning for Insertion-based Generation [50.15012125719375]
  可変長挿入モデルの挿入順序を学習するための確率的フレームワークを提案する。 本稿では,挿入する場所,挿入する場所,終了するタイミングを共同で学習する生成モデルであるInsertion Process (IP)を提案する。
  論文  参考訳（メタデータ） (2026-06-01T11:59:46Z)
• Improving Relative Representations with Learned Anchors and Whitened Inner Products [0.0]
  独立に訓練されたニューラルモデルは一般に非互換な潜在表現に収束する。 相対表現(RR)は、絶対座標を共通アンカー点と類似性によって定義される共有空間にマッピングすることでこの問題に対処する。 従来の実装はランダムにサンプリングされたアンカーとコサインの類似性に依存している。 本稿では,2つの改良点に基づくクロスモデル通信のためのロバストなフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-28T21:43:53Z)
• PAID: Pairwise Angular-Invariant Decomposition for Continual Test-Time Adaptation [70.98107766265636]
  本稿では,事前学習した重みの幾何学的特性を出発点として,3つの重要な成分(等級,絶対角,対角構造)を体系的に解析する。 両角構造は多種多様なドメインにわたって安定であり, ドメイン不変な意味情報を符号化し, 適応中に保存すべきことを示唆する。
  論文  参考訳（メタデータ） (2025-06-03T05:18:15Z)
• Invariance Pair-Guided Learning: Enhancing Robustness in Neural Networks [0.0]
  トレーニングフェーズを通じてニューラルネットワークを誘導する手法を提案する。 従来の勾配降下法を補完する補正勾配を形成する。 ColoredMNIST、Waterbird-100、CelebANISTデータセットの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2025-02-26T09:36:00Z)
• Equivariant Adaptation of Large Pretrained Models [20.687626756753563]
  正規化ネットワークは,大規模な事前学習ネットワークの同種化に有効であることを示す。 データセットに依存した事前情報を用いて正準化関数を通知し、その性能を維持しながら、大きな事前訓練されたモデルを同変させることができる。
  論文  参考訳（メタデータ） (2023-10-02T21:21:28Z)
• Spatially-varying Regularization with Conditional Transformer for Unsupervised Image Registration [11.498623409184225]
  ニューラルネットワークを用いてデータから直接変形正規化器を学習するエンドツーエンドフレームワークを提案する。 提案手法はTransformerベースのモデルに基づいて構築されるが,任意のネットワークアーキテクチャに容易に適応できる。
  論文  参考訳（メタデータ） (2023-03-10T19:11:16Z)
• Equivariance with Learned Canonicalization Functions [77.32483958400282]
  正規化を行うために小さなニューラルネットワークを学習することは、事前定義を使用することよりも優れていることを示す。 実験の結果,正準化関数の学習は多くのタスクで同変関数を学習する既存の手法と競合することがわかった。
  論文  参考訳（メタデータ） (2022-11-11T21:58:15Z)
• Frame Averaging for Equivariant Shape Space Learning [85.42901997467754]
  形状空間学習に対称性を組み込む自然な方法は、形状空間(エンコーダ)への写像と形状空間(デコーダ)からの写像が関連する対称性に同値であることを問うことである。 本稿では,2つのコントリビューションを導入することで,エンコーダとデコーダの等価性を組み込む枠組みを提案する。
  論文  参考訳（メタデータ） (2021-12-03T06:41:19Z)
• HSVA: Hierarchical Semantic-Visual Adaptation for Zero-Shot Learning [74.76431541169342]
  ゼロショット学習(ZSL)は、目に見えないクラス認識の問題に取り組み、目に見えないクラスから目に見えないクラスに意味的な知識を移す。 本稿では,意味領域と視覚領域を協調させる新しい階層型意味視覚適応(HSVA)フレームワークを提案する。 4つのベンチマークデータセットの実験では、HSVAは従来のZSLと一般的なZSLの両方で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-09-30T14:27:50Z)
• Structured Reordering for Modeling Latent Alignments in Sequence Transduction [86.94309120789396]
  本稿では,分離可能な置換の辺りを正確に推定する効率的な動的プログラミングアルゴリズムを提案する。 結果のSeq2seqモデルは、合成問題やNLPタスクの標準モデルよりも体系的な一般化が優れている。
  論文  参考訳（メタデータ） (2021-06-06T21:53:54Z)
• Exploring Complementary Strengths of Invariant and Equivariant Representations for Few-Shot Learning [96.75889543560497]
  多くの現実世界では、多数のラベル付きサンプルの収集は不可能です。 少ないショット学習はこの問題に対処するための主要なアプローチであり、目的は限られた数のサンプルの存在下で新しいカテゴリに迅速に適応することです。 幾何学的変換の一般集合に対する等分散と不変性を同時に強制する新しい訓練機構を提案する。
  論文  参考訳（メタデータ） (2021-03-01T21:14:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。