論文の概要: When Embedding Models Meet: Procrustes Bounds and Applications

• arxiv url: http://arxiv.org/abs/2510.13406v1
• Date: Wed, 15 Oct 2025 11:04:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-16 20:13:28.634313
• Title: When Embedding Models Meet: Procrustes Bounds and Applications
• Title（参考訳）: モデルが組み込まれるとき - 境界と応用のプロクリスト
• Authors: Lucas Maystre, Alvaro Ortega Gonzalez, Charles Park, Rares Dolga, Tudor Berariu, Yu Zhao, Kamil Ciosek,
• Abstract要約: 類似したデータで個別に訓練された埋め込みモデルは、しばしば安定した情報をエンコードする表現を生成するが、直接交換できない。 この相互運用性の欠如は、モデル再トレーニング、部分的なモデルアップグレード、マルチモーダル検索など、いくつかの実践的な応用における課題を提起する。 ペアのドット積がほぼ保存されている場合、この2つの集合を密に整列する等尺法が存在し、アライメント誤差に厳密な束縛を与えることを示す。
• 参考スコア（独自算出の注目度）: 8.3323878508187
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Embedding models trained separately on similar data often produce representations that encode stable information but are not directly interchangeable. This lack of interoperability raises challenges in several practical applications, such as model retraining, partial model upgrades, and multimodal search. Driven by these challenges, we study when two sets of embeddings can be aligned by an orthogonal transformation. We show that if pairwise dot products are approximately preserved, then there exists an isometry that closely aligns the two sets, and we provide a tight bound on the alignment error. This insight yields a simple alignment recipe, Procrustes post-processing, that makes two embedding models interoperable while preserving the geometry of each embedding space. Empirically, we demonstrate its effectiveness in three applications: maintaining compatibility across retrainings, combining different models for text retrieval, and improving mixed-modality search, where it achieves state-of-the-art performance.
• Abstract（参考訳）: 同様のデータで個別に訓練されたモデルが、しばしば安定した情報をエンコードする表現を生成するが、直接交換できない。 この相互運用性の欠如は、モデル再トレーニング、部分的なモデルアップグレード、マルチモーダル検索など、いくつかの実践的な応用における課題を提起する。 これらの課題によって、我々は2組の埋め込みが直交変換によって整列できるかどうかを研究する。 ペアのドット積がほぼ保存されている場合、この2つの集合を密に整列する等尺法が存在し、アライメント誤差に厳密な束縛を与えることを示す。 この洞察は単純なアライメントのレシピであるProcrustesポストプロセッシング(Procrustes post-processing)を生み出し、各埋め込み空間の幾何学を保ちながら2つの埋め込みモデルを相互運用できるようにする。 実験により,本手法の有効性を3つのアプリケーションで実証する: 再学習間の互換性を維持すること,テキスト検索のための異なるモデルを組み合わせること,複合モダリティ検索を改善すること。

関連論文リスト

• Model alignment using inter-modal bridges [0.6906005491572401]
  既存の方法は、広範なペアトレーニングデータを必要とするか、特定のドメインに制約される。 条件付きフローマッチングによるモデルアライメントのための半教師付きアプローチを提案する。 本手法は、最小限の監督を伴い、モーダル間モデルアライメントのためのデータ効率のよいソリューションを提供する。
  論文  参考訳（メタデータ） (2025-05-18T09:30:02Z)
• Merging Models on the Fly Without Retraining: A Sequential Approach to Scalable Continual Model Merging [75.93960998357812]
  ディープモデルマージ(Deep Modelmerging)は、複数の微調整モデルを組み合わせて、さまざまなタスクやドメインにまたがる能力を活用する、新たな研究方向を示すものだ。 現在のモデルマージ技術は、全ての利用可能なモデルを同時にマージすることに集中しており、重量行列に基づく手法が主要なアプローチである。 本稿では,モデルを逐次処理するトレーニングフリーなプロジェクションベース連続マージ手法を提案する。
  論文  参考訳（メタデータ） (2025-01-16T13:17:24Z)
• Bridging the Modality Gap: Dimension Information Alignment and Sparse Spatial Constraint for Image-Text Matching [10.709744162565274]
  本稿では2つの側面からモダリティギャップを橋渡しするDIASと呼ばれる新しい手法を提案する。 この方法はFlickr30kとMSCOCOベンチマークで4.3%-10.2%のrSum改善を実現している。
  論文  参考訳（メタデータ） (2024-10-22T09:37:29Z)
• Model Merging and Safety Alignment: One Bad Model Spoils the Bunch [70.614652904151]
  LLM(Merging Large Language Models)は、複数の専門家のLLMを1つの汎用モデルに結合するコスト効率のよい手法である。 現在のアプローチでは、マージ時の安全性の整合性の重要性を見落とし、非常に不整合のモデルに繋がることが多い。 我々は,既存の手法がドメインの専門知識を伝達するだけでなく,ミスアライメントを伝播することを示すために,いくつかの一般的なモデルマージ手法を評価した。
  論文  参考訳（メタデータ） (2024-06-20T17:59:58Z)
• ComboStoc: Combinatorial Stochasticity for Diffusion Generative Models [65.82630283336051]
  拡散生成モデルの既存のトレーニングスキームにより,次元と属性の組み合わせによって区切られた空間が十分に標本化されていないことを示す。 構造を完全に活用するプロセスを構築し,ComboStocという名前でこの問題に対処する。
  論文  参考訳（メタデータ） (2024-05-22T15:23:10Z)
• Training-Free Pretrained Model Merging [38.16269074353077]
  双対空間制約(MuDSC)の下でのマージという,革新的なモデルマージフレームワークを提案する。 ユーザビリティを高めるため,マルチヘッドアテンションやグループ正規化など,グループ構造への適応も取り入れた。
  論文  参考訳（メタデータ） (2024-03-04T06:19:27Z)
• Merging by Matching Models in Task Parameter Subspaces [87.8712523378141]
  モデルマージは、個々のタスク固有のモデルを単一のマルチタスクモデルに安価に結合することを目的としている。 我々は、モデルマージに対するこのアプローチが、方程式の線形系を解くとみなす方法を定式化する。 共役勾配法は閉形式解より優れていることを示す。
  論文  参考訳（メタデータ） (2023-12-07T14:59:15Z)
• Switchable Representation Learning Framework with Self-compatibility [50.48336074436792]
  自己整合性(SFSC)を考慮した交換可能な表現学習フレームワークを提案する。 SFSCは1つのトレーニングプロセスを通じて、異なる能力を持つ一連の互換性のあるサブモデルを生成する。 SFSCは評価データセット上で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-06-16T16:46:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。