論文の概要: Hyperspherical Simplex Representations for Backward-Compatible Retrieval

• arxiv url: http://arxiv.org/abs/2610.29550v1
• Date: Wed, 21 Oct 2026 10:35:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.315315
• Title: Hyperspherical Simplex Representations for Backward-Compatible Retrieval
• Title（参考訳）: 後方対応型検索のための超球面単純表現法
• Abstract要約: 最新のAIモデルの更新はますます高価になり、デプロイされたモデルの更新は、内部の機能表現を変更する可能性がある。 既存の後方互換性メソッドは、更新されたモデルと以前のモデルからの表現を直接比較することができ、再インデックスを避けることができる。 独立に訓練されたモデル間で後方互換性のある検索を行うための超球面単純表現を提案する。
• 参考スコア（独自算出の注目度）: 30.10471850093451
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training modern AI models has become increasingly expensive, and updating deployed models can alter their internal feature representations, affecting applications built upon them. In retrieval systems, such updates often require complete gallery re-indexing, a computationally expensive process at scale. Existing backward-compatibility methods enable direct comparison of representations from updated and earlier models, avoiding re-indexing. However, they typically require compatibility-specific training, learned mapping functions, or architectural modifications, and often depend explicitly on the previous model. We propose hyperspherical simplex representations derived from softmax outputs and logits for backward-compatible retrieval across independently trained models. They leverage the simplex structure induced by softmax cross-entropy training with one-hot labels as a common geometric reference across model updates. Since this reference depends on the number of classes, adding new ones expands the simplex, misaligning existing class prototypes with their earlier counterparts. We therefore derive a deterministic linear transformation to restore their alignment. Our theoretical analysis of the formal backward-compatibility definition identifies two geometric conditions under which its inequalities hold in expectation, assuming von Mises--Fisher class distributions with increasing concentration across updates. Aligned regular-simplex representations satisfy these conditions, providing a theoretical basis for the proposed representations under the stated assumptions. Without using additional compatibility-specific losses, learned mappings, or architectural modifications, the proposed representations achieve competitive results on standard compatibility benchmarks, including expanded class sets, more expressive architectures, and independently trained models from public repositories.
• Abstract（参考訳）: モダンなAIモデルのトレーニングはますます高価になり、デプロイされたモデルの更新は、内部の特徴表現を変更し、その上に構築されたアプリケーションに影響を与える可能性がある。 検索システムでは、このような更新は大規模に計算的に高価なプロセスである完全なギャラリーの再インデックスを必要とすることが多い。 既存の後方互換性メソッドは、更新されたモデルと以前のモデルからの表現を直接比較することができ、再インデックスを避けることができる。 しかし、それらは通常、互換性に特化したトレーニング、学習されたマッピング機能、アーキテクチャの変更を必要とし、しばしば以前のモデルに明示的に依存する。 ソフトマックス出力とロジットから導かれる超球面単純表現を独立に訓練されたモデル間で後方互換性のある検索のために提案する。 彼らは1ホットラベルを用いたソフトマックスクロスエントロピートレーニングによって誘導される単純な構造を、モデル更新全体にわたって共通の幾何学的参照として活用する。 この参照はクラスの数に依存するため、新しい参照を追加することで、既存のクラスのプロトタイプを以前のプロトタイプと間違えて、シンプルなものを拡張する。 したがって、それらのアライメントを復元するために決定論的線形変換を導出する。 フォーマルな後方互換性の定義の理論解析は、その不等式が期待される2つの幾何学的条件をフォン・ミセス-フィッシャー類分布を仮定して特定する。 有向正則-複素表現はこれらの条件を満たすものであり、提案された仮定の下での表現の理論的基礎を提供する。 追加の互換性固有の損失、学習されたマッピング、アーキテクチャの変更を使わずに、提案された表現は、拡張されたクラスセット、より表現力のあるアーキテクチャ、パブリックリポジトリから独立に訓練されたモデルを含む標準互換性ベンチマークで競合する結果を達成する。

関連論文リスト

• A Stationary (and Therefore Compatible) Representation is All You Need [30.104718500934506]
  互換性のある表現の学習は、モデルが更新を行うたびに、時間とともに相互に使用できる特徴表現を学習することを目的としている。 我々は、d-Simplex固定型分類器によって学習された定常表現が、形式的定義のように互換性を示すことを示す。 静止表現は、(ギャラリーイメージを再処理することなく)未中断の検索サービスを可能とし、モデル更新や置換時の性能を改善していることを示す。
  論文  参考訳（メタデータ） (2026-06-10T09:30:29Z)
• Do Reasoning Models Enhance Embedding Models? [48.43242995118735]
  最先端の埋め込みモデルは、対照的な学習によって適応されたデコーダのみの大規模言語モデルバックボーンから、ますます派生している。 RLVRで調整したバックボーンの埋め込みモデルでは,同一のトレーニングレシピを適用した場合,ベースボーンに対して一貫した性能上の優位性は得られなかった。
  論文  参考訳（メタデータ） (2026-01-29T02:48:34Z)
• $\boldsymbolλ$-Orthogonality Regularization for Compatible Representation Learning [48.264642951728085]
  検索システムは、ますます強力なモデルによって学習される表現に依存している。 学習表現における学習コストと不整合のため、表現間のコミュニケーションを促進することには大きな関心がある。
  論文  参考訳（メタデータ） (2025-09-20T12:35:07Z)
• Backward-Compatible Aligned Representations via an Orthogonal Transformation Layer [20.96380700548786]
  画像検索システムは、古い表現と新しい表現のミスアライメントにより、表現が改善されたモデルを更新する際の課題に直面している。 以前の研究では、バックフィルなしで新しい表現と古い表現を直接比較できる後方互換性のあるトレーニング方法が検討されてきた。 本稿では、後方互換性と独立に訓練されたモデルの性能のバランスをとることに取り組む。
  論文  参考訳（メタデータ） (2024-08-16T15:05:28Z)
• Stationary Representations: Optimally Approximating Compatibility and Implications for Improved Model Replacements [20.96380700548786]
  互換性のある表現を学習することで、モデルが時間とともに更新されるときに、セマンティックな機能の交換可能な使用が可能になる。 これは、ギャラリーイメージの更新モデルによる再処理を避けることが重要となる検索・検索システムにおいて特に重要である。 我々は,$d$-Simplex固定分類器によって学習された定常表現が,形式的定義の2つの不等式制約に従って最適に近似していることを示す。
  論文  参考訳（メタデータ） (2024-05-04T06:31:38Z)
• Meaning Representations from Trajectories in Autoregressive Models [106.63181745054571]
  入力テキストを拡張可能なすべてのトラジェクトリの分布を考慮し,自己回帰言語モデルから意味表現を抽出する。 この戦略はプロンプトフリーであり、微調整は必要とせず、事前訓練された自己回帰モデルにも適用できる。 我々は,大規模なモデルから得られた表現が人間のアノテーションとよく一致し,意味的類似性タスクにおける他のゼロショットおよびプロンプトフリーメソッドよりも優れており,標準埋め込みが扱えないより複雑なエンタテインメントや包含タスクの解決に使用できることを実証的に示す。
  論文  参考訳（メタデータ） (2023-10-23T04:35:58Z)
• Re-parameterizing Your Optimizers rather than Architectures [119.08740698936633]
  本稿では,モデル固有の事前知識を構造学に取り入れ,汎用モデル(簡易モデル)の学習に使用する新しいパラダイムを提案する。 実装として,モデル固有のハイパーパラメータの集合に従って勾配を変更することによって,事前知識を付加する手法を提案する。 Reprでトレーニングされた単純なモデルに対しては、VGGスタイルのプレーンモデルに注目し、ReprでトレーニングされたそのようなシンプルなモデルがRep-VGGと呼ばれ、最近のよく設計されたモデルと同等に動作することを示す。
  論文  参考訳（メタデータ） (2022-05-30T16:55:59Z)
• Stabilizing Equilibrium Models by Jacobian Regularization [151.78151873928027]
  ディープ均衡ネットワーク(Deep equilibrium Network, DEQs)は、単一非線形層の固定点を見つけるために従来の深さを推定する新しいモデルのクラスである。 本稿では、平衡モデルの学習を安定させるために、固定点更新方程式のヤコビアンを明示的に正規化するDECモデルの正規化スキームを提案する。 この正規化は計算コストを最小限に抑え、前方と後方の両方の固定点収束を著しく安定化させ、高次元の現実的な領域に順応することを示した。
  論文  参考訳（メタデータ） (2021-06-28T00:14:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。