論文の概要: A Stationary (and Therefore Compatible) Representation is All You Need

• arxiv url: http://arxiv.org/abs/2606.12488v1
• Date: Wed, 10 Jun 2026 09:30:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-12 15:55:27.36378
• Title: A Stationary (and Therefore Compatible) Representation is All You Need
• Title（参考訳）: 静止した(従って互換性のある)表現がすべて必要です
• Authors: Niccolò Biondi, Federico Pernici, Simone Ricci, Alberto Del Bimbo,
• Abstract要約: 互換性のある表現の学習は、モデルが更新を行うたびに、時間とともに相互に使用できる特徴表現を学習することを目的としている。 我々は、d-Simplex固定型分類器によって学習された定常表現が、形式的定義のように互換性を示すことを示す。 静止表現は、(ギャラリーイメージを再処理することなく)未中断の検索サービスを可能とし、モデル更新や置換時の性能を改善していることを示す。
• 参考スコア（独自算出の注目度）: 30.104718500934506
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning compatible representations aims to learn feature representations that can be used interchangeably over time whenever a model undergoes updates. In this paper, we demonstrate that stationary representations learned by d-Simplex fixed classifiers imply compatibility as in its formal definition. This result establishes a foundation for future works and can be directly exploited in practical learning scenarios. We address the challenge of learning compatibility using $d$-Simplex fixed classifiers when the model is sequentially fine-tuned. Learning according to a d-Simplex fixed classifier with the cross-entropy loss aligns feature distributions at the first-order statistics. Consequently, it may not fully capture higher-order dependencies in the representation between model updates. To address this issue, we demonstrate that training the model using a $d$-Simplex fixed classifier through a convex combination of the cross-entropy loss and a contrastive loss not only captures higher-order dependencies, but is also equivalent to learning with the cross-entropy under the compatibility constraints. We confirm our findings with extensive experiments also considering a new scenario where a pre-trained model is sequentially fine-tuned and occasionally replaced with an improved model. We show that stationary representations enable uninterrupted retrieval services (without reprocessing gallery images) while improving performance during model updates and replacements, achieving state-of-the-art. Code at https://github.com/miccunifi/iamcl2r.
• Abstract（参考訳）: 互換性のある表現の学習は、モデルが更新を行うたびに、時間とともに相互に使用できる特徴表現を学習することを目的としている。 本稿では、d-Simplex固定型分類器によって学習された定常表現が、形式的定義のように互換性を示すことを示す。 この結果は将来の研究の基盤を確立し、実践的な学習シナリオで直接活用することができる。 モデルが逐次微調整された場合、$d$-Simplex固定分類器を用いて互換性を学習するという課題に対処する。 クロスエントロピー損失を持つd-Simplex固定分類器による学習は、1次統計量で特徴分布を整列する。 結果として、モデル更新間の表現における高次の依存関係を完全にキャプチャすることはできない。 この問題に対処するために、クロスエントロピー損失とコントラスト損失の凸結合による$d$-Simplex固定分類器を用いたモデルのトレーニングが高次依存関係をキャプチャするだけでなく、互換性制約下でのクロスエントロピーによる学習と等価であることを示す。 また,事前学習モデルが逐次微調整され,時折改良されたモデルに置き換えられる新たなシナリオについても検討した。 静止表現は(ギャラリーイメージを再処理することなく)未中断の検索サービスを可能とし、モデル更新や置換時の性能を向上し、最先端の検索を実現する。 コードネームはhttps://github.com/miccunifi/iamcl2r。

関連論文リスト

• $\boldsymbolλ$-Orthogonality Regularization for Compatible Representation Learning [48.264642951728085]
  検索システムは、ますます強力なモデルによって学習される表現に依存している。 学習表現における学習コストと不整合のため、表現間のコミュニケーションを促進することには大きな関心がある。
  論文  参考訳（メタデータ） (2025-09-20T12:35:07Z)
• Stationary Representations: Optimally Approximating Compatibility and Implications for Improved Model Replacements [20.96380700548786]
  互換性のある表現を学習することで、モデルが時間とともに更新されるときに、セマンティックな機能の交換可能な使用が可能になる。 これは、ギャラリーイメージの更新モデルによる再処理を避けることが重要となる検索・検索システムにおいて特に重要である。 我々は,$d$-Simplex固定分類器によって学習された定常表現が,形式的定義の2つの不等式制約に従って最適に近似していることを示す。
  論文  参考訳（メタデータ） (2024-05-04T06:31:38Z)
• Premonition: Using Generative Models to Preempt Future Data Changes in Continual Learning [63.850451635362425]
  継続的な学習には、データ分散の継続的な変化に対応するためのモデルが必要である。 本稿では,大規模言語モデルと画像生成モデルの組み合わせが有用であることを示す。 トレーニング済みネットワークのバックボーンは、下流の連続学習問題に有用な表現を学習できることがわかった。
  論文  参考訳（メタデータ） (2024-03-12T06:29:54Z)
• Match me if you can: Semi-Supervised Semantic Correspondence Learning with Unpaired Images [76.47980643420375]
  本稿では,意味的対応の学習に固有のデータ・ハングリー・マターが存在するという仮説に基づく。 我々は,機械の監督を通じて,ペア化されたキーポイントを確実に強化する単純な機械注釈器を実証する。 我々のモデルは,SPair-71k,PF-PASCAL,PF-WILLOWといった意味対応学習ベンチマークの最先端モデルを上回る。
  論文  参考訳（メタデータ） (2023-11-30T13:22:15Z)
• Mitigating Catastrophic Forgetting in Task-Incremental Continual Learning with Adaptive Classification Criterion [50.03041373044267]
  本稿では,継続的学習のための適応型分類基準を用いた教師付きコントラスト学習フレームワークを提案する。 実験により, CFLは最先端の性能を達成し, 分類基準に比べて克服する能力が強いことが示された。
  論文  参考訳（メタデータ） (2023-05-20T19:22:40Z)
• Enhancing Continual Relation Extraction via Classifier Decomposition [30.88081408988638]
  連続的関係抽出モデルは、ストリーミングデータの古い関係を忘れずに新しい関係を扱うことを目的としている。 ほとんどのモデルは、モデルが最初に新しい関係の表現を学ぶときのみ、バニラ戦略を採用する。 我々は,最後のFFN層を分割した前と現在の分類器に分割する,シンプルで効果的な分類器分解フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-08T11:29:33Z)
• Graph Sampling Based Deep Metric Learning for Generalizable Person Re-Identification [114.56752624945142]
  我々は、最も一般的なランダムサンプリング手法である有名なpkサンプリングは、深層メトリック学習にとって有益で効率的ではないと主張する。 大規模計量学習のためのグラフサンプリング(GS)と呼ばれる効率的なミニバッチサンプリング手法を提案する。
  論文  参考訳（メタデータ） (2021-04-04T06:44:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。