論文の概要: Franca: Nested Matryoshka Clustering for Scalable Visual Representation Learning

• arxiv url: http://arxiv.org/abs/2507.14137v2
• Date: Tue, 05 Aug 2025 16:34:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-06 15:23:34.669081
• Title: Franca: Nested Matryoshka Clustering for Scalable Visual Representation Learning
• Title（参考訳）: Franca: スケーラブルなビジュアル表現学習のためのNested Matryoshkaクラスタリング
• Authors: Shashanka Venkataramanan, Valentinos Pariza, Mohammadreza Salehi, Lukas Knobel, Spyros Gidaris, Elias Ramzi, Andrei Bursuc, Yuki M. Asano,
• Abstract要約: Francaは、最初の完全なオープンソース(データ、コード、重み付け)ビジョン基盤モデルである。 多くの場合、最先端のプロプライエタリモデルのパフォーマンスを上回る。 私たちのコントリビューションは、透明で高性能なビジョンモデルのための新しい標準を確立します。
• 参考スコア（独自算出の注目度）: 30.590869749117815
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present Franca (pronounced Fran-ka): free one; the first fully open-source (data, code, weights) vision foundation model that matches and in many cases surpasses the performance of state-of-the-art proprietary models, e.g., DINOv2, CLIP, SigLIPv2, etc. Our approach is grounded in a transparent training pipeline inspired by Web-SSL and uses publicly available data: ImageNet-21K and a subset of ReLAION-2B. Beyond model release, we tackle critical limitations in SSL clustering methods. While modern models rely on assigning image features to large codebooks via clustering algorithms like Sinkhorn-Knopp, they fail to account for the inherent ambiguity in clustering semantics. To address this, we introduce a parameter-efficient, multi-head clustering projector based on nested Matryoshka representations. This design progressively refines features into increasingly fine-grained clusters without increasing the model size, enabling both performance and memory efficiency. Additionally, we propose a novel positional disentanglement strategy that explicitly removes positional biases from dense representations, thereby improving the encoding of semantic content. This leads to consistent gains on several downstream benchmarks, demonstrating the utility of cleaner feature spaces. Our contributions establish a new standard for transparent, high-performance vision models and open a path toward more reproducible and generalizable foundation models for the broader AI community. The code and model checkpoints are available at https://github.com/valeoai/Franca.
• Abstract（参考訳）: フリーのFranca(Fran-ka)を紹介します。最初の完全なオープンソース(データ、コード、重み付け)のビジョン基盤モデルで、多くの場合、最先端のプロプライエタリモデル(例えば、DINOv2、CLIP、SigLIPv2など)のパフォーマンスを上回っています。 当社のアプローチは、Web-SSLにインスパイアされた透明なトレーニングパイプラインに基づいており、公開データ(ImageNet-21KとReLAION-2Bのサブセット)を使用している。 モデルリリース以外にも、SSLクラスタリングメソッドの限界に対処しています。 現代のモデルは、Sinkhorn-Knoppのようなクラスタリングアルゴリズムによる大規模なコードブックにイメージ機能を割り当てることに依存しているが、クラスタリングセマンティクスに固有の曖昧さを考慮できない。 そこで本研究では,ネストしたMatryoshka表現に基づくパラメータ効率の高いマルチヘッドクラスタリングプロジェクタを提案する。 この設計は、モデルサイズを増大させることなく、機能を徐々に細粒度クラスタに洗練し、パフォーマンスとメモリ効率を両立させる。 さらに,高密度表現から位置バイアスを明示的に除去し,意味内容の符号化を改善する新しい位置ゆがみ戦略を提案する。 これにより、いくつかのダウンストリームベンチマークが一貫して向上し、よりクリーンな機能空間の有用性が実証される。 当社のコントリビューションは、透明で高性能なビジョンモデルのための新しい標準を確立し、より再現性が高く、より広範なAIコミュニティのための一般化可能な基盤モデルへの道を開く。 コードとモデルチェックポイントはhttps://github.com/valeoai/Franca.comで公開されている。

関連論文リスト

• Self-Enhanced Image Clustering with Cross-Modal Semantic Consistency [57.961869351897384]
  効率的な画像クラスタリングのためのクロスモーダルなセマンティック一貫性に基づくフレームワークを提案する。 当社のフレームワークはまず,クロスモーダルセマンティック一貫性を通じて,強力な基盤を構築します。 最初の段階では、トレーニング済みモデルのリッチなセマンティクスに合わせて、軽量クラスタリングヘッドをトレーニングします。 第2段階では、自己強化微調整戦略を導入する。
  論文  参考訳（メタデータ） (2025-08-02T08:12:57Z)
• An Enhanced Model-based Approach for Short Text Clustering [58.60681789677676]
  Twitter、Google+、Facebookなどのソーシャルメディアの人気が高まり、短いテキストのクラスタリングがますます重要になっている。 既存の手法は、トピックモデルに基づくアプローチと深層表現学習に基づくアプローチの2つのパラダイムに大別することができる。 短文の空間性と高次元性を効果的に扱えるDirichlet Multinomial Mixture Model (GSDMM) のギブスサンプリングアルゴリズムを提案する。 さらなる改良を保証しているGSDMMのいくつかの側面に基づいて,さらなる性能向上を目的とした改良されたアプローチであるGSDMM+を提案する。
  論文  参考訳（メタデータ） (2025-07-18T10:07:42Z)
• Improving Autoregressive Visual Generation with Cluster-Oriented Token Prediction [52.09472099976885]
  IARは、LLMベースのビジュアル生成モデルのトレーニング効率と生成品質を向上させる改良された自動回帰ビジュアル生成方法である。 提案手法は,モデルのトレーニング効率と性能を100Mから1.4Bに継続的に向上させ,同じFIDを達成しながらトレーニング時間を半減させる。
  論文  参考訳（メタデータ） (2025-01-01T15:58:51Z)
• SIGMA:Sinkhorn-Guided Masked Video Modeling [69.31715194419091]
  SIGMA (Sinkhorn-guided Masked Video Modelling) は、新しいビデオ事前学習法である。 時空管の特徴を,限られた数の学習可能なクラスタに均等に分散する。 10個のデータセットによる実験結果から,より高性能で時間的,堅牢な映像表現を学習する上で,SIGMAの有効性が検証された。
  論文  参考訳（メタデータ） (2024-07-22T08:04:09Z)
• Sparse Concept Bottleneck Models: Gumbel Tricks in Contrastive Learning [86.15009879251386]
  概念ボトルネックモデル(CBM)を用いた新しいアーキテクチャと説明可能な分類法を提案する。 CBMには、さらなる概念のセットが必要である。 CLIPをベースとしたボトルネックモデルにおいて,スパース隠れ層を用いた精度の大幅な向上を示す。
  論文  参考訳（メタデータ） (2024-04-04T09:43:43Z)
• FreeSeg-Diff: Training-Free Open-Vocabulary Segmentation with Diffusion Models [56.71672127740099]
  我々は,閉鎖語彙データセットのトレーニングモデルによって伝統的に解決されるイメージセグメンテーションの課題に焦点をあてる。 我々は、ゼロショットのオープン語彙セグメンテーションのために、異なる、比較的小さなオープンソース基盤モデルを活用している。 当社のアプローチ(別名FreeSeg-Diff)は、トレーニングに依存しないもので、Pascal VOCとCOCOデータセットの両方で多くのトレーニングベースのアプローチより優れています。
  論文  参考訳（メタデータ） (2024-03-29T10:38:25Z)
• Image Clustering via the Principle of Rate Reduction in the Age of Pretrained Models [37.574691902971296]
  本稿では,大規模事前学習モデルの強力な特徴表現を利用した画像クラスタリングパイプラインを提案する。 パイプラインは、CIFAR-10、CIFAR-100、ImageNet-1kなどの標準データセットでうまく動作することを示す。
  論文  参考訳（メタデータ） (2023-06-08T15:20:27Z)
• Unicom: Universal and Compact Representation Learning for Image Retrieval [65.96296089560421]
  大規模LAION400Mを,CLIPモデルにより抽出された共同テキストと視覚的特徴に基づいて,100万の擬似クラスにクラスタリングする。 このような矛盾を緩和するために、我々は、マージンベースのソフトマックス損失を構築するために、ランダムにクラス間の部分的なプロトタイプを選択する。 提案手法は,複数のベンチマークにおいて,教師なし,教師なしの画像検索手法よりも優れていた。
  論文  参考訳（メタデータ） (2023-04-12T14:25:52Z)
• PRANC: Pseudo RAndom Networks for Compacting deep models [22.793523211040682]
  PRANCはディープモデルの大幅なコンパクト化を可能にする。 本研究では,PRANCを用いて画像分類モデルを構築し,関連する暗黙的ニューラルネットワークをコンパクト化することで画像の圧縮を行う。
  論文  参考訳（メタデータ） (2022-06-16T22:03:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。