論文の概要: Learning a Flow to Self-Supervised Representations

• arxiv url: http://arxiv.org/abs/2609.29350v2
• Date: Fri, 25 Sep 2026 19:56:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-29 21:31:51.799289
• Title: Learning a Flow to Self-Supervised Representations
• Title（参考訳）: 自己監督型表現へのフローの学習
• Abstract要約: 本研究では,フローベース分布マッチング(FBDM)を導入した。これは球面条件付き速度の回帰によって,この参照方向の幾何を学習する非逆方向のフレームワークである。 CIFARからImageNetまでのベンチマークでの実験では、FBDMはDMとほぼ同等のパフォーマンスを実現しており、既存のSSLメソッドと競合している。
• 参考スコア（独自算出の注目度）: 15.982241481906145
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Explicit geometric references offer a direct way to structure self-supervised representations. Existing adversarial distribution-matching formulations, however, require costly encoder-critic optimization. We introduce Flow-Based Distribution Matching (FBDM), a non-adversarial framework that learns this reference-directed geometry through spherical conditional velocity regression. An ETF-inspired reference allows its number of components K' to exceed the auxiliary flow dimension d* while retaining structured geometric separation. We assign both augmented views of each image to the same target, while limiting how many images each reference center can receive. An explicit alignment loss further pulls the two views' representations closer together. Experiments across benchmarks ranging from CIFAR to ImageNet show that FBDM achieves performance nearly on par with DM and remains competitive with existing SSL methods. Matched training-cost comparisons show a 1.48- to 1.83-fold speedup over DM with a negligible increase in GPU memory usage. We also provide a theoretical explanation for the usefulness of the learned representations: under stated conditions, we bound the downstream misclassification rate in terms of the FBDM pretraining loss.
• Abstract（参考訳）: 明示的な幾何学的参照は、自己教師付き表現を構成する直接的な方法を提供する。 しかし、既存の逆分布マッチングの定式化は、コストのかかるエンコーダ批判最適化を必要とする。 本研究では,フローベース分布マッチング(FBDM)を導入した。これは球面条件付き速度の回帰によって,この参照方向の幾何を学習する非逆方向のフレームワークである。 ETFにインスパイアされた基準により、構成された幾何学的分離を維持しながら、コンポーネントK'の数が補助フロー次元d*を超えることができる。 各画像の2つの拡張ビューを同じターゲットに割り当て、各参照センタが受信可能な画像数を制限する。 明示的なアライメントの損失は、2つのビューの表現をさらに近くに引き出す。 CIFARからImageNetまでのベンチマークでの実験では、FBDMはDMとほぼ同等のパフォーマンスを実現しており、既存のSSLメソッドと競合している。 一致したトレーニングコストの比較では、DMよりも1.48倍から1.83倍のスピードアップがあり、GPUメモリの使用は無視できない。 また,学習した表現の有用性を理論的に説明し,FBDM事前学習損失の点から,下流の誤分類率を規定する。

関連論文リスト

• Where Does Generative Difficulty Reside? An Empirical Study of Target Representations [62.54876287800644]
  ターゲット表現は、イメージジェネレータが学ぶ必要がある分布を定義するが、しばしば交換可能なインターフェースとして扱われる。 マスク付き自己回帰整流モデルにおいて,生画素,SD-VAE潜伏剤,DINOv2,MAE表現-オートエンコーダの特徴について検討した。 その結果, 圧縮, 再構成忠実度, トークン次元, 可視的セマンティッククラスタリングは生成挙動を個別に予測できないことがわかった。
  論文  参考訳（メタデータ） (2026-08-01T12:32:31Z)
• Guiding Diffusion-based Reconstruction with Contrastive Signals for Balanced Visual Representation [81.40978077888693]
  対照的に、CLIP(Contrastive Language- Image Pre-training)は、下流のパフォーマンスにおいて重要なボトルネックとなっている。 近年のソリューションでは、拡散モデルを用いて、CLIP視覚トークンに画像再構成を条件付けることで表現を強化する。 我々は、より包括的な視覚表現を追求するために、コントラスト信号を拡散に基づく再構成に統合する。
  論文  参考訳（メタデータ） (2026-03-05T04:45:49Z)
• SupScene: Learning Overlap-Aware Global Descriptor for Unconstrained SfM [10.006619357851843]
  SupSceneは、Structure-from-Motion(SfM)に類似した幾何学的性質の重なり合う画像対を見つけるのに適した、グローバルな記述子を学習する新しいソリューションである。 提案手法は,NetVLADを著しく上回りながら,トレーニング可能なパラメータを無数に導入し,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2026-01-17T06:28:47Z)
• What matters for Representation Alignment: Global Information or Spatial Structure? [64.67092609921816]
  表現アライメント(REPA)は、強い事前訓練された視覚エンコーダから中間拡散特徴への表現を蒸留することにより、生成訓練を導く。 本稿では,対象表現のどの側面が生成に重要であるか,そのテクスト・グロバル・リビジョン・セマンティック・情報について検討する。 我々はREPAの標準射影層を単純な畳み込み層に置き換え、外部表現のための空間正規化層を導入する。
  論文  参考訳（メタデータ） (2025-12-11T16:39:53Z)
• RMT: Retentive Networks Meet Vision Transformers [55.76528783956601]
  近年,ビジョントランスフォーマー (ViT) がコンピュータビジョンコミュニティで注目を集めている。 自己注意は空間的先行性に欠け、二次的な計算複雑性を持つ。 一般的な目的のために,空間的に明瞭なバックボーンを持つ強力な視覚バックボーンであるRTTを提案する。
  論文  参考訳（メタデータ） (2023-09-20T00:57:48Z)
• Deep Metric Learning with Soft Orthogonal Proxies [1.823505080809275]
  本稿では,プロキシにソフト直交性(SO)制約を導入する新しいアプローチを提案する。 提案手法では,DMLの目的と合わせて,画像からコンテキスト特徴を抽出するエンコーダとして,データ効率の良い画像変換器(DeiT)を利用する。 提案手法が最先端手法よりも有意なマージンで優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-22T17:22:15Z)
• Transformer Guided Geometry Model for Flow-Based Unsupervised Visual Odometry [38.20137500372927]
  対画像からの情報を扱う2つのカメラポーズ推定器からなる手法を提案する。 画像シーケンスでは、Transformerライクな構造を採用して、局所的な時間ウィンドウ上にジオメトリモデルを構築する。 対向画像間の関係を利用するために,f2fpe(flow-to-flow pose estimator)を提案する。
  論文  参考訳（メタデータ） (2020-12-08T19:39:26Z)
• Adaptive Context-Aware Multi-Modal Network for Depth Completion [107.15344488719322]
  我々は,観測された空間コンテキストを捉えるために,グラフ伝搬を採用することを提案する。 次に、注意機構を伝搬に適用し、ネットワークが文脈情報を適応的にモデル化することを奨励する。 最後に、抽出したマルチモーダル特徴を効果的に活用するための対称ゲート融合戦略を導入する。 本稿では,Adaptive Context-Aware Multi-Modal Network (ACMNet) を2つのベンチマークで評価した。
  論文  参考訳（メタデータ） (2020-08-25T06:00:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。