論文の概要: GeRA: Label-Efficient Geometrically Regularized Alignment

• arxiv url: http://arxiv.org/abs/2310.00672v2
• Date: Sat, 7 Oct 2023 14:58:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-13 02:28:28.781171
• Title: GeRA: Label-Efficient Geometrically Regularized Alignment
• Title（参考訳）: GeRA: ラベル効率の良い幾何学的正規化アライメント
• Authors: Dustin Klebe, Tal Shnitzer, Mikhail Yurochkin, Leonid Karlinsky, Justin Solomon
• Abstract要約: 事前訓練された単調エンコーダの埋め込み空間を整列させる半教師付き幾何正規化アライメント(GeRA)法を提案する。 本手法は,非ペアデータ(観測不能データ)の多様体幾何を利用してアライメント性能を向上させる。 音声・テキスト・画像・テキストアライメントの領域において,本手法の有効性を示す実証的証拠を提供する。
• 参考スコア（独自算出の注目度）: 43.445924938844335
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pretrained unimodal encoders incorporate rich semantic information into embedding space structures. To be similarly informative, multi-modal encoders typically require massive amounts of paired data for alignment and training. We introduce a semi-supervised Geometrically Regularized Alignment (GeRA) method to align the embedding spaces of pretrained unimodal encoders in a label-efficient way. Our method leverages the manifold geometry of unpaired (unlabeled) data to improve alignment performance. To prevent distortions to local geometry during the alignment process, potentially disrupting semantic neighborhood structures and causing misalignment of unobserved pairs, we introduce a geometric loss term. This term is built upon a diffusion operator that captures the local manifold geometry of the unimodal pretrained encoders. GeRA is modality-agnostic and thus can be used to align pretrained encoders from any data modalities. We provide empirical evidence to the effectiveness of our method in the domains of speech-text and image-text alignment. Our experiments demonstrate significant improvement in alignment quality compared to a variaty of leading baselines, especially with a small amount of paired data, using our proposed geometric regularization.
• Abstract（参考訳）: 事前訓練されたユニモーダルエンコーダは、豊富な意味情報を埋め込み空間構造に組み込む。 同様に、マルチモーダルエンコーダはアライメントとトレーニングのために大量のペアデータを必要とする。 本稿では,事前学習した単調エンコーダの埋め込み空間をラベル効率よく整列する半教師付き幾何正規化アライメント(GeRA)手法を提案する。 本手法は,アライメント性能を向上させるために,非ペア(ラベルなし)データの多様体幾何学を利用する。 また,アライメント過程における局所幾何学の歪みを防止し,セマンティックな近傍構造を乱し,観測されていないペアの不整合を引き起こすため,幾何損失項を導入する。 この用語は拡散作用素の上に構築され、単調事前訓練エンコーダの局所多様体幾何学を捉える。 GeRAはモダリティに依存しないため、任意のデータモダリティから事前訓練されたエンコーダを調整できる。 音声・テキスト・画像のアライメント領域において,提案手法の有効性を示す実証的な証拠を提供する。 提案する幾何正規化法を用いて,リードベースラインの変動,特に少量のペアデータと比較して,アライメント品質が著しく向上することを示した。

関連論文リスト

• Thinner Latent Spaces: Detecting dimension and imposing invariance through autoencoder gradient constraints [9.380902608139902]
  ネットワークの潜在層内の直交関係を利用して、非線形多様体データセットの内在次元性を推定できることを示す。 微分幾何学に依拠する関係理論を概説し、対応する勾配偏光最適化アルゴリズムについて述べる。
  論文  参考訳（メタデータ） (2024-08-28T20:56:35Z)
• Equivariant Deep Weight Space Alignment [54.65847470115314]
  本稿では,ウェイトアライメント問題を解決するための学習を目的とした新しいフレームワークを提案する。 まず、重み調整が2つの基本対称性に一致することを証明し、それからこれらの対称性を尊重する深いアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-10-20T10:12:06Z)
• Disentanglement via Latent Quantization [60.37109712033694]
  本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。 本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
  論文  参考訳（メタデータ） (2023-05-28T06:30:29Z)
• Hub-VAE: Unsupervised Hub-based Regularization of Variational Autoencoders [11.252245456934348]
  我々は、ハブベースの先行とハブベースのコントラスト損失を混合した非教師付きデータ駆動型潜在空間の正規化を提案する。 本アルゴリズムは,組込み空間におけるクラスタ分離性,高精度なデータ再構成と生成を実現する。
  論文  参考訳（メタデータ） (2022-11-18T19:12:15Z)
• Semi-Supervised Manifold Learning with Complexity Decoupled Chart Autoencoders [45.29194877564103]
  本研究は、クラスラベルなどの半教師付き情報を付加できる非対称符号化復号プロセスを備えたチャートオートエンコーダを導入する。 このようなネットワークの近似力を議論し、周囲空間の次元ではなく、本質的にデータ多様体の内在次元に依存する境界を導出する。
  論文  参考訳（メタデータ） (2022-08-22T19:58:03Z)
• Geometry-Aware Unsupervised Domain Adaptation [12.298214579392129]
  Unsupervised Domain Adaptation (UDA)は、データセットシフトの存在下で、ラベル付きソースドメインからラベルなしターゲットドメインに知識を転送することを目的としている。 既存のほとんどのメソッドは、ドメインのアライメントやクラス識別にうまく対応できないため、下流タスクの本質的なデータ構造を歪めてしまう可能性がある。 核ノルム最適化により,移動可能性と識別性を同時に学習するための新しい幾何認識モデルを提案する。
  論文  参考訳（メタデータ） (2021-12-21T08:45:42Z)
• Towards Uncovering the Intrinsic Data Structures for Unsupervised Domain Adaptation using Structurally Regularized Deep Clustering [119.88565565454378]
  Unsupervised Domain Adapt (UDA) は、ターゲットドメイン上のラベルなしデータの予測を行う分類モデルを学ぶことである。 本稿では,対象データの正規化判別クラスタリングと生成クラスタリングを統合する構造的正規化深層クラスタリングのハイブリッドモデルを提案する。 提案するH-SRDCは, インダクティブ設定とトランスダクティブ設定の両方において, 既存の手法よりも優れている。
  論文  参考訳（メタデータ） (2020-12-08T08:52:00Z)
• Manifold Learning via Manifold Deflation [105.7418091051558]
  次元削減法は、高次元データの可視化と解釈に有用な手段を提供する。 多くの一般的な手法は単純な2次元のマニフォールドでも劇的に失敗する。 本稿では,グローバルな構造を座標として組み込んだ,新しいインクリメンタルな空間推定器の埋め込み手法を提案する。 実験により,本アルゴリズムは実世界および合成データセットに新規で興味深い埋め込みを復元することを示した。
  論文  参考訳（メタデータ） (2020-07-07T10:04:28Z)
• Neural Subdivision [58.97214948753937]
  本稿では,データ駆動型粗粒度モデリングの新しいフレームワークであるNeural Subdivisionを紹介する。 すべてのローカルメッシュパッチで同じネットワーク重みのセットを最適化するため、特定の入力メッシュや固定属、カテゴリに制約されないアーキテクチャを提供します。 単一の高分解能メッシュでトレーニングしても,本手法は新規な形状に対して合理的な区分を生成する。
  論文  参考訳（メタデータ） (2020-05-04T20:03:21Z)
• Learning Flat Latent Manifolds with VAEs [16.725880610265378]
  本稿では、ユークリッド計量がデータポイント間の類似性のプロキシとなる変分自動エンコーダのフレームワークの拡張を提案する。 我々は、変分オートエンコーダで一般的に使用されるコンパクトな以前のものを、最近発表されたより表現力のある階層型に置き換える。 提案手法は,ビデオ追跡ベンチマークを含む,さまざまなデータセットを用いて評価する。
  論文  参考訳（メタデータ） (2020-02-12T09:54:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。