論文の概要: Shrink the longest: improving latent space isotropy with symplicial geometry

• arxiv url: http://arxiv.org/abs/2501.05502v1
• Date: Thu, 09 Jan 2025 18:44:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-13 15:26:57.573288
• Title: Shrink the longest: improving latent space isotropy with symplicial geometry
• Title（参考訳）: Shrink the longest: improve latent space isotropy with symplicial geometry
• Authors: Sergei Kudriashov, Olesya Karpik, Eduard Klyshinsky,
• Abstract要約: 本稿では, 簡易幾何学に基づく新しい正規化手法を提案し, 潜在表現の等方性を改善する。 本手法は, 微調整時の異方性を大幅に低下させながら, 下流性能の向上につながることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Although transformer-based models have been dominating the field of deep learning, various studies of their embedding space have shown that they suffer from "representation degeneration problem": embeddings tend to be distributed in a narrow cone, making the latent space highly anisotropic. Increasing the isotropy has shown to improve performance in downstream tasks both in static and contextual language models. However, most of approaches either add inference overhead or require substantial amount of data for model reparametrization. We propose a novel regularization technique based on simplicial geometry to improve the isotropy of latent representations. The core idea of our method is based on maximizing the persistent entropy of barcodes obtained using Vietoris-Rips filtration from contextual embeddings in the underlying latent space. We demonstrate that the method leads to an increase in downstream performance while significantly lowering the anisotropy during fine-tuning by exploiting existing geometric structures instead of reparametrization.
• Abstract（参考訳）: トランスフォーマーに基づくモデルはディープラーニングの分野を支配してきたが、それらの埋め込み空間に関する様々な研究は、それらが「表現退化問題」に悩まされていることを示している。 等方性の向上は、静的言語モデルと文脈言語モデルの両方において、下流タスクのパフォーマンスを改善することを示している。 しかし、ほとんどのアプローチは推論のオーバーヘッドを追加するか、モデルの再パラメータ化のためにかなりの量のデータを必要とする。 本稿では, 簡易幾何学に基づく新しい正規化手法を提案し, 潜在表現の等方性を改善する。 提案手法の中核となる考え方は,Vietoris-Ripsフィルタを用いて得られたバーコードの持続エントロピーを,下層の潜伏空間における文脈埋め込みから最大化することである。 本手法は, 再パラメータ化ではなく既存の幾何学的構造を活用することにより, 微調整時の異方性を大幅に低下させながら, 下流性能の向上につながることを示す。

関連論文リスト

• Point Cloud Resampling with Learnable Heat Diffusion [58.050130177241186]
  ポイントクラウド再サンプリングのための学習可能な熱拡散フレームワークを提案する。 前の固定された拡散モデルとは異なり、適応条件は点雲の幾何学的特徴を選択的に保存する。
  論文  参考訳（メタデータ） (2024-11-21T13:44:18Z)
• On Probabilistic Pullback Metrics on Latent Hyperbolic Manifolds [5.724027955589408]
  本稿では,階層関係のモデル化に適した双曲多様体について述べる。 本稿では,VM の非線形写像によって生じる歪みを考慮に入れたプルバックメトリックによる双曲的計量の増大を提案する。 様々な実験を通して、引き戻し距離の測地学は双曲ラテント空間の幾何学を尊重するだけでなく、基礎となるデータ分布と整合することを示した。
  論文  参考訳（メタデータ） (2024-10-28T09:13:00Z)
• Variational autoencoders with latent high-dimensional steady geometric flows for dynamics [0.0]
  我々はPDE型環境データに対する変分オートエンコーダ(VAE)の手法を開発し,幾何学的潜在力学を規則化する。 エンコーダとデコーダによって開発された中間ラテント空間において,幾何学的流れを考慮した多様体幾何学が学習されるようなVAEフレームワークを再開発する。 興味のあるデータセットで、我々の手法は、少なくとも従来のVAEと同様にパフォーマンスが良く、しばしばより良くなることを示す。
  論文  参考訳（メタデータ） (2024-10-14T04:07:45Z)
• Hierarchical Features Matter: A Deep Exploration of GAN Priors for Improved Dataset Distillation [51.44054828384487]
  階層的生成潜在蒸留(H-GLaD)と呼ばれる新しいパラメータ化法を提案する。 本手法はGAN内の階層層を系統的に探索する。 さらに,合成データセット評価に伴う計算負担を軽減するために,新しいクラス関連特徴距離尺度を導入する。
  論文  参考訳（メタデータ） (2024-06-09T09:15:54Z)
• A Slices Perspective for Incremental Nonparametric Inference in High Dimensional State Spaces [25.16567521220103]
  本研究では,高次元状態空間における漸進的非パラメトリック確率推定法を提案する。 提案手法は高次元表面のスライスを利用して任意の形状の後方分布を効率的に近似する。
  論文  参考訳（メタデータ） (2024-05-26T06:52:56Z)
• Hyperbolic Geometric Latent Diffusion Model for Graph Generation [27.567428462212455]
  拡散モデルはコンピュータビジョンに多大な貢献をしており、最近、グラフ生成への応用に関するコミュニティの関心が高まっている。 本稿では,新しい幾何学的遅延拡散フレームワークHypDiffを提案する。 具体的には、まず、双曲幾何学に基づく解釈可能性測度を持つ幾何学的潜在空間を確立し、グラフの異方性潜在拡散過程を定義する。 そこで我々は, 放射状および角状両方の幾何学的性質に制約された幾何学的潜在拡散過程を提案し, 生成グラフにおける原位相特性の保存を確実にする。
  論文  参考訳（メタデータ） (2024-05-06T06:28:44Z)
• Scaling Riemannian Diffusion Models [68.52820280448991]
  非自明な多様体上の高次元タスクにスケールできることを示す。 我々は、$SU(n)$格子上のQCD密度と高次元超球面上の対照的に学習された埋め込みをモデル化する。
  論文  参考訳（メタデータ） (2023-10-30T21:27:53Z)
• Dynamic Kernel-Based Adaptive Spatial Aggregation for Learned Image Compression [63.56922682378755]
  本稿では,空間アグリゲーション機能の拡張に焦点をあて,動的カーネルベースの変換符号化を提案する。 提案したアダプティブアグリゲーションはカーネルオフセットを生成し、コンテント条件付き範囲の有効な情報をキャプチャして変換を支援する。 実験により,本手法は,最先端の学習手法と比較して,3つのベンチマークにおいて高い速度歪み性能が得られることを示した。
  論文  参考訳（メタデータ） (2023-08-17T01:34:51Z)
• Geometric Neural Diffusion Processes [55.891428654434634]
  拡散モデルの枠組みを拡張して、無限次元モデリングに一連の幾何学的先行を組み込む。 これらの条件で、生成関数モデルが同じ対称性を持つことを示す。
  論文  参考訳（メタデータ） (2023-07-11T16:51:38Z)
• How Does Fine-tuning Affect the Geometry of Embedding Space: A Case Study on Isotropy [18.490856440975996]
  埋め込み空間の等方性が微調整後にどのように変化するかを分析する。 事前学習した文脈単語表現(CWR)の局所構造は、微調整中に大きく変化する。
  論文  参考訳（メタデータ） (2021-09-10T08:58:59Z)
• Intermediate Layer Optimization for Inverse Problems using Deep Generative Models [86.29330440222199]
  ILOは、深層生成モデルを用いて逆問題を解決するための新しい最適化アルゴリズムである。 提案手法は,StyleGAN-2 や PULSE で導入した最先端手法よりも幅広い逆問題に対して優れていることを示す。
  論文  参考訳（メタデータ） (2021-02-15T06:52:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。