論文の概要: Keep your distance: learning dispersed embeddings on $\mathbb{S}_d$

• arxiv url: http://arxiv.org/abs/2502.08231v1
• Date: Wed, 12 Feb 2025 09:20:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-13 13:47:43.407807
• Title: Keep your distance: learning dispersed embeddings on $\mathbb{S}_d$
• Title（参考訳）: 距離を保つ:$\mathbb{S}_d$で分散埋め込みを学ぶ
• Authors: Evgeniia Tokarchuk, Hua Chang Bakker, Vlad Niculae,
• Abstract要約: 表現学習では、高次元空間における多くの特徴を扱うのが一般的である。 本稿では,既存の手法の概要を述べるとともに,新しい接続を構築,類似性を強調する。 汎用ドメイン上での分散のための効果的な代替正則化器として,K-Means の名声を持つロイズアルゴリズムのオンライン版を提案する。
• 参考スコア（独自算出の注目度）: 9.708595749421022
• License:
• Abstract: Learning well-separated features in high-dimensional spaces, such as text or image embeddings, is crucial for many machine learning applications. Achieving such separation can be effectively accomplished through the dispersion of embeddings, where unrelated vectors are pushed apart as much as possible. By constraining features to be on a hypersphere, we can connect dispersion to well-studied problems in mathematics and physics, where optimal solutions are known for limited low-dimensional cases. However, in representation learning we typically deal with a large number of features in high-dimensional space, and moreover, dispersion is usually traded off with some other task-oriented training objective, making existing theoretical and numerical solutions inapplicable. Therefore, it is common to rely on gradient-based methods to encourage dispersion, usually by minimizing some function of the pairwise distances. In this work, we first give an overview of existing methods from disconnected literature, making new connections and highlighting similarities. Next, we introduce some new angles. We propose to reinterpret pairwise dispersion using a maximum mean discrepancy (MMD) motivation. We then propose an online variant of the celebrated Lloyd's algorithm, of K-Means fame, as an effective alternative regularizer for dispersion on generic domains. Finally, we derive a novel dispersion method that directly exploits properties of the hypersphere. Our experiments show the importance of dispersion in image classification and natural language processing tasks, and how algorithms exhibit different trade-offs in different regimes.
• Abstract（参考訳）: テキストや画像の埋め込みのような高次元空間でよく区切られた特徴を学習することは、多くの機械学習アプリケーションにとって不可欠である。 このような分離を達成することは、埋め込みの分散によって効果的に達成され、そこでは無関係なベクトルが可能な限り分割される。 超球面上の特徴を制約することにより、分散を数学や物理学のよく研究された問題に結びつけることができ、最適解は限られた低次元の場合で知られている。 しかし、表現学習では、高次元空間における多くの特徴を扱うのが一般的であり、その上、分散は、他のタスク指向の訓練目標と交換され、既存の理論的および数値的な解が適用できない。 したがって、分散を促進するために勾配に基づく手法を頼りにするのが一般的であり、通常は対距離の関数を最小化する。 本稿では、まず、非連結な文献から既存の手法を概説し、新しい接続を作成し、類似性を強調する。 次に、いくつかの新しいアングルを紹介します。 本稿では,最大平均差分率(MMD)のモチベーションを用いたペアワイズ分散の再解釈を提案する。 次に、K-Means の名声を持つ有名なロイズアルゴリズムのオンライン版を、ジェネリックドメイン上の分散のための効果的な代替正則化器として提案する。 最後に、超球の性質を直接活用する新しい分散法を導出する。 本実験は,画像分類や自然言語処理タスクにおける分散の重要性と,アルゴリズムが異なる状況下でどのように異なるトレードオフを示すかを示す。

関連論文リスト

• Embedding Trajectory for Out-of-Distribution Detection in Mathematical Reasoning [50.84938730450622]
  数理推論におけるOOD検出にトラジェクトリボラティリティを用いたトラジェクトリベースのTVスコアを提案する。 本手法は, 数学的推論シナリオ下でのGLM上での従来のアルゴリズムよりも優れる。 提案手法は,複数選択質問などの出力空間における高密度特徴を持つアプリケーションに拡張することができる。
  論文  参考訳（メタデータ） (2024-05-22T22:22:25Z)
• Scaling Riemannian Diffusion Models [68.52820280448991]
  非自明な多様体上の高次元タスクにスケールできることを示す。 我々は、$SU(n)$格子上のQCD密度と高次元超球面上の対照的に学習された埋め込みをモデル化する。
  論文  参考訳（メタデータ） (2023-10-30T21:27:53Z)
• Solving High-Dimensional PDEs with Latent Spectral Models [74.1011309005488]
  我々は,高次元PDEの効率的かつ高精度な解法に向けて,Latent Spectral Models (LSM) を提案する。 数値解析において古典スペクトル法に着想を得て,潜時空間におけるPDEを解くために,ニューラルスペクトルブロックを設計する。 LSMは、一貫した最先端を実現し、7つのベンチマークで平均11.5%の相対的な利益を得る。
  論文  参考訳（メタデータ） (2023-01-30T04:58:40Z)
• Message Passing Neural PDE Solvers [60.77761603258397]
  我々は、バックプロップ最適化されたニューラル関数近似器で、グラフのアリーデザインのコンポーネントを置き換えるニューラルメッセージパッシング解決器を構築した。 本稿では, 有限差分, 有限体積, WENOスキームなどの古典的手法を表現的に含んでいることを示す。 本研究では, 異なる領域のトポロジ, 方程式パラメータ, 離散化などにおける高速, 安定, 高精度な性能を, 1次元, 2次元で検証する。
  論文  参考訳（メタデータ） (2022-02-07T17:47:46Z)
• High-dimensional separability for one- and few-shot learning [58.8599521537]
  この作業は、実用的な質問、人工知能(AI)エラーの修正によって進められている。 特殊な外部デバイスである修正器が開発されている。従来のAIシステムを変更することなく、迅速かつ非イテレーティブなシステム修正を提供する必要がある。 AIシステムの新しいマルチコレクタが提示され、深層畳み込みニューラルネットワークによってエラーを予測し、新しいクラスのオブジェクトを学習する例が紹介される。
  論文  参考訳（メタデータ） (2021-06-28T14:58:14Z)
• Rectangular Flows for Manifold Learning [38.63646804834534]
  正規化フローは、トラクタブル・オブ・ボリューム項を持つ可逆ニューラルネットワークである。 興味のあるデータは、通常、高次元の周囲空間に埋め込まれたいくつかの(しばしば未知の)低次元多様体に生きていると仮定される。 本稿では,モデルのパラメータに関して,この項の勾配を抽出可能な2つの手法を提案する。
  論文  参考訳（メタデータ） (2021-06-02T18:30:39Z)
• Adversarial Multi-task Learning Enhanced Physics-informed Neural Networks for Solving Partial Differential Equations [9.823102211212582]
  本稿では,多タスク学習手法,不確実性強調損失,勾配手術を学習pdeソリューションの文脈で活用する新しいアプローチを提案する。 実験では,提案手法が有効であることが判明し,従来手法と比較して未発見のデータポイントの誤差を低減できた。
  論文  参考訳（メタデータ） (2021-04-29T13:17:46Z)
• Neural Operator: Graph Kernel Network for Partial Differential Equations [57.90284928158383]
  この作業はニューラルネットワークを一般化し、無限次元空間(演算子)間の写像を学習できるようにすることである。 非線形活性化関数と積分作用素のクラスを構成することにより、無限次元写像の近似を定式化する。 実験により,提案したグラフカーネルネットワークには所望の特性があり,最先端技術と比較した場合の競合性能を示すことが確認された。
  論文  参考訳（メタデータ） (2020-03-07T01:56:20Z)
• Solving inverse-PDE problems with physics-aware neural networks [0.0]
  偏微分方程式の逆問題における未知の場を見つけるための新しい枠組みを提案する。 我々は,ディープニューラルネットワークの高表現性を,既存の数値アルゴリズムの精度と信頼性とを融合した普遍関数推定器とする。
  論文  参考訳（メタデータ） (2020-01-10T18:46:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。