論文の概要: An Inductive Bias for Distances: Neural Nets that Respect the Triangle Inequality

• arxiv url: http://arxiv.org/abs/2002.05825v3
• Date: Mon, 6 Jul 2020 20:06:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-01 04:06:02.069681
• Title: An Inductive Bias for Distances: Neural Nets that Respect the Triangle Inequality
• Title（参考訳）: 距離の誘導バイアス:三角不等式を考慮に入れたニューラルネット
• Authors: Silviu Pitis, Harris Chan, Kiarash Jamali, Jimmy Ba
• Abstract要約: 距離は機械学習に広く浸透し、類似性尺度、損失関数、学習目標として機能する。 三角形の不等式を尊重する深い計量学習アーキテクチャは、ほとんど独占的に、潜在空間におけるユークリッド距離に依存している。 我々のアーキテクチャは、グラフ距離をモデル化する際の既存のメトリックアプローチよりも優れており、トレーニングデータに制限がある場合の非メトリックアプローチよりも優れた帰納バイアスを有することを示す。
• 参考スコア（独自算出の注目度）: 38.95108641775682
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Distances are pervasive in machine learning. They serve as similarity measures, loss functions, and learning targets; it is said that a good distance measure solves a task. When defining distances, the triangle inequality has proven to be a useful constraint, both theoretically--to prove convergence and optimality guarantees--and empirically--as an inductive bias. Deep metric learning architectures that respect the triangle inequality rely, almost exclusively, on Euclidean distance in the latent space. Though effective, this fails to model two broad classes of subadditive distances, common in graphs and reinforcement learning: asymmetric metrics, and metrics that cannot be embedded into Euclidean space. To address these problems, we introduce novel architectures that are guaranteed to satisfy the triangle inequality. We prove our architectures universally approximate norm-induced metrics on $\mathbb{R}^n$, and present a similar result for modified Input Convex Neural Networks. We show that our architectures outperform existing metric approaches when modeling graph distances and have a better inductive bias than non-metric approaches when training data is limited in the multi-goal reinforcement learning setting.
• Abstract（参考訳）: 距離は機械学習で広く普及している。 類似度尺度、損失関数、学習目標として機能し、良い距離尺度は課題を解決すると言われている。 距離を定義するとき、三角不等式は理論的には収束と最適性の保証を証明し、また経験的にも帰納バイアスとして有用な制約であることが証明されている。 三角不等式を尊重するディープメトリック学習アーキテクチャは、ほぼ独占的に、潜在空間におけるユークリッド距離に依存する。 有効ではあるが、これはグラフと強化学習に共通する2つの広範囲な加法距離のクラス、非対称計量とユークリッド空間に埋め込まれないメトリクスをモデル化することができない。 これらの問題に対処するために、三角不等式を満たすことが保証される新しいアーキテクチャを導入する。 我々のアーキテクチャは、$\mathbb{r}^n$のノルム誘起メトリックを普遍的に近似し、修正された入力凸ニューラルネットワークで同様の結果を示す。 また,マルチゴール強化学習環境において,データトレーニングが制限される場合の非メトリックアプローチよりも,既存のメトリックアプローチよりも優れた帰納的バイアスを持つことを示す。

関連論文リスト

• Learning Temporal Distances: Contrastive Successor Features Can Provide a Metric Structure for Decision-Making [66.27188304203217]
  時間的距離は、計画、制御、強化学習のための多くのアルゴリズムの中心にある。 このような時間的距離を設定内で定義しようとする以前の試みは、重要な制限によって妨げられている。 比較学習によって学習された後継特徴が,三角形の不等式を満たす時間的距離を形成することを示す。
  論文  参考訳（メタデータ） (2024-06-24T19:36:45Z)
• Tight and fast generalization error bound of graph embedding in metric space [54.279425319381374]
  非ユークリッド計量空間へのグラフ埋め込みは、既存の有界よりもはるかに少ない訓練データを持つユークリッド空間におけるグラフ埋め込みよりも優れていることを示す。 我々の新しい上限は、既存の上限よりもかなり強く速く、最大で$R$と$O(frac1S)$に指数関数できる。
  論文  参考訳（メタデータ） (2023-05-13T17:29:18Z)
• A principled distributional approach to trajectory similarity measurement [8.316979146894989]
  本稿では,2つのトラジェクトリ間の類似度を分布カーネルを用いて測定し,トラジェクトリを表現する強力な手法を提案する。 分布カーネルは、軌道表現と類似度測定に初めて使用される。 本手法の一般性は, (a) 軌道異常検出, (b) 軌道異常検出, (c) 軌道パターンマイニングの3つの応用で示される。
  論文  参考訳（メタデータ） (2023-01-01T12:35:07Z)
• Mathematical Justification of Hard Negative Mining via Isometric Approximation Theorem [18.525368151998386]
  ディープ・メトリック・ラーニングにおいて、トリプルト・ロスは多くのコンピュータビジョンと自然言語処理タスクを学習する一般的な方法として登場した。 Triplet Lossを悩ませている問題のひとつは、ネットワーク崩壊だ。ネットワークがすべてのデータの埋め込みを単一のポイントに投影するという、望ましくない現象だ。 強硬な負の採掘はこれらの戦略の中で最も効果的であるが、既存の定式化は経験的成功に対して強い理論上の正当化を欠いている。
  論文  参考訳（メタデータ） (2022-10-20T11:21:17Z)
• Neural Bregman Divergences for Distance Learning [60.375385370556145]
  本稿では,入力凸ニューラルネットワークを用いて任意のブレグマン分岐を微分可能な方法で学習するための新しいアプローチを提案する。 提案手法は,新しいタスクと以前に研究されたタスクのセットにおいて,より忠実に相違点を学習することを示す。 我々のテストはさらに、既知の非対称なタスクにまで拡張するが、Bregmanでないタスクでは、不特定性にもかかわらず、我々のメソッドは競争的に機能する。
  論文  参考訳（メタデータ） (2022-06-09T20:53:15Z)
• GELATO: Geometrically Enriched Latent Model for Offline Reinforcement Learning [54.291331971813364]
  オフライン強化学習アプローチは、近近法と不確実性認識法に分けられる。 本研究では,この2つを潜在変動モデルに組み合わせることのメリットを実証する。 提案したメトリクスは、分布サンプルのアウトの品質と、データ内のサンプルの不一致の両方を測定します。
  論文  参考訳（メタデータ） (2021-02-22T19:42:40Z)
• New Methods for Detecting Concentric Objects With High Accuracy [0.0]
  デジタルデータに幾何学的オブジェクトを適合させることは、虹彩検出、自律ナビゲーション、産業ロボット操作など、多くの分野において重要な問題である。 データに幾何学的形状を合わせるには、幾何学的(定形)アプローチと代数的(非定形)アプローチの2つの一般的なアプローチがある。 他の反復的手法の信頼性の高い初期推定として使用できる新しい推定器を開発した。
  論文  参考訳（メタデータ） (2021-02-16T08:19:18Z)
• Towards Certified Robustness of Distance Metric Learning [53.96113074344632]
  我々は,距離学習アルゴリズムの一般化とロバスト性を改善するために,入力空間に逆のマージンを付与することを提唱する。 アルゴリズム的ロバスト性の理論手法を用いることにより,拡張マージンは一般化能力に有益であることを示す。
  論文  参考訳（メタデータ） (2020-06-10T16:51:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。