論文の概要: Conformal retrofitting via Riemannian manifolds: distilling task-specific graphs into pretrained embeddings

• arxiv url: http://arxiv.org/abs/2010.04842v1
• Date: Fri, 9 Oct 2020 23:06:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-09 04:31:18.597803
• Title: Conformal retrofitting via Riemannian manifolds: distilling task-specific graphs into pretrained embeddings
• Title（参考訳）: リーマン多様体による共形レトロフィッティング:事前訓練された埋め込みへのタスク固有グラフの蒸留
• Authors: Justin Dieter and Arun Tejasvi Chaganty
• Abstract要約: 事前訓練された埋め込みは、多くの機械学習アプリケーションにおいて中心となる、単語のようなエンティティのタスクに依存しない汎用的特徴表現である。 既存のリトライフィッティングアルゴリズムは、2つの制限に直面している。 本稿では,非ユークリッド多様体に事前学習した埋め込みから局所幾何学を保存する新しい正規化器,共形正規化器,および,非ユークリッド多様体への埋め込みを学習するフィードフォワード層を提案する。
• 参考スコア（独自算出の注目度）: 1.2970250708769708
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pretrained (language) embeddings are versatile, task-agnostic feature representations of entities, like words, that are central to many machine learning applications. These representations can be enriched through retrofitting, a class of methods that incorporate task-specific domain knowledge encoded as a graph over a subset of these entities. However, existing retrofitting algorithms face two limitations: they overfit the observed graph by failing to represent relationships with missing entities; and they underfit the observed graph by only learning embeddings in Euclidean manifolds, which cannot faithfully represent even simple tree-structured or cyclic graphs. We address these problems with two key contributions: (i) we propose a novel regularizer, a conformality regularizer, that preserves local geometry from the pretrained embeddings---enabling generalization to missing entities and (ii) a new Riemannian feedforward layer that learns to map pre-trained embeddings onto a non-Euclidean manifold that can better represent the entire graph. Through experiments on WordNet, we demonstrate that the conformality regularizer prevents even existing (Euclidean-only) methods from overfitting on link prediction for missing entities, and---together with the Riemannian feedforward layer---learns non-Euclidean embeddings that outperform them.
• Abstract（参考訳）: 事前学習された(言語)埋め込みは、多くの機械学習アプリケーションの中心となる、単語のようなエンティティのタスクに依存しない機能表現である。 これらの表現は、これらのエンティティのサブセット上のグラフとしてエンコードされたタスク固有のドメイン知識を含むメソッドのクラスであるリトロフィッティングによって強化することができる。 しかし、既存のレトロフィッティングアルゴリズムは2つの制限に直面している: 欠落した実体との関係を表現できないことによって観察されたグラフを過剰に適合させる; そしてそれらはユークリッド多様体への埋め込みを学ぶだけで観察されたグラフを不適合にする。 これらの問題を2つの重要な貢献で解決します (i)我々は,事前学習された埋め込みから局所幾何を保存する新しい正規化子,コンフォメーション正規化子を提案する。 (ii) グラフ全体を表現することができる非ユークリッド多様体に事前訓練された埋め込みを写像することを学ぶ新しいリーマンフィードフォワード層。 wordnetの実験を通じて、共形正規化器は、既存の(ユークリッドのみの)方法でさえ、欠落しているエンティティのリンク予測を過剰に満たさないこと、そして--リーマンのフィードフォワード層と共に----これらを上回る非ユークリッド埋め込みを導くことを実証する。

関連論文リスト

• Improving embedding of graphs with missing data by soft manifolds [51.425411400683565]
  グラフ埋め込みの信頼性は、連続空間の幾何がグラフ構造とどの程度一致しているかに依存する。 我々は、この問題を解決することができる、ソフト多様体と呼ばれる新しい多様体のクラスを導入する。 グラフ埋め込みにソフト多様体を用いることで、複雑なデータセット上のデータ解析における任意のタスクを追求するための連続空間を提供できる。
  論文  参考訳（メタデータ） (2023-11-29T12:48:33Z)
• Semi-Supervised Manifold Learning with Complexity Decoupled Chart Autoencoders [45.29194877564103]
  本研究は、クラスラベルなどの半教師付き情報を付加できる非対称符号化復号プロセスを備えたチャートオートエンコーダを導入する。 このようなネットワークの近似力を議論し、周囲空間の次元ではなく、本質的にデータ多様体の内在次元に依存する境界を導出する。
  論文  参考訳（メタデータ） (2022-08-22T19:58:03Z)
• Repurposing Knowledge Graph Embeddings for Triple Representation via Weak Supervision [77.34726150561087]
  現在の方法では、事前訓練されたモデルからの実体と述語埋め込みを使わずに、スクラッチから三重埋め込みを学習する。 本研究では,知識グラフからトリプルを自動抽出し,事前学習した埋め込みモデルからそれらのペアの類似性を推定する手法を開発した。 これらのペアの類似度スコアは、細い三重表現のためにシームズ様のニューラルネットワークに供給される。
  論文  参考訳（メタデータ） (2022-08-22T14:07:08Z)
• Counterfactual Intervention Feature Transfer for Visible-Infrared Person Re-identification [69.45543438974963]
  視覚赤外人物再識別タスク(VI-ReID)におけるグラフベースの手法は,2つの問題により,悪い一般化に悩まされている。 十分に訓練された入力特徴は、グラフトポロジーの学習を弱め、推論過程において十分に一般化されない。 本稿では,これらの問題に対処するためのCIFT法を提案する。
  論文  参考訳（メタデータ） (2022-08-01T16:15:31Z)
• Geometry Contrastive Learning on Heterogeneous Graphs [50.58523799455101]
  本稿では,幾何学コントラスト学習(Geometry Contrastive Learning, GCL)と呼ばれる,新しい自己指導型学習手法を提案する。 GCLはユークリッドと双曲的な視点からヘテロジニアスグラフを同時に見ることができ、リッチな意味論と複雑な構造をモデル化する能力の強い融合を目指している。 4つのベンチマークデータセットの大規模な実験は、提案手法が強いベースラインよりも優れていることを示している。
  論文  参考訳（メタデータ） (2022-06-25T03:54:53Z)
• Classic Graph Structural Features Outperform Factorization-Based Graph Embedding Methods on Community Labeling [8.931361895613646]
  グラフ表現学習(グラフ埋め込みとも呼ばれる)は、ネットワーク構造を機械学習モデルに組み込む一般的な手法である。 そこで我々は,ペアワイズコミュニティラベリングの共通課題に対する埋め込みのクラスの性能に関する実証的,理論的解析を行った。 一般の低次元分解法は,コミュニティ構造を創出できないか,不安定なコミュニティしか創出できないことを実証する。
  論文  参考訳（メタデータ） (2022-01-20T22:43:37Z)
• A Self-supervised Mixed-curvature Graph Neural Network [76.3790248465522]
  自己教師型混合曲率グラフニューラルネットワーク(SelfMGNN)を提案する。 我々は、SelfMGNNが現実の複雑なグラフ構造をキャプチャし、最先端のベースラインを上回っていることを示す。
  論文  参考訳（メタデータ） (2021-12-10T08:56:55Z)
• Asymptotics of Network Embeddings Learned via Subsampling [4.23373349945751]
  本研究では,ノード2vecのようなサブサンプリング手法を用いて,単一の統一フレームワークへの表現手法について検討する。 これは、埋め込みベクトルが何を表現し、これらのメソッドが下流のタスクでいかにうまく機能するかを理解するための理論的基盤を提供する。 特に、一般的に使用される損失関数は、Fisher整合性の欠如などの欠点を引き起こす可能性があることを観察する。
  論文  参考訳（メタデータ） (2021-07-06T02:54:53Z)
• Learning the Implicit Semantic Representation on Graph-Structured Data [57.670106959061634]
  グラフ畳み込みネットワークにおける既存の表現学習手法は主に、各ノードの近傍を知覚全体として記述することで設計される。 本稿では,グラフの潜在意味パスを学習することで暗黙的な意味を探索する意味グラフ畳み込みネットワーク(sgcn)を提案する。
  論文  参考訳（メタデータ） (2021-01-16T16:18:43Z)
• Computationally Tractable Riemannian Manifolds for Graph Embeddings [10.420394952839242]
  我々は、ある曲面リーマン空間におけるグラフ埋め込みを学習し、最適化する方法を示す。 我々の結果は、機械学習パイプラインにおける非ユークリッド埋め込みの利点の新たな証拠として役立ちます。
  論文  参考訳（メタデータ） (2020-02-20T10:55:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。