論文の概要: Hyperbolic Representation Learning: Revisiting and Advancing

• arxiv url: http://arxiv.org/abs/2306.09118v1
• Date: Thu, 15 Jun 2023 13:25:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-16 14:34:26.326703
• Title: Hyperbolic Representation Learning: Revisiting and Advancing
• Title（参考訳）: 双曲表現学習:再考と発展
• Authors: Menglin Yang, Min Zhou, Rex Ying, Yankai Chen, Irwin King
• Abstract要約: 本稿では,現在普及しているhlmを精査する位置追跡機構を導入し,学習された表現が準最適で不満足であることを明らかにする。 本稿では,ノードの双曲的距離から推定されるコストフリーな階層的情報を原点に組み込むことにより,シンプルで効果的な情報埋め込み手法であるハイボリックインフォメーション(HIE)を提案する。 提案手法は, 競合するベースラインに比べて最大21.4%向上した。
• 参考スコア（独自算出の注目度）: 43.1661098138936
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The non-Euclidean geometry of hyperbolic spaces has recently garnered considerable attention in the realm of representation learning. Current endeavors in hyperbolic representation largely presuppose that the underlying hierarchies can be automatically inferred and preserved through the adaptive optimization process. This assumption, however, is questionable and requires further validation. In this work, we first introduce a position-tracking mechanism to scrutinize existing prevalent \hlms, revealing that the learned representations are sub-optimal and unsatisfactory. To address this, we propose a simple yet effective method, hyperbolic informed embedding (HIE), by incorporating cost-free hierarchical information deduced from the hyperbolic distance of the node to origin (i.e., induced hyperbolic norm) to advance existing \hlms. The proposed method HIE is both task-agnostic and model-agnostic, enabling its seamless integration with a broad spectrum of models and tasks. Extensive experiments across various models and different tasks demonstrate the versatility and adaptability of the proposed method. Remarkably, our method achieves a remarkable improvement of up to 21.4\% compared to the competing baselines.
• Abstract（参考訳）: 双曲空間の非ユークリッド幾何学は近年、表現学習の領域でかなりの注目を集めている。 双曲表現の現在の取り組みは、基盤となる階層が自動的に推論され、適応最適化プロセスを通じて保存できるという仮定がほとんどである。 しかし、この仮定は疑わしいものであり、さらなる検証が必要である。 本研究では,まず,既存の<hlms>を探索する位置追跡機構を導入し,学習された表現が準最適かつ不満足であることを明らかにする。 そこで本研究では,ノードの双曲的距離から起点(すなわち誘導双曲的ノルム)へ誘導されるコストフリーな階層情報を組み込んで,既存の \hlms を前進させることにより,シンプルで効果的な情報埋め込み手法である hyperbolic informed embedded (HIE) を提案する。 提案手法はタスク非依存かつモデル非依存であり,多様なモデルやタスクとのシームレスな統合を実現する。 様々なモデルと異なるタスクにわたる広範囲な実験により,提案手法の汎用性と適応性を示す。 また,提案手法は,競合するベースラインに比べて最大21.4\%の顕著な改善を実現している。

関連論文リスト

• From Semantics to Hierarchy: A Hybrid Euclidean-Tangent-Hyperbolic Space Model for Temporal Knowledge Graph Reasoning [1.1372536310854844]
  時間的知識グラフ(TKG)推論は、過去のデータに基づいて将来の出来事を予測する。 既存のユークリッドモデルはセマンティクスを捉えるのに優れているが、階層構造に苦しむ。 ユークリッドモデルと双曲モデルの両方の強みを利用する新しいハイブリッド幾何空間アプローチを提案する。
  論文  参考訳（メタデータ） (2024-08-30T10:33:08Z)
• Visual Prompt Tuning in Null Space for Continual Learning [51.96411454304625]
  既存のプロンプトチューニング手法は、継続学習(CL)における印象的な性能を示す。 本稿では,従来のタスクの特徴に代表される部分空間に直交する方向のプロンプトを調整し,各タスクを学習することを目的とする。 実際には、即時勾配予測を実装するために、実効的なヌル空間に基づく近似解が提案されている。
  論文  参考訳（メタデータ） (2024-06-09T05:57:40Z)
• A Closer Look at the Few-Shot Adaptation of Large Vision-Language Models [19.17722702457403]
  現状のArtETLアプローチは、狭義の実験的な設定でのみ強力な性能を示すことを示す。 一般化されたラグランジアン法を適応させることにより,バランス項を最適化したCLAP(CLass-Adaptive linear Probe)の目的を提案する。
  論文  参考訳（メタデータ） (2023-12-20T02:58:25Z)
• Hyperbolic vs Euclidean Embeddings in Few-Shot Learning: Two Sides of the Same Coin [49.12496652756007]
  この結果から, 共通の双曲半径での双曲埋め込みが達成できることが示唆された。 従来のベンチマーク結果とは対照的に、ユークリッド計量を備えた固定半径エンコーダにより、より良い性能が得られることを示す。
  論文  参考訳（メタデータ） (2023-09-18T14:51:46Z)
• Towards General Visual-Linguistic Face Forgery Detection [95.73987327101143]
  ディープフェイクは現実的な顔操作であり、セキュリティ、プライバシー、信頼に深刻な脅威をもたらす可能性がある。 既存の方法は、このタスクを、デジタルラベルまたはマスク信号を使用して検出モデルをトレーニングするバイナリ分類として扱う。 本稿では, 微粒な文レベルのプロンプトをアノテーションとして用いた, VLFFD (Visual-Linguistic Face Forgery Detection) という新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-07-31T10:22:33Z)
• HMSN: Hyperbolic Self-Supervised Learning by Clustering with Ideal Prototypes [7.665392786787577]
  プロトタイプに基づくクラスタリング手法の自己教師付き表現学習には,双曲表現空間を用いる。 我々はMasked Siamese Networksを拡張し、双曲空間のPoincar'eボールモデルで操作する。 従来の手法とは異なり、エンコーダネットワークの出力における双曲空間に投影し、双曲投影ヘッドを利用して、下流タスクに使用される表現が双曲的であることを保証する。
  論文  参考訳（メタデータ） (2023-05-18T12:38:40Z)
• HRCF: Enhancing Collaborative Filtering via Hyperbolic Geometric Regularization [52.369435664689995]
  HRCF (textitHyperbolic Regularization powered Collaborative Filtering) を導入し,幾何認識型双曲正規化器を設計する。 具体的には、ルートアライメントとオリジン認識ペナルティによる最適化手順を強化する。 提案手法は,双曲的凝集による過度な平滑化問題に対処でき,モデルの識別能力も向上する。
  論文  参考訳（メタデータ） (2022-04-18T06:11:44Z)
• Provably Accurate and Scalable Linear Classifiers in Hyperbolic Spaces [39.71927912296049]
  スケーラブルで単純な双曲型線形分類器を学習するための統一的なフレームワークを提案する。 我々のアプローチの要点は、ポアンカーの球体モデルに焦点を合わせ、接空間形式を用いて分類問題を定式化することである。 Poincarの2階と戦略的パーセプトロンの優れた性能は、提案フレームワークが双曲空間における一般的な機械学習問題にまで拡張可能であることを示している。
  論文  参考訳（メタデータ） (2022-03-07T21:36:21Z)
• Hyperbolic Manifold Regression [33.40757136529844]
  本稿では,多くの機械学習応用の中間要素として,双曲空間上で多様体値回帰を行うという問題を考察する。 本稿では,1)ラベル埋め込みによる階層的分類,2)双曲表現の分類的拡張の2つの課題に対する新しい視点を提案する。 実験の結果,双曲幾何学の活用戦略は有望であることが示唆された。
  論文  参考訳（メタデータ） (2020-05-28T10:16:30Z)
• Differentiating through the Fr\'echet Mean [51.32291896926807]
  フレット平均(Fr'echet mean)はユークリッド平均の一般化である。 任意のリーマン多様体に対して Fr'echet 平均を微分する方法を示す。 これにより、Fr'echet平均を双曲型ニューラルネットワークパイプラインに完全に統合する。
  論文  参考訳（メタデータ） (2020-02-29T19:49:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。