論文の概要: Learning Structured Representations with Hyperbolic Embeddings
- arxiv url: http://arxiv.org/abs/2412.01023v1
- Date: Mon, 02 Dec 2024 00:56:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-04 15:48:27.689638
- Title: Learning Structured Representations with Hyperbolic Embeddings
- Title（参考訳）: 双曲的埋め込みを用いた構造化表現の学習
- Authors: Aditya Sinha, Siqi Zeng, Makoto Yamada, Han Zhao,
- Abstract要約: ラベル階層を学習表現に正確に埋め込むハイパーボリック構造正規化手法HypStructureを提案する。
いくつかの大規模ビジョンベンチマークの実験では、歪みを低減するためのHypStructureの有効性が示されている。
構造化された表現をよりよく理解するために、表現幾何学と改善されたout-of-Distribution(OOD)検出性能をリンクする固有値解析を行う。
- 参考スコア（独自算出の注目度）: 22.95613852886361
- License:
- Abstract: Most real-world datasets consist of a natural hierarchy between classes or an inherent label structure that is either already available or can be constructed cheaply. However, most existing representation learning methods ignore this hierarchy, treating labels as permutation invariant. Recent work [Zeng et al., 2022] proposes using this structured information explicitly, but the use of Euclidean distance may distort the underlying semantic context [Chen et al., 2013]. In this work, motivated by the advantage of hyperbolic spaces in modeling hierarchical relationships, we propose a novel approach HypStructure: a Hyperbolic Structured regularization approach to accurately embed the label hierarchy into the learned representations. HypStructure is a simple-yet-effective regularizer that consists of a hyperbolic tree-based representation loss along with a centering loss, and can be combined with any standard task loss to learn hierarchy-informed features. Extensive experiments on several large-scale vision benchmarks demonstrate the efficacy of HypStructure in reducing distortion and boosting generalization performance especially under low dimensional scenarios. For a better understanding of structured representation, we perform eigenvalue analysis that links the representation geometry to improved Out-of-Distribution (OOD) detection performance seen empirically. The code is available at \url{https://github.com/uiuctml/HypStructure}.
- Abstract（参考訳）: ほとんどの実世界のデータセットは、クラス間の自然な階層構造や、すでに利用可能または安価に構築できる固有のラベル構造で構成されている。
しかし、既存の表現学習手法はこの階層を無視し、ラベルを置換不変量として扱う。
最近の研究(Zeng et al , 2022)では、この構造化された情報を明示的に用いているが、ユークリッド距離を用いることで、基礎となる意味的文脈を歪めてしまう可能性がある(Chen et al , 2013)。
本稿では,階層関係をモデル化する際の双曲空間の利点を活かして,ハイプストラクチャー(HypStructure: Hyperbolic Structured regularization approach)を提案する。
HypStructureは、双曲木に基づく表現損失と中心的な損失からなる単純なyet効率の正規化器であり、任意の標準タスク損失と組み合わせて階層的インフォームド特徴を学習することができる。
大規模ビジョンベンチマークによる大規模な実験では、特に低次元シナリオ下での歪みの低減と一般化性能の向上にHypStructureの有効性が示されている。
構造化された表現をよりよく理解するために、表現幾何学と改善されたout-of-Distribution(OOD)検出性能を実証的に関連付ける固有値解析を行う。
コードは \url{https://github.com/uiuctml/HypStructure} で公開されている。
関連論文リスト
- Learning Visual Hierarchies with Hyperbolic Embeddings [28.35250955426006]
本稿では,ハイパーボリック空間におけるユーザ定義のマルチレベル視覚階層を,明示的な階層ラベルを必要とせずに符号化できる学習パラダイムを提案する。
階層的検索タスクの大幅な改善を示し、視覚的階層を捉える上でのモデルの有効性を示す。
論文 参考訳（メタデータ） (2024-11-26T14:58:06Z) - Flattening the Parent Bias: Hierarchical Semantic Segmentation in the Poincaré Ball [39.76366192826905]
親が子どもから推定されるフラットな(階層的でない)セグメンテーションネットワークは,階層的アプローチよりも高いセグメンテーション精度を有することを示す。
また,ポアンカー球モデルを用いた階層的セグメンテーションに対するより原理的なアプローチについても検討する。
論文 参考訳（メタデータ） (2024-04-04T19:50:57Z) - Reducing the dimensionality and granularity in hierarchical categorical variables [2.089191490381739]
階層型分類変数の縮小表現を求める手法を提案する。
エンティティの埋め込みが階層的な環境でどのように適用できるかを示す。
提案手法を実際のデータセットに適用し,階層構造が元の階層構造よりも改善されていることを確認する。
論文 参考訳（メタデータ） (2024-03-06T11:09:36Z) - Grokking of Hierarchical Structure in Vanilla Transformers [72.45375959893218]
トランスフォーマー言語モデルでは,極端に長い訓練期間を経て階層的に一般化できることが示される。
中間深度モデルは、非常に深い変圧器と非常に浅い変圧器の両方よりも良く一般化される。
論文 参考訳（メタデータ） (2023-05-30T04:34:13Z) - Structure-CLIP: Towards Scene Graph Knowledge to Enhance Multi-modal
Structured Representations [70.41385310930846]
マルチモーダルな構造表現を強化するためのエンドツーエンドフレームワークであるStructure-CLIPを提案する。
シーングラフを用いてセマンティックなネガティブな例の構築をガイドし、その結果、構造化された表現の学習に重点を置いている。
知識エンハンス(KEE)は、SGKを入力として活用し、構造化表現をさらに強化するために提案される。
論文 参考訳（メタデータ） (2023-05-06T03:57:05Z) - SE-GSL: A General and Effective Graph Structure Learning Framework
through Structural Entropy Optimization [67.28453445927825]
グラフニューラルネットワーク(GNN)は、構造的データ学習のデファクトソリューションである。
既存のグラフ構造学習(GSL)フレームワークには、堅牢性と解釈性がない。
本稿では、構造エントロピーと符号化木に抽象化されたグラフ階層を通して、一般的なGSLフレームワークSE-GSLを提案する。
論文 参考訳（メタデータ） (2023-03-17T05:20:24Z) - Equivariance with Learned Canonicalization Functions [77.32483958400282]
正規化を行うために小さなニューラルネットワークを学習することは、事前定義を使用することよりも優れていることを示す。
実験の結果,正準化関数の学習は多くのタスクで同変関数を学習する既存の手法と競合することがわかった。
論文 参考訳（メタデータ） (2022-11-11T21:58:15Z) - Use All The Labels: A Hierarchical Multi-Label Contrastive Learning
Framework [75.79736930414715]
本稿では,すべての利用可能なラベルを活用でき,クラス間の階層的関係を維持できる階層型多言語表現学習フレームワークを提案する。
比較損失に階層的ペナルティを併用し,その階層的制約を強制する。
論文 参考訳（メタデータ） (2022-04-27T21:41:44Z) - A Fully Hyperbolic Neural Model for Hierarchical Multi-Class
Classification [7.8176853587105075]
双曲空間は、記号データの階層的表現を学ぶために数学的に魅力的なアプローチを提供する。
本研究は,双曲空間におけるすべての操作を実行する多クラス多ラベル分類のための完全双曲モデルを提案する。
徹底的な分析では、最終予測における各コンポーネントの影響に光を当て、ユークリッド層との統合の容易さを示している。
論文 参考訳（メタデータ） (2020-10-05T14:42:56Z) - Exploring the Hierarchy in Relation Labels for Scene Graph Generation [75.88758055269948]
提案手法は,Recall@50において,複数の最先端ベースラインを大きなマージン(最大33%の相対利得)で改善することができる。
実験により,提案手法により,最先端のベースラインを大きなマージンで改善できることが示された。
論文 参考訳（メタデータ） (2020-09-12T17:36:53Z) - Equivariant Maps for Hierarchical Structures [17.931059591895984]
階層構造の対称性は、ビルディングブロックの対称性の「死積」であることを示す。
点雲を酸化することにより、データに翻訳と置換の対称性の階層を課す。
私たちは、Semantic3D、S3DIS、vKITTIに関する最新の技術について報告します。
論文 参考訳（メタデータ） (2020-06-05T18:42:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。