論文の概要: Binder: Hierarchical Concept Representation through Order Embedding of Binary Vectors

• arxiv url: http://arxiv.org/abs/2404.10924v1
• Date: Tue, 16 Apr 2024 21:52:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-18 17:42:39.991178
• Title: Binder: Hierarchical Concept Representation through Order Embedding of Binary Vectors
• Title（参考訳）: Binder:二元ベクトルの順序埋め込みによる階層的概念表現
• Authors: Croix Gyurek, Niloy Talukder, Mohammad Al Hasan,
• Abstract要約: 順序に基づく表現のための新しいアプローチであるBinderを提案する。 Binderは埋め込みにバイナリベクトルを使用するため、埋め込みベクトルは他の方法よりもはるかに小さなフットプリントでコンパクトである。
• 参考スコア（独自算出の注目度）: 3.9271338080639753
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: For natural language understanding and generation, embedding concepts using an order-based representation is an essential task. Unlike traditional point vector based representation, an order-based representation imposes geometric constraints on the representation vectors for explicitly capturing various semantic relationships that may exist between a pair of concepts. In existing literature, several approaches on order-based embedding have been proposed, mostly focusing on capturing hierarchical relationships; examples include vectors in Euclidean space, complex, Hyperbolic, order, and Box Embedding. Box embedding creates region-based rich representation of concepts, but along the process it sacrifices simplicity, requiring a custom-made optimization scheme for learning the representation. Hyperbolic embedding improves embedding quality by exploiting the ever-expanding property of Hyperbolic space, but it also suffers from the same fate as box embedding as gradient descent like optimization is not simple in the Hyperbolic space. In this work, we propose Binder, a novel approach for order-based representation. Binder uses binary vectors for embedding, so the embedding vectors are compact with an order of magnitude smaller footprint than other methods. Binder uses a simple and efficient optimization scheme for learning representation vectors with a linear time complexity. Our comprehensive experimental results show that Binder is very accurate, yielding competitive results on the representation task. But Binder stands out from its competitors on the transitive closure link prediction task as it can learn concept embeddings just from the direct edges, whereas all existing order-based approaches rely on the indirect edges.
• Abstract（参考訳）: 自然言語の理解と生成には、順序に基づく表現を用いた概念の埋め込みが不可欠である。 伝統的な点ベクトルに基づく表現とは異なり、順序に基づく表現は表現ベクトルに幾何学的な制約を課し、一対の概念の間に存在するかもしれない様々な意味的関係を明示的に捉える。 既存の文献では、順序に基づく埋め込みに関するいくつかのアプローチが提案されており、主に階層的な関係を捉えることに焦点を当てている。 Boxの埋め込みは、リージョンベースの概念のリッチな表現を生成するが、その過程でシンプルさを犠牲にして、表現を学ぶためにカスタムメイドの最適化スキームを必要とする。 双曲埋め込みは、双曲空間の絶え間ない拡張性を利用して埋め込み品質を向上させるが、双曲空間において最適化のような勾配降下が単純ではないため、箱埋め込みと同じ運命に苦しむ。 本研究では,順序に基づく表現の新しい手法であるBinderを提案する。 Binderは埋め込みにバイナリベクトルを使用するため、埋め込みベクトルは他の方法よりもはるかに小さなフットプリントでコンパクトである。 Binderは、線形時間複雑性を持つ表現ベクトルを学習するための単純で効率的な最適化スキームを使用している。 我々の総合的な実験結果から、Binderは非常に正確で、表現タスク上での競合的な結果が得られることが示された。 しかしBinderは、間接的なクロージャリンク予測タスクにおいて、直接エッジからのみ概念埋め込みを学習できるという点でライバルと際立っており、既存の注文ベースのアプローチはすべて間接エッジに依存している。

関連論文リスト

• AdaContour: Adaptive Contour Descriptor with Hierarchical Representation [52.381359663689004]
  既存の角度ベースの輪郭記述子は、星以外の形状の損失表現に悩まされる。 AdaConは、他のディスクリプタよりも正確に形を表現できる。
  論文  参考訳（メタデータ） (2024-04-12T07:30:24Z)
• Explainable Trajectory Representation through Dictionary Learning [7.567576186354494]
  ネットワーク上での軌道表現学習は、車両交通パターンの理解を高める。 古典的な機械学習やディープラーニングを使った既存のアプローチは、解釈性に欠ける高密度ベクトルとして軌道を埋め込む。 本稿では,辞書学習を通して記述可能な軌道表現学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-13T10:59:54Z)
• Efficient Link Prediction via GNN Layers Induced by Negative Sampling [92.05291395292537]
  リンク予測のためのグラフニューラルネットワーク(GNN)は、緩やかに2つの広いカテゴリに分けられる。 まず、Emphnode-wiseアーキテクチャは各ノードの個別の埋め込みをプリコンパイルし、後に単純なデコーダで結合して予測を行う。 第二に、エンフェッジワイド法は、ペアワイド関係の表現を強化するために、エッジ固有のサブグラフ埋め込みの形成に依存している。
  論文  参考訳（メタデータ） (2023-10-14T07:02:54Z)
• Learning Vector-Quantized Item Representation for Transferable Sequential Recommenders [33.406897794088515]
  VQ-Recは、転送可能なシーケンシャルリコメンダのためのベクトル量子化アイテム表現を学ぶための新しいアプローチである。 半合成および混合ドメインのコード表現をハードな負として用い、拡張されたコントラスト事前学習手法を提案する。
  論文  参考訳（メタデータ） (2022-10-22T00:43:14Z)
• Object Representations as Fixed Points: Training Iterative Refinement Algorithms with Implicit Differentiation [88.14365009076907]
  反復的洗練は表現学習に有用なパラダイムである。 トレーニングの安定性とトラクタビリティを向上させる暗黙の差別化アプローチを開発する。
  論文  参考訳（メタデータ） (2022-07-02T10:00:35Z)
• Towards Efficient Scene Understanding via Squeeze Reasoning [71.1139549949694]
  我々はSqueeze Reasoningと呼ばれる新しいフレームワークを提案する。 空間地図上の情報を伝播するのではなく、まず入力特徴をチャネルワイドなグローバルベクトルに絞ることを学ぶ。 提案手法はエンドツーエンドのトレーニングブロックとしてモジュール化可能であり,既存のネットワークに簡単に接続可能であることを示す。
  論文  参考訳（メタデータ） (2020-11-06T12:17:01Z)
• RatE: Relation-Adaptive Translating Embedding for Knowledge Graph Completion [51.64061146389754]
  複素空間における新たな重み付き積の上に構築された関係適応変換関数を提案する。 次に、関係適応型翻訳埋め込み(RatE)アプローチを示し、各グラフを3倍にスコアする。
  論文  参考訳（メタデータ） (2020-10-10T01:30:30Z)
• Variable Binding for Sparse Distributed Representations: Theory and Applications [4.150085009901543]
  記号推論とニューラルネットワークは、しばしば互換性のないアプローチとみなされる。ベクトル記号アーキテクチャ(VSAs)として知られるコネクショナリストモデルは、このギャップを埋める可能性がある。 VSAsは密度の高い擬似ランダムベクターでシンボルを符号化し、そこで情報はニューロン全体にわたって分散される。 VSAsにおける高密度ベクトル間の変数結合は、次元性を高める演算であるスパースベクトル間のテンソル積結合と数学的に等価であることを示す。
  論文  参考訳（メタデータ） (2020-09-14T20:40:09Z)
• Anchor & Transform: Learning Sparse Embeddings for Large Vocabularies [60.285091454321055]
  我々は,アンカー埋め込みとスパース変換行列の小さな組を学習する,単純で効率的な埋め込みアルゴリズムを設計する。 テキスト分類、言語モデリング、映画レコメンデーションのベンチマークでは、ANTは大きな語彙サイズに特に適していることが示されている。
  論文  参考訳（メタデータ） (2020-03-18T13:07:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。