論文の概要: PE: A Poincare Explanation Method for Fast Text Hierarchy Generation

• arxiv url: http://arxiv.org/abs/2403.16554v1
• Date: Mon, 25 Mar 2024 09:04:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-26 15:18:23.218638
• Title: PE: A Poincare Explanation Method for Fast Text Hierarchy Generation
• Title（参考訳）: PE:高速テキスト階層生成のためのポインケア記述法
• Authors: Qian Chen, Xiaofeng He, Hongzhao Li, Hongyu Yi,
• Abstract要約: 我々は,O(n2logn)$時間複雑性における双曲空間を用いた特徴量相互作用をモデル化するための新しい手法,すなわち Poincar'e Explanation (PE) を導入する。 Poincarのモデルに触発されて、双曲空間への埋め込みを投影するフレームワークを提案し、構文やセマンティック階層構造に対してより優れた帰納バイアスを示す。
• 参考スコア（独自算出の注目度）: 11.874019834347102
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The black-box nature of deep learning models in NLP hinders their widespread application. The research focus has shifted to Hierarchical Attribution (HA) for its ability to model feature interactions. Recent works model non-contiguous combinations with a time-costly greedy search in Eculidean spaces, neglecting underlying linguistic information in feature representations. In this work, we introduce a novel method, namely Poincar\'e Explanation (PE), for modeling feature interactions using hyperbolic spaces in an $O(n^2logn)$ time complexity. Inspired by Poincar\'e model, we propose a framework to project the embeddings into hyperbolic spaces, which exhibit better inductive biases for syntax and semantic hierarchical structures. Eventually, we prove that the hierarchical clustering process in the projected space could be viewed as building a minimum spanning tree and propose a time efficient algorithm. Experimental results demonstrate the effectiveness of our approach.
• Abstract（参考訳）: NLPにおけるディープラーニングモデルのブラックボックスの性質は、その広範な応用を妨げる。 研究の焦点は、特徴的相互作用をモデル化する能力のために階層的属性(HA)に移行した。 最近の研究は、エクリデアン空間における時間費用のかかる欲求探索と非連続的な組み合わせをモデル化し、特徴表現の根底にある言語情報を無視している。 本稿では,双曲空間を用いた特徴量相互作用を時間複雑性でモデル化する新しい手法,Poincar\'e Explanation (PE)を導入する。 Poincar\'eモデルにインスパイアされた我々は、構文や意味階層構造に対してより良い帰納バイアスを示す双曲空間への埋め込みを投影する枠組みを提案する。 最終的に、投影空間における階層的クラスタリングプロセスは、最小のスパンニングツリーの構築と見なすことができ、時間効率のアルゴリズムを提案する。 実験により,本手法の有効性が示された。

関連論文リスト

• Integrating Hierarchical Semantic into Iterative Generation Model for Entailment Tree Explanation [7.5496857647335585]
  本稿では,HiSCG (Controller-Generator) の枠組みに基づいて文の階層的意味論を統合するアーキテクチャを提案する。 提案手法はEntailmentBankデータセットの3つの設定で同等のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2024-09-26T11:46:58Z)
• GrootVL: Tree Topology is All You Need in State Space Model [66.36757400689281]
  GrootVLは、視覚的タスクとテキストタスクの両方に適用できる多目的マルチモーダルフレームワークである。 本手法は, 画像分類, オブジェクト検出, セグメンテーションにおいて, 既存の構造化状態空間モデルよりも大幅に優れる。 大規模言語モデルの微調整により,本手法は訓練コストの少ない複数のテキストタスクにおいて一貫した改善を実現する。
  論文  参考訳（メタデータ） (2024-06-04T15:09:29Z)
• $\text{H}^2\text{TNE}$: Temporal Heterogeneous Information Network Embedding in Hyperbolic Spaces [16.31067633778912]
  時間的HINに対する双曲的ヘテロジニアス時間ネットワーク埋め込みモデルを提案する。 具体的には、時間的かつ不均一に2重拘束されたランダムウォーク戦略を利用して、構造的および意味的な情報をキャプチャする。 実験の結果,本手法はSOTAモデルと比較して時間的リンク予測とノード分類に優れていた。
  論文  参考訳（メタデータ） (2023-04-14T07:39:52Z)
• Incorporating Constituent Syntax for Coreference Resolution [50.71868417008133]
  本稿では,構成構文構造をグラフベースで組み込む手法を提案する。 また、高次近傍情報を利用して構成木に富んだ構造をエンコードすることも検討する。 on the English and Chinese parts of OntoNotes 5.0 benchmark shows that our proposed model beats a strong baseline or a new-of-the-art performance。
  論文  参考訳（メタデータ） (2022-02-22T07:40:42Z)
• Clustering and Network Analysis for the Embedding Spaces of Sentences and Sub-Sentences [69.3939291118954]
  本稿では,文とサブ文の埋め込みを対象とする包括的クラスタリングとネットワーク解析について検討する。 その結果,1つの手法が最もクラスタリング可能な埋め込みを生成することがわかった。 一般に、スパン部分文の埋め込みは、原文よりもクラスタリング特性が優れている。
  論文  参考訳（メタデータ） (2021-10-02T00:47:35Z)
• R2D2: Recursive Transformer based on Differentiable Tree for Interpretable Hierarchical Language Modeling [36.61173494449218]
  本稿では, 構成過程をエミュレートするために, 微分可能なCKYスタイルのバイナリツリーに基づくモデルを提案する。 我々は、このアーキテクチャに対して双方向言語モデル事前学習の目的を拡張し、左右の抽象ノードを与えられた各単語を予測しようと試みる。 また,本手法を大規模化するために,合成ステップの線形数だけを符号化する効率的な伐採木誘導アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2021-07-02T11:00:46Z)
• A Comparative Study on Structural and Semantic Properties of Sentence Embeddings [77.34726150561087]
  本稿では,関係抽出に広く利用されている大規模データセットを用いた実験セットを提案する。 異なる埋め込み空間は、構造的および意味的特性に対して異なる強度を持つことを示す。 これらの結果は,埋め込み型関係抽出法の開発に有用な情報を提供する。
  論文  参考訳（メタデータ） (2020-09-23T15:45:32Z)
• Exploiting Syntactic Structure for Better Language Modeling: A Syntactic Distance Approach [78.77265671634454]
  我々はマルチタスクの目的、すなわち、モデルが単語を同時に予測し、また「シンタクティック距離」と呼ばれる形態で真実解析木を解析する。 Penn Treebank と Chinese Treebank のデータセットによる実験結果から,地上の真理解析木を追加の訓練信号として提供すると,そのモデルはより低いパープレキシティを実現し,より良い品質で木を誘導できることが示された。
  論文  参考訳（メタデータ） (2020-05-12T15:35:00Z)
• APo-VAE: Text Generation in Hyperbolic Space [116.11974607497986]
  本稿では,双曲型潜在空間におけるテキスト生成について検討し,連続的な階層表現を学習する。 適応型ポインケア可変オートエンコーダ (APo-VAE) を提示し, ポインケア球上における潜伏変数の事前および変動後部の両方を包み込み正規分布により定義する。 言語モデリングと対話応答生成における実験は,提案したAPo-VAEモデルの有効性を示す。
  論文  参考訳（メタデータ） (2020-04-30T19:05:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。