論文の概要: PE: A Poincare Explanation Method for Fast Text Hierarchy Generation
- arxiv url: http://arxiv.org/abs/2403.16554v1
- Date: Mon, 25 Mar 2024 09:04:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-26 15:18:23.218638
- Title: PE: A Poincare Explanation Method for Fast Text Hierarchy Generation
- Title(参考訳): PE:高速テキスト階層生成のためのポインケア記述法
- Authors: Qian Chen, Xiaofeng He, Hongzhao Li, Hongyu Yi,
- Abstract要約: 我々は,O(n2logn)$時間複雑性における双曲空間を用いた特徴量相互作用をモデル化するための新しい手法,すなわち Poincar'e Explanation (PE) を導入する。
Poincarのモデルに触発されて、双曲空間への埋め込みを投影するフレームワークを提案し、構文やセマンティック階層構造に対してより優れた帰納バイアスを示す。
- 参考スコア(独自算出の注目度): 11.874019834347102
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The black-box nature of deep learning models in NLP hinders their widespread application. The research focus has shifted to Hierarchical Attribution (HA) for its ability to model feature interactions. Recent works model non-contiguous combinations with a time-costly greedy search in Eculidean spaces, neglecting underlying linguistic information in feature representations. In this work, we introduce a novel method, namely Poincar\'e Explanation (PE), for modeling feature interactions using hyperbolic spaces in an $O(n^2logn)$ time complexity. Inspired by Poincar\'e model, we propose a framework to project the embeddings into hyperbolic spaces, which exhibit better inductive biases for syntax and semantic hierarchical structures. Eventually, we prove that the hierarchical clustering process in the projected space could be viewed as building a minimum spanning tree and propose a time efficient algorithm. Experimental results demonstrate the effectiveness of our approach.
- Abstract(参考訳): NLPにおけるディープラーニングモデルのブラックボックスの性質は、その広範な応用を妨げる。
研究の焦点は、特徴的相互作用をモデル化する能力のために階層的属性(HA)に移行した。
最近の研究は、エクリデアン空間における時間費用のかかる欲求探索と非連続的な組み合わせをモデル化し、特徴表現の根底にある言語情報を無視している。
本稿では,双曲空間を用いた特徴量相互作用を時間複雑性でモデル化する新しい手法,Poincar\'e Explanation (PE)を導入する。
Poincar\'eモデルにインスパイアされた我々は、構文や意味階層構造に対してより良い帰納バイアスを示す双曲空間への埋め込みを投影する枠組みを提案する。
最終的に、投影空間における階層的クラスタリングプロセスは、最小のスパンニングツリーの構築と見なすことができ、時間効率のアルゴリズムを提案する。
実験により,本手法の有効性が示された。
関連論文リスト
- generAItor: Tree-in-the-Loop Text Generation for Language Model
Explainability and Adaptation [28.715001906405362]
大規模言語モデル(LLM)は、自動補完、補助的な書き込み、チャットベースのテキスト生成など、様々な下流タスクに広くデプロイされている。
本稿では,ビーム探索ツリーの視覚的表現を解析,説明,適応する中心的な要素とする,ループ内ツリーのアプローチを提案することで,この欠点に対処する。
視覚解析技術であるGenerAItorを,タスク固有のウィジェットで中央ビーム探索木を拡大し,ターゲットとした可視化とインタラクションの可能性を提供する。
論文 参考訳(メタデータ) (2024-03-12T13:09:15Z) - Feature Interactions Reveal Linguistic Structure in Language Models [2.0178765779788495]
本研究では,ポストホック解釈における特徴帰属手法の文脈における特徴的相互作用について検討した。
私たちは、正規言語分類タスクで完璧にモデルをトレーニングする灰色のボックスの方法論を開発します。
特定の構成下では、いくつかの手法が実際にモデルが獲得した文法規則を明らかにすることができることを示す。
論文 参考訳(メタデータ) (2023-06-21T11:24:41Z) - Schema-aware Reference as Prompt Improves Data-Efficient Knowledge Graph
Construction [57.854498238624366]
本稿では,データ効率のよい知識グラフ構築のためのRAP(Schema-Aware Reference As Prompt)の検索手法を提案する。
RAPは、人間の注釈付きおよび弱教師付きデータから受け継いだスキーマと知識を、各サンプルのプロンプトとして動的に活用することができる。
論文 参考訳(メタデータ) (2022-10-19T16:40:28Z) - Toward an Over-parameterized Direct-Fit Model of Visual Perception [5.4823225815317125]
本稿では, 単純細胞と複雑細胞の並列結合機構と逐次結合機構の相違について述べる。
空間分割と合成に抽象化する新たな提案が提案されている。
我々は、$ell_infty$-optimizationに基づいて、動的プログラミング(DP)のような近似近傍探索を実現する方法を示す。
論文 参考訳(メタデータ) (2022-10-07T23:54:30Z) - Low-Rank Constraints for Fast Inference in Structured Models [110.38427965904266]
この研究は、大規模構造化モデルの計算とメモリの複雑さを低減するための単純なアプローチを示す。
言語モデリング,ポリフォニック・ミュージック・モデリング,教師なし文法帰納法,ビデオ・モデリングのためのニューラルパラメータ構造モデルを用いた実験により,我々の手法は大規模状態空間における標準モデルの精度と一致することを示した。
論文 参考訳(メタデータ) (2022-01-08T00:47:50Z) - Combining Latent Space and Structured Kernels for Bayesian Optimization
over Combinatorial Spaces [27.989924313988016]
我々は、高価なブラックボックス関数評価を用いて、空間(シーケンス、ツリー、グラフなど)を最適化する問題を考察する。
空間に対する最近のBOアプローチは、構造体の潜在表現を学習することで連続空間上のBOへの還元である。
本稿では,この欠点を克服するための原則的アプローチであるLADDERを提案する。
論文 参考訳(メタデータ) (2021-11-01T18:26:22Z) - Exploiting Syntactic Structure for Better Language Modeling: A Syntactic
Distance Approach [78.77265671634454]
我々はマルチタスクの目的、すなわち、モデルが単語を同時に予測し、また「シンタクティック距離」と呼ばれる形態で真実解析木を解析する。
Penn Treebank と Chinese Treebank のデータセットによる実験結果から,地上の真理解析木を追加の訓練信号として提供すると,そのモデルはより低いパープレキシティを実現し,より良い品質で木を誘導できることが示された。
論文 参考訳(メタデータ) (2020-05-12T15:35:00Z) - APo-VAE: Text Generation in Hyperbolic Space [116.11974607497986]
本稿では,双曲型潜在空間におけるテキスト生成について検討し,連続的な階層表現を学習する。
適応型ポインケア可変オートエンコーダ (APo-VAE) を提示し, ポインケア球上における潜伏変数の事前および変動後部の両方を包み込み正規分布により定義する。
言語モデリングと対話応答生成における実験は,提案したAPo-VAEモデルの有効性を示す。
論文 参考訳(メタデータ) (2020-04-30T19:05:41Z) - Linguistically Driven Graph Capsule Network for Visual Question
Reasoning [153.76012414126643]
我々は「言語的に駆動されるグラフカプセルネットワーク」と呼ばれる階層的構成推論モデルを提案する。
具体的には,各カプセルを最下層に結合させ,元の質問に1つの単語を埋め込んだ言語的埋め込みを視覚的証拠で橋渡しする。
CLEVRデータセット、CLEVR合成生成テスト、およびFinalQAデータセットの実験は、我々のエンドツーエンドモデルの有効性と構成一般化能力を示す。
論文 参考訳(メタデータ) (2020-03-23T03:34:25Z) - How Far are We from Effective Context Modeling? An Exploratory Study on
Semantic Parsing in Context [59.13515950353125]
文法に基づく意味解析を行い,その上に典型的な文脈モデリング手法を適用する。
我々は,2つの大きなクロスドメインデータセットに対して,13のコンテキストモデリング手法を評価した。
論文 参考訳(メタデータ) (2020-02-03T11:28:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。