論文の概要: PEACH: Pretrained-embedding Explanation Across Contextual and Hierarchical Structure
- arxiv url: http://arxiv.org/abs/2404.13645v1
- Date: Sun, 21 Apr 2024 12:41:02 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-23 18:11:42.954835
- Title: PEACH: Pretrained-embedding Explanation Across Contextual and Hierarchical Structure
- Title(参考訳): PEACH: コンテキスト構造と階層構造をまたいだ事前拘束型説明
- Authors: Feiqi Cao, Caren Han, Hyunsuk Chung,
- Abstract要約: PEACHは、木に基づく人間解釈可能な方法で事前訓練されたコンテキスト埋め込みを用いて、テキストベースの文書がどのように分類されるかを説明することができる。
我々は,9つの異なるNLPテキスト分類ベンチマークにおいて,コンテキスト埋め込みを包括的に分析する。
人間の解釈可能な単語クラウドベース木を用いて,特徴選択とテキスト分類の重要傾向を可視化することで,説明の有用性を示す。
- 参考スコア(独自算出の注目度): 3.9677082086241433
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this work, we propose a novel tree-based explanation technique, PEACH (Pretrained-embedding Explanation Across Contextual and Hierarchical Structure), that can explain how text-based documents are classified by using any pretrained contextual embeddings in a tree-based human-interpretable manner. Note that PEACH can adopt any contextual embeddings of the PLMs as a training input for the decision tree. Using the proposed PEACH, we perform a comprehensive analysis of several contextual embeddings on nine different NLP text classification benchmarks. This analysis demonstrates the flexibility of the model by applying several PLM contextual embeddings, its attribute selections, scaling, and clustering methods. Furthermore, we show the utility of explanations by visualising the feature selection and important trend of text classification via human-interpretable word-cloud-based trees, which clearly identify model mistakes and assist in dataset debugging. Besides interpretability, PEACH outperforms or is similar to those from pretrained models.
- Abstract(参考訳): そこで本研究では,木をベースとした構文解析手法であるPEACH(Pretrained-embedding Explanation Across Contextual and Hierarchical Structure)を提案する。
PEACHは、決定ツリーのトレーニングインプットとして、PLMのコンテキスト埋め込みを利用できることに注意してください。
提案したPEACHを用いて,9つの異なるNLPテキスト分類ベンチマーク上で,コンテキスト埋め込みを包括的に解析する。
この分析は、複数のPLMコンテキスト埋め込み、属性の選択、スケーリング、クラスタリング手法を適用することにより、モデルの柔軟性を実証する。
さらに、人間の解釈可能な単語クラウドベースツリーを用いて、特徴選択と重要なテキスト分類の傾向を可視化し、モデルミスを明確に識別し、データセットのデバッギングを支援することで、説明の有用性を示す。
PEACHは解釈可能性の他に、事前訓練されたモデルよりも優れているか、あるいは類似している。
関連論文リスト
- Threads of Subtlety: Detecting Machine-Generated Texts Through Discourse
Motifs [20.462992218235623]
本稿は,人間によって書かれたテキストにおいて,識別可能な言語的特徴と独特な言語的特性を識別する調査について述べる。
我々は階層的な解析木とハイパーグラフを利用して、人間と機械生成テキストの両方で生成されたテキストに特有の談話パターンを明らかにする。
論文 参考訳(メタデータ) (2024-02-16T11:20:30Z) - Answer is All You Need: Instruction-following Text Embedding via
Answering the Question [41.727700155498546]
本稿では、入力テキストに関する質問として命令を扱い、予測された回答を符号化して表現を得る新しい視点を提供する。
具体的には,抽象的質問応答タスクの言語モデルのみを微調整することで,この組込み解答のアイデアをインスタンス化するInBedderを提案する。
論文 参考訳(メタデータ) (2024-02-15T01:02:41Z) - Scalable Learning of Latent Language Structure With Logical Offline
Cycle Consistency [71.42261918225773]
概念的には、LOCCOは、トレーニング対象のセマンティクスを使用してラベルなしテキストのアノテーションを生成する、自己学習の一形態と見なすことができる。
追加ボーナスとして、LOCCOによって生成されたアノテーションは、神経テキスト生成モデルをトレーニングするために自明に再利用することができる。
論文 参考訳(メタデータ) (2023-05-31T16:47:20Z) - CLIP4STR: A Simple Baseline for Scene Text Recognition with Pre-trained Vision-Language Model [55.321010757641524]
CLIP4STRは,CLIPのイメージエンコーダとテキストエンコーダ上に構築された,シンプルで効果的なSTRメソッドである。
モデルサイズ、事前トレーニングデータ、トレーニングデータの観点からCLIP4STRをスケールし、11のSTRベンチマークで最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2023-05-23T12:51:20Z) - A Multi-Grained Self-Interpretable Symbolic-Neural Model For
Single/Multi-Labeled Text Classification [29.075766631810595]
本稿では,テキストのクラスラベルを選挙区木から明示的に予測するシンボリック・ニューラルモデルを提案する。
構造化言語モデルが自己教師型で選挙区木を予測することを学ぶと、訓練データとして、原文と文レベルのラベルしか必要としない。
実験により,下流タスクにおける予測精度が向上できることが実証された。
論文 参考訳(メタデータ) (2023-03-06T03:25:43Z) - Classifying text using machine learning models and determining
conversation drift [4.785406121053965]
様々な種類のテキストの分析は、意味的意味と関連性の両方を理解するのに有用である。
テキスト分類は文書を分類する方法である。
コンピュータテキスト分類と自然言語処理を組み合わせて、テキストを集約して分析する。
論文 参考訳(メタデータ) (2022-11-15T18:09:45Z) - Autoregressive Structured Prediction with Language Models [73.11519625765301]
本稿では, PLM を用いた自己回帰的手法を用いて, モデル構造を行動列として記述する。
我々のアプローチは、私たちが見てきた全ての構造化予測タスクにおいて、新しい最先端を実現する。
論文 参考訳(メタデータ) (2022-10-26T13:27:26Z) - Textual Entailment Recognition with Semantic Features from Empirical
Text Representation [60.31047947815282]
テキストが仮説を包含するのは、仮説の真の価値がテキストに従う場合に限る。
本稿では,テキストと仮説のテキストの包含関係を同定する新しい手法を提案する。
本手法では,テキスト・ハイブリッド・ペア間の意味的含意関係を識別できる要素ワイド・マンハッタン距離ベクトルベースの特徴を用いる。
論文 参考訳(メタデータ) (2022-10-18T10:03:51Z) - A Unified Understanding of Deep NLP Models for Text Classification [88.35418976241057]
我々は、テキスト分類のためのNLPモデルの統一的な理解を可能にする視覚解析ツールDeepNLPVisを開発した。
主要なアイデアは相互情報に基づく尺度であり、モデルの各レイヤがサンプル内の入力語の情報をどのように保持するかを定量的に説明する。
コーパスレベル、サンプルレベル、単語レベルビジュアライゼーションで構成されるマルチレベルビジュアライゼーションは、全体トレーニングセットから個々のサンプルまでの分析をサポートする。
論文 参考訳(メタデータ) (2022-06-19T08:55:07Z) - Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods
in Natural Language Processing [78.8500633981247]
本稿では,自然言語処理における新たなパラダイムにおける研究成果の探索と整理を行う。
入力xを取り込んで出力yをP(y|x)として予測するようにモデルを訓練する従来の教師付き学習とは異なり、プロンプトベースの学習は直接テキストの確率をモデル化する言語モデルに基づいている。
論文 参考訳(メタデータ) (2021-07-28T18:09:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。