Fugu-MT 論文翻訳(概要): Improving Interpretability via Explicit Word Interaction Graph Layer

論文の概要: Improving Interpretability via Explicit Word Interaction Graph Layer

arxiv url: http://arxiv.org/abs/2302.02016v1
Date: Fri, 3 Feb 2023 21:56:32 GMT
ステータス: 処理完了
システム内更新日: 2023-02-07 20:40:46.982762
Title: Improving Interpretability via Explicit Word Interaction Graph Layer
Title（参考訳）: 単語相互作用グラフ層による解釈性の向上
Authors: Arshdeep Sekhon, Hanjie Chen, Aman Shrivastava, Zhe Wang, Yangfeng Ji, Yanjun Qi
Abstract要約: 本稿では,単語間のグローバルな相互作用グラフを学習し,さらに情報的な単語を選択するトレーニング可能なニューラルネットワーク層を提案する。私たちのレイヤはWIGRAPHと呼ばれ、ワード埋め込みレイヤーのすぐ後に、ニューラルネットワークベースのNLPテキスト分類器をプラグインできます。
参考スコア（独自算出の注目度）: 28.28660926203816
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Recent NLP literature has seen growing interest in improving model interpretability. Along this direction, we propose a trainable neural network layer that learns a global interaction graph between words and then selects more informative words using the learned word interactions. Our layer, we call WIGRAPH, can plug into any neural network-based NLP text classifiers right after its word embedding layer. Across multiple SOTA NLP models and various NLP datasets, we demonstrate that adding the WIGRAPH layer substantially improves NLP models' interpretability and enhances models' prediction performance at the same time.
Abstract（参考訳）: 最近のNLP文献は、モデル解釈可能性の改善への関心が高まっている。この方向に沿って、トレーニング可能なニューラルネットワーク層を提案し、単語間のグローバルな相互作用グラフを学習し、学習した単語の相互作用を用いてより情報的な単語を選択する。私たちのレイヤはWIGRAPHと呼ばれ、ワード埋め込みレイヤーの直後にニューラルネットワークベースのNLPテキスト分類器をプラグインできます。複数のSOTA NLPモデルと様々なNLPデータセット間で、WIGRAPH層の追加はNLPモデルの解釈可能性を大幅に改善し、同時にモデルの予測性能を向上することを示した。

関連論文リスト

Graph-Augmented Relation Extraction Model with LLMs-Generated Support Document [7.0421339410165045]
本研究では,文レベルの関係抽出(RE)に対する新しいアプローチを提案する。グラフニューラルネットワーク(GNN)とLarge Language Models(LLM)を統合し、コンテキストに富んだサポートドキュメントを生成する。そこで,CrossREデータセットを用いて実験を行い,本手法の有効性を実証した。
論文参考訳（メタデータ） (2024-10-30T20:48:34Z)
Improving Neuron-level Interpretability with White-box Language Models [11.898535906016907]
我々は、CRATE(Coding RAte TransformEr)という、ホワイトボックストランスフォーマーのようなアーキテクチャを導入する。包括的実験では、ニューロンレベルの解釈可能性において、顕著な改善(最大103%の相対的な改善)が見られた。 CRATEの解釈可能性の向上は、関連するトークンを一貫して一意に活性化する能力の強化によるものである。
論文参考訳（メタデータ） (2024-10-21T19:12:33Z)
Parameter-Efficient Tuning Large Language Models for Graph Representation Learning [62.26278815157628]
Graph-awareを導入します。 GPEFT - グラフ表現学習のための新しい手法。グラフニューラルネットワーク(GNN)を用いて、隣接するノードからグラフプロンプトに構造情報をエンコードする。我々は8つの異なるテキストリッチグラフで実施した総合的な実験を通じて,リンク予測評価において hit@1 と Mean Reciprocal Rank (MRR) の平均 2% の改善を観察し,本手法の有効性を検証した。
論文参考訳（メタデータ） (2024-04-28T18:36:59Z)
Disentangled Representation Learning with Large Language Models for Text-Attributed Graphs [57.052160123387104]
本稿では,TAGに対するLLMの推論と予測能力を向上させることができるDGTLモデルを提案する。提案するDGTLモデルでは, グラフ構造情報をGNN層に組み込む。実験により,提案したDGTLモデルにより,最先端のベースラインよりも優れた性能,あるいは同等の性能が得られることを示した。
論文参考訳（メタデータ） (2023-10-27T14:00:04Z)
Graph Neural Networks Provably Benefit from Structural Information: A Feature Learning Perspective [53.999128831324576]
グラフニューラルネットワーク(GNN)は、グラフ表現学習の先駆けとなった。本研究では,特徴学習理論の文脈におけるグラフ畳み込みの役割について検討する。
論文参考訳（メタデータ） (2023-06-24T10:21:11Z)
Scalable Learning of Latent Language Structure With Logical Offline Cycle Consistency [71.42261918225773]
概念的には、LOCCOは、トレーニング対象のセマンティクスを使用してラベルなしテキストのアノテーションを生成する、自己学習の一形態と見なすことができる。追加ボーナスとして、LOCCOによって生成されたアノテーションは、神経テキスト生成モデルをトレーニングするために自明に再利用することができる。
論文参考訳（メタデータ） (2023-05-31T16:47:20Z)
Leveraging Graph-based Cross-modal Information Fusion for Neural Sign Language Translation [46.825957917649795]
手話 (SL) は聴覚障害者の母語であり、ほとんどの人が理解できない特別な視覚言語である。動的グラフに基づくマルチモーダル特徴融合を用いたニューラルSLTモデルを提案する。我々はまず,マルチモーダル情報を融合したグラフニューラルネットワークをニューラルネットワーク翻訳モデルに導入した。
論文参考訳（メタデータ） (2022-11-01T15:26:22Z)
A semantic hierarchical graph neural network for text classification [1.439766998338892]
本稿では,単語レベル,文レベル,文書レベルから対応する情報をそれぞれ抽出する階層型グラフニューラルネットワーク(HieGNN)を提案する。いくつかのベンチマークデータセットの実験結果は、いくつかのベースライン手法と比較して、より良い、または類似した結果が得られる。
論文参考訳（メタデータ） (2022-09-15T03:59:31Z)
A Unified Understanding of Deep NLP Models for Text Classification [88.35418976241057]
我々は、テキスト分類のためのNLPモデルの統一的な理解を可能にする視覚解析ツールDeepNLPVisを開発した。主要なアイデアは相互情報に基づく尺度であり、モデルの各レイヤがサンプル内の入力語の情報をどのように保持するかを定量的に説明する。コーパスレベル、サンプルレベル、単語レベルビジュアライゼーションで構成されるマルチレベルビジュアライゼーションは、全体トレーニングセットから個々のサンプルまでの分析をサポートする。
論文参考訳（メタデータ） (2022-06-19T08:55:07Z)
Graph Neural Networks for Natural Language Processing: A Survey [64.36633422999905]
本稿では,自然言語処理のためのグラフニューラルネットワーク(GNN)について概観する。我々は,グラフ構築,グラフ表現学習,グラフベースエンコーダ・デコーダモデルという3つの軸に沿って,NLP用GNNの既存の研究を組織する,NLP用GNNの新しい分類法を提案する。
論文参考訳（メタデータ） (2021-06-10T23:59:26Z)
How transfer learning impacts linguistic knowledge in deep NLP models? [22.035813865470956]
ディープNLPモデルは、モデルの異なる層でキャプチャされた、非自明な量の言語知識を学習する。下流のNLPタスクに対する微調整が学習言語知識に与える影響について検討する。
論文参考訳（メタデータ） (2021-05-31T17:43:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。