Fugu-MT 論文翻訳(概要): Improving Interpretability via Explicit Word Interaction Graph Layer

論文の概要: Improving Interpretability via Explicit Word Interaction Graph Layer

arxiv url: http://arxiv.org/abs/2302.02016v1
Date: Fri, 3 Feb 2023 21:56:32 GMT
ステータス: 処理完了
システム内更新日: 2023-02-07 20:40:46.982762
Title: Improving Interpretability via Explicit Word Interaction Graph Layer
Title（参考訳）: 単語相互作用グラフ層による解釈性の向上
Authors: Arshdeep Sekhon, Hanjie Chen, Aman Shrivastava, Zhe Wang, Yangfeng Ji, Yanjun Qi
Abstract要約: 本稿では,単語間のグローバルな相互作用グラフを学習し,さらに情報的な単語を選択するトレーニング可能なニューラルネットワーク層を提案する。私たちのレイヤはWIGRAPHと呼ばれ、ワード埋め込みレイヤーのすぐ後に、ニューラルネットワークベースのNLPテキスト分類器をプラグインできます。
参考スコア（独自算出の注目度）: 28.28660926203816
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Recent NLP literature has seen growing interest in improving model interpretability. Along this direction, we propose a trainable neural network layer that learns a global interaction graph between words and then selects more informative words using the learned word interactions. Our layer, we call WIGRAPH, can plug into any neural network-based NLP text classifiers right after its word embedding layer. Across multiple SOTA NLP models and various NLP datasets, we demonstrate that adding the WIGRAPH layer substantially improves NLP models' interpretability and enhances models' prediction performance at the same time.
Abstract（参考訳）: 最近のNLP文献は、モデル解釈可能性の改善への関心が高まっている。この方向に沿って、トレーニング可能なニューラルネットワーク層を提案し、単語間のグローバルな相互作用グラフを学習し、学習した単語の相互作用を用いてより情報的な単語を選択する。私たちのレイヤはWIGRAPHと呼ばれ、ワード埋め込みレイヤーの直後にニューラルネットワークベースのNLPテキスト分類器をプラグインできます。複数のSOTA NLPモデルと様々なNLPデータセット間で、WIGRAPH層の追加はNLPモデルの解釈可能性を大幅に改善し、同時にモデルの予測性能を向上することを示した。

関連論文リスト

Deep Semantic Graph Learning via LLM based Node Enhancement [5.312946761836463]
大規模言語モデル(LLM)は、テキストセマンティクスを理解する上で優れた能力を示している。本稿では,グラフトランスフォーマーアーキテクチャとLLM拡張ノード機能を組み合わせた新しいフレームワークを提案する。
論文参考訳（メタデータ） (2025-02-11T21:55:46Z)
Improving vision-language alignment with graph spiking hybrid Networks [6.707524980629404]
本稿では,細粒度のセマンティックな特徴を生成するために,パノプティックセマンティック・セマンティック・セマンティクスの活用を必要とする包括的ビジュアルセマンティクス表現モジュールを提案する。視覚的セマンティック情報を符号化するために,SNNとGATの相補的な利点を統合したグラフスパイキングハイブリッドネットワーク(GSHN)を提案する。
論文参考訳（メタデータ） (2025-01-31T11:55:17Z)
Can Graph Neural Networks Learn Language with Extremely Weak Text Supervision? [62.12375949429938]
CLIPパイプラインによる転送可能なグラフニューラルネットワーク(GNN)の構築は、3つの根本的な問題のために難しい。我々は、マルチモーダル・プロンプト・ラーニングを利用して、事前学習したGNNを下流のタスクやデータに効果的に適応させる。我々の新しいパラダイムは、グラフプロンプトとテキストプロンプトの両方を同時に学習することで、Large Language Models(LLM)と直接同じ空間にグラフを埋め込む。
論文参考訳（メタデータ） (2024-12-11T08:03:35Z)
Improving Neuron-level Interpretability with White-box Language Models [11.898535906016907]
我々は、CRATE(Coding RAte TransformEr)という、ホワイトボックストランスフォーマーのようなアーキテクチャを導入する。包括的実験では、ニューロンレベルの解釈可能性において、顕著な改善(最大103%の相対的な改善)が見られた。 CRATEの解釈可能性の向上は、関連するトークンを一貫して一意に活性化する能力の強化によるものである。
論文参考訳（メタデータ） (2024-10-21T19:12:33Z)
Parameter-Efficient Tuning Large Language Models for Graph Representation Learning [62.26278815157628]
Graph-awareを導入します。 GPEFT - グラフ表現学習のための新しい手法。グラフニューラルネットワーク(GNN)を用いて、隣接するノードからグラフプロンプトに構造情報をエンコードする。我々は8つの異なるテキストリッチグラフで実施した総合的な実験を通じて,リンク予測評価において hit@1 と Mean Reciprocal Rank (MRR) の平均 2% の改善を観察し,本手法の有効性を検証した。
論文参考訳（メタデータ） (2024-04-28T18:36:59Z)
Disentangled Representation Learning with Large Language Models for Text-Attributed Graphs [57.052160123387104]
本稿では,TAGに対するLLMの推論と予測能力を向上させることができるDGTLモデルを提案する。提案するDGTLモデルでは, グラフ構造情報をGNN層に組み込む。実験により,提案したDGTLモデルにより,最先端のベースラインよりも優れた性能,あるいは同等の性能が得られることを示した。
論文参考訳（メタデータ） (2023-10-27T14:00:04Z)
Graph Neural Networks Provably Benefit from Structural Information: A Feature Learning Perspective [53.999128831324576]
グラフニューラルネットワーク(GNN)は、グラフ表現学習の先駆けとなった。本研究では,特徴学習理論の文脈におけるグラフ畳み込みの役割について検討する。
論文参考訳（メタデータ） (2023-06-24T10:21:11Z)
Leveraging Graph-based Cross-modal Information Fusion for Neural Sign Language Translation [46.825957917649795]
手話 (SL) は聴覚障害者の母語であり、ほとんどの人が理解できない特別な視覚言語である。動的グラフに基づくマルチモーダル特徴融合を用いたニューラルSLTモデルを提案する。我々はまず,マルチモーダル情報を融合したグラフニューラルネットワークをニューラルネットワーク翻訳モデルに導入した。
論文参考訳（メタデータ） (2022-11-01T15:26:22Z)
A Unified Understanding of Deep NLP Models for Text Classification [88.35418976241057]
我々は、テキスト分類のためのNLPモデルの統一的な理解を可能にする視覚解析ツールDeepNLPVisを開発した。主要なアイデアは相互情報に基づく尺度であり、モデルの各レイヤがサンプル内の入力語の情報をどのように保持するかを定量的に説明する。コーパスレベル、サンプルレベル、単語レベルビジュアライゼーションで構成されるマルチレベルビジュアライゼーションは、全体トレーニングセットから個々のサンプルまでの分析をサポートする。
論文参考訳（メタデータ） (2022-06-19T08:55:07Z)
Graph Neural Networks for Natural Language Processing: A Survey [64.36633422999905]
本稿では,自然言語処理のためのグラフニューラルネットワーク(GNN)について概観する。我々は,グラフ構築,グラフ表現学習,グラフベースエンコーダ・デコーダモデルという3つの軸に沿って,NLP用GNNの既存の研究を組織する,NLP用GNNの新しい分類法を提案する。
論文参考訳（メタデータ） (2021-06-10T23:59:26Z)
How transfer learning impacts linguistic knowledge in deep NLP models? [22.035813865470956]
ディープNLPモデルは、モデルの異なる層でキャプチャされた、非自明な量の言語知識を学習する。下流のNLPタスクに対する微調整が学習言語知識に与える影響について検討する。
論文参考訳（メタデータ） (2021-05-31T17:43:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。