論文の概要: Building Interpretable Interaction Trees for Deep NLP Models

• arxiv url: http://arxiv.org/abs/2007.04298v2
• Date: Sat, 16 Jan 2021 15:07:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-15 13:27:38.317256
• Title: Building Interpretable Interaction Trees for Deep NLP Models
• Title（参考訳）: 深部NLPモデルのための解釈可能な相互作用木の構築
• Authors: Die Zhang, Huilin Zhou, Hao Zhang, Xiaoyi Bao, Da Huo, Ruizhao Chen, Xu Cheng, Mengyue Wu, Quanshi Zhang
• Abstract要約: 文中の成分間の相互作用の特性を解析するための6つの指標が提案されている。 本手法は,BERT,ELMo,LSTM,CNN,Transformerネットワーク内で符号化された単語の相互作用を定量化する。
• 参考スコア（独自算出の注目度）: 38.50154540331266
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper proposes a method to disentangle and quantify interactions among words that are encoded inside a DNN for natural language processing. We construct a tree to encode salient interactions extracted by the DNN. Six metrics are proposed to analyze properties of interactions between constituents in a sentence. The interaction is defined based on Shapley values of words, which are considered as an unbiased estimation of word contributions to the network prediction. Our method is used to quantify word interactions encoded inside the BERT, ELMo, LSTM, CNN, and Transformer networks. Experimental results have provided a new perspective to understand these DNNs, and have demonstrated the effectiveness of our method.
• Abstract（参考訳）: 本稿では,自然言語処理のためにDNN内で符号化された単語間の相互作用を解き、定量化する手法を提案する。 dnnによって抽出されたサルエント相互作用をエンコードする木を構築する。 文中の成分間の相互作用の特性を解析するための6つの指標が提案されている。 相互作用は単語のShapley値に基づいて定義され、これはネットワーク予測に対する単語の寄与の偏りのない推定と見なされる。 本手法は,BERT,ELMo,LSTM,CNN,Transformerネットワーク内で符号化された単語の相互作用を定量化する。 実験結果からこれらのDNNを理解するための新たな視点が得られ,本手法の有効性が示された。

関連論文リスト

• Defining and Extracting generalizable interaction primitives from DNNs [22.79131582164054]
  我々は、異なるディープニューラルネットワーク(DNN)で共有される相互作用を抽出する新しい方法を開発した。 実験により、抽出された相互作用は、異なるDNNが共有する共通知識をよりよく反映できることが示された。
  論文  参考訳（メタデータ） (2024-01-29T17:21:41Z)
• Explaining Interactions Between Text Spans [50.70253702800355]
  入力の異なる部分からのトークンのスパンに対する推論は、自然言語理解に不可欠である。 NLUタスク2つのタスク(NLIとFC)に対する人間間相互作用の説明データセットであるSpanExを紹介する。 次に,複数の微調整された大言語モデルの決定過程を,スパン間の相互接続の観点から検討する。
  論文  参考訳（メタデータ） (2023-10-20T13:52:37Z)
• Recognizing semantic relation in sentence pairs using Tree-RNNs and Typed dependencies [0.0]
  本研究では,依存性解析で同定された文法的関係型を用いた依存性ツリーRNN(DT-RNN)の改良を提案する。 SICKデータセットを用いた文対における意味関連性スコアリング(SRS)とテキストエンタテインメント(RTE)の認識実験は,有意な結果を示す。
  論文  参考訳（メタデータ） (2022-01-13T06:59:27Z)
• Explaining Neural Network Predictions on Sentence Pairs via Learning Word-Group Masks [21.16662651409811]
  入力テキストペアから相関語をグループ化して単語相関を暗黙的に検出するグループマスク(GMASK)手法を提案する。 提案手法は4つのデータセットにまたがる2つの異なるモデルアーキテクチャ (decomposable attention model と bert) を用いて評価した。
  論文  参考訳（メタデータ） (2021-04-09T17:14:34Z)
• Explaining and Improving Model Behavior with k Nearest Neighbor Representations [107.24850861390196]
  モデルの予測に責任のあるトレーニング例を特定するために, k 近傍表現を提案する。 我々は,kNN表現が学習した素因関係を明らかにするのに有効であることを示す。 以上の結果から,kNN手法により,直交モデルが逆入力に対してより堅牢であることが示唆された。
  論文  参考訳（メタデータ） (2020-10-18T16:55:25Z)
• Interpreting Multivariate Shapley Interactions in DNNs [33.67263820904767]
  本稿では,多変量相互作用の観点から,ディープニューラルネットワーク(DNN)を説明することを目的とする。 本稿では,DNNの複数入力変数間の相互作用の意義を定義し,定量化する。
  論文  参考訳（メタデータ） (2020-10-10T17:02:51Z)
• Combining word embeddings and convolutional neural networks to detect duplicated questions [0.0]
  本稿では,単語埋め込みと畳み込みニューラルネットワークの強みを組み合わせることで,意味論的に類似した質問を識別する簡単な手法を提案する。 私たちのネットワークは、400万以上の質問ペアを含むQuoraデータセットでトレーニングされています。
  論文  参考訳（メタデータ） (2020-06-08T12:30:25Z)
• Exploiting Syntactic Structure for Better Language Modeling: A Syntactic Distance Approach [78.77265671634454]
  我々はマルチタスクの目的、すなわち、モデルが単語を同時に予測し、また「シンタクティック距離」と呼ばれる形態で真実解析木を解析する。 Penn Treebank と Chinese Treebank のデータセットによる実験結果から,地上の真理解析木を追加の訓練信号として提供すると,そのモデルはより低いパープレキシティを実現し,より良い品質で木を誘導できることが示された。
  論文  参考訳（メタデータ） (2020-05-12T15:35:00Z)
• SkipGNN: Predicting Molecular Interactions with Skip-Graph Networks [70.64925872964416]
  分子間相互作用の予測のためのグラフニューラルネットワークSkipGNNを提案する。 SkipGNNは直接相互作用からの情報だけでなく、二階相互作用からも情報を収集することで分子間相互作用を予測する。 また,SkipGNNは,既存の手法を最大28.8%上回り,優れた,堅牢な性能を実現していることを示す。
  論文  参考訳（メタデータ） (2020-04-30T16:55:58Z)
• Linguistically Driven Graph Capsule Network for Visual Question Reasoning [153.76012414126643]
  我々は「言語的に駆動されるグラフカプセルネットワーク」と呼ばれる階層的構成推論モデルを提案する。 具体的には,各カプセルを最下層に結合させ,元の質問に1つの単語を埋め込んだ言語的埋め込みを視覚的証拠で橋渡しする。 CLEVRデータセット、CLEVR合成生成テスト、およびFinalQAデータセットの実験は、我々のエンドツーエンドモデルの有効性と構成一般化能力を示す。
  論文  参考訳（メタデータ） (2020-03-23T03:34:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。