Fugu-MT 論文翻訳(概要): Combining Transformers with Natural Language Explanations

論文の概要: Combining Transformers with Natural Language Explanations

arxiv url: http://arxiv.org/abs/2110.00125v3
Date: Wed, 3 Apr 2024 12:01:46 GMT
ステータス: 処理完了
システム内更新日: 2024-04-05 21:01:43.251007
Title: Combining Transformers with Natural Language Explanations
Title（参考訳）: 変圧器と自然言語説明の組み合わせ
Authors: Federico Ruggeri, Marco Lippi, Paolo Torroni,
Abstract要約: 本稿では,外部記憶を利用して自然言語記述を記憶し,それらを分類結果の説明に利用するトランスフォーマーモデルの拡張を提案する。法的なテキスト分析と議論マイニングという2つの領域を実験的に評価し,分類性能を維持したり改善したりしながら,本手法が関連する説明を得られることを示す。
参考スコア（独自算出の注目度）: 13.167758466408825
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: Many NLP applications require models to be interpretable. However, many successful neural architectures, including transformers, still lack effective interpretation methods. A possible solution could rely on building explanations from domain knowledge, which is often available as plain, natural language text. We thus propose an extension to transformer models that makes use of external memories to store natural language explanations and use them to explain classification outputs. We conduct an experimental evaluation on two domains, legal text analysis and argument mining, to show that our approach can produce relevant explanations while retaining or even improving classification performance.
Abstract（参考訳）: 多くのNLPアプリケーションは解釈可能なモデルを必要とする。しかし、変圧器を含む多くの成功したニューラルアーキテクチャは、依然として効果的な解釈方法が欠如している。可能な解決策は、ドメイン知識から説明を構築することに依存する可能性がある。そこで本稿では,外部記憶を用いて自然言語記述を格納し,それらを用いて分類出力を説明するトランスフォーマーモデルの拡張を提案する。法的なテキスト分析と議論マイニングという2つの領域を実験的に評価し,分類性能を維持したり改善したりしながら,本手法が関連する説明を得られることを示す。

関連論文リスト

Explaining Text Similarity in Transformer Models [52.571158418102584]
説明可能なAIの最近の進歩により、トランスフォーマーの説明の改善を活用することで、制限を緩和できるようになった。両線形類似性モデルにおける2次説明の計算のために開発された拡張であるBiLRPを用いて、NLPモデルにおいてどの特徴相互作用が類似性を促進するかを調べる。我々の発見は、異なる意味的類似性タスクやモデルに対するより深い理解に寄与し、新しい説明可能なAIメソッドが、どのようにして深い分析とコーパスレベルの洞察を可能にするかを強調した。
論文参考訳（メタデータ） (2024-05-10T17:11:31Z)
A Transformer with Stack Attention [84.18399019794036]
本稿では,変圧器をベースとした言語モデルの拡張手法を提案する。我々のスタックベースのアテンションメカニズムは、トランスフォーマーベースの言語モデルに組み込むことができ、モデルに解釈可能性のレベルを追加することができる。スタックベースのアテンション機構の追加により、トランスフォーマーは、決定論的文脈自由言語をモデル化できるが、全てではない。
論文参考訳（メタデータ） (2024-05-07T17:47:57Z)
Probabilistic Transformer: A Probabilistic Dependency Model for Contextual Word Representation [52.270712965271656]
本稿では,文脈表現の新しいモデルを提案する。モデルのグラフは変換器に似ており、依存関係と自己意識の対応性がある。実験により,本モデルが小型・中型データセットのトランスフォーマーと競合することを示す。
論文参考訳（メタデータ） (2023-11-26T06:56:02Z)
Linearity of Relation Decoding in Transformer Language Models [82.47019600662874]
トランスフォーマー言語モデル(LM)で符号化された知識の多くは、関係性の観点から表現することができる。関係のサブセットに対して、この計算は対象表現上の1つの線形変換によってよく近似されることを示す。
論文参考訳（メタデータ） (2023-08-17T17:59:19Z)
Structural Biases for Improving Transformers on Translation into Morphologically Rich Languages [120.74406230847904]
TP-Transformerは従来のTransformerアーキテクチャを拡張し、構造を表現するコンポーネントを追加する。第2の方法は、形態的トークン化でデータをセグメント化することで、データレベルで構造を付与する。これらの2つのアプローチのそれぞれが、ネットワークがより良いパフォーマンスを達成することを可能にすることは分かっていますが、この改善はデータセットのサイズに依存します。
論文参考訳（メタデータ） (2022-08-11T22:42:24Z)
Syntax-informed Question Answering with Heterogeneous Graph Transformer [2.139714421848487]
本稿では、事前学習されたニューラルネットワークモデルを拡張し、微調整する言語インフォームド質問応答手法を提案する。本稿では,トークンと仮想トークンを接続する依存関係グラフ構造と領域グラフィック構造という形で,構文情報の追加によるアプローチについて説明する。
論文参考訳（メタデータ） (2022-04-01T07:48:03Z)
Transformer Grammars: Augmenting Transformer Language Models with Syntactic Inductive Biases at Scale [31.293175512404172]
Transformer Grammarsは、Transformerの表現力、スケーラビリティ、強力なパフォーマンスを組み合わせたTransformer言語モデルのクラスです。また, Transformer Grammars は, 構文に敏感な言語モデリング評価指標において, 各種の強力なベースラインを上回ります。
論文参考訳（メタデータ） (2022-03-01T17:22:31Z)
$\partial$-Explainer: Abductive Natural Language Inference via Differentiable Convex Optimization [2.624902795082451]
本稿では,Deep Neural Networkの一部として制約付き最適化をキャストすることにより,両世界の長所を組み合わせた$partial$-Explainer(Diff-Explainer)という新しいフレームワークを提案する。我々の実験は、その推論をサポートするための説明を提供しながら、非微分型解法よりも約10%高い改善率を示しました。
論文参考訳（メタデータ） (2021-05-07T17:49:19Z)
Flexible Operations for Natural Language Deduction [32.92866195461153]
ParaPatternは、人間の直接の監督なしに様々な自然言語入力の論理変換を生成するモデルを構築する方法である。我々は、BARTベースのモデルを用いて、特定の論理演算を1つ以上の前提文に適用した結果を生成する。対象とするコントラストセットと、qascデータセットからのドメイン外文合成を用いてモデルを評価する。
論文参考訳（メタデータ） (2021-04-18T11:36:26Z)
SML: a new Semantic Embedding Alignment Transformer for efficient cross-lingual Natural Language Inference [71.57324258813674]
トランスフォーマーが質問応答、自然言語推論(NLI)、要約といった様々なタスクを精度良く実行できることは、現在この種のタスクに対処するための最良のパラダイムの1つとしてランク付けすることができる。 nliは、複雑な文を理解するための知識が必要であり、仮説と前提の関係を確立するため、これらのアーキテクチャをテストする最良のシナリオの1つである。本稿では,自然言語推論のための多言語組込みを効率的にアライメントするための新しいアーキテクチャ siamese multilingual transformer を提案する。
論文参考訳（メタデータ） (2021-03-17T13:23:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。