論文の概要: Diagnosing Transformers in Task-Oriented Semantic Parsing
- arxiv url: http://arxiv.org/abs/2105.13496v1
- Date: Thu, 27 May 2021 23:08:53 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-31 13:41:08.785081
- Title: Diagnosing Transformers in Task-Oriented Semantic Parsing
- Title(参考訳): タスク指向意味解析におけるトランスフォーマーの診断
- Authors: Shrey Desai and Ahmed Aly
- Abstract要約: 本稿では,BARTとXLM-Rの2つの意味解析手法について検討する。
トランスフォーマーベースは、意図やスロットの曖昧さに苦しむが、驚くべきことに、構文的に有能なフレームの生成にも苦労する。
トランスフォーマーベースのスパンは、フレームが正しいか間違っているかを示す十分な指標を提供するので、プロダクション環境でのデプロイが容易になります。
- 参考スコア(独自算出の注目度): 3.5788754401889022
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Modern task-oriented semantic parsing approaches typically use seq2seq
transformers to map textual utterances to semantic frames comprised of intents
and slots. While these models are empirically strong, their specific strengths
and weaknesses have largely remained unexplored. In this work, we study BART
and XLM-R, two state-of-the-art parsers, across both monolingual and
multilingual settings. Our experiments yield several key results:
transformer-based parsers struggle not only with disambiguating intents/slots,
but surprisingly also with producing syntactically-valid frames. Though
pre-training imbues transformers with syntactic inductive biases, we find the
ambiguity of copying utterance spans into frames often leads to tree
invalidity, indicating span extraction is a major bottleneck for current
parsers. However, as a silver lining, we show transformer-based parsers give
sufficient indicators for whether a frame is likely to be correct or incorrect,
making them easier to deploy in production settings.
- Abstract(参考訳): 現代のタスク指向セマンティックパーシングアプローチでは、テキストの発話をインテントとスロットで構成されるセマンティックフレームにマッピングするために、Seq2seq変換を用いるのが一般的である。
これらのモデルは経験的に強いが、その特異な強みと弱みはほとんど未解明のままである。
本研究では,単言語と多言語の両方において,最先端のパーサであるbartとxlm-rについて検討した。
トランスフォーマーベースのパーサーは、曖昧な意図やスロットだけでなく、構文的に有意なフレームの生成にも苦労する。
構文的帰納的バイアスを持つimbuesトランスフォーマーの事前学習では,発話スパンをフレームにコピーする曖昧さがしばしば木の無効性につながり,スパン抽出が現在のパーサーにとって大きなボトルネックであることを示している。
しかし、銀のライニングとして、トランスフォーマーベースのパーサーは、フレームが正しいか間違っているかを示す十分な指標を与え、プロダクション環境でのデプロイを容易にする。
関連論文リスト
- Semantics of Multiword Expressions in Transformer-Based Models: A Survey [8.372465442144048]
MWE(Multiword Expression)は複数の単語からなり、構成度の変動を示す。
トランスモデルを用いたMWE処理の詳細な調査を行った。
その結果,MWEのセマンティクスは表面パターンや記憶情報に依存して不整合であることがわかった。
論文 参考訳(メタデータ) (2024-01-27T11:51:11Z) - Manifold-Preserving Transformers are Effective for Short-Long Range
Encoding [39.14128923434994]
マルチヘッドセルフアテンションベースのトランスフォーマーは、異なる学習タスクにおいて有望であることを示す。
本研究では,一対のトークン間の層間距離保存を理論的に保証するエンコーダモデルTransJectを提案する。
論文 参考訳(メタデータ) (2023-10-22T06:58:28Z) - The Expressive Power of Transformers with Chain of Thought [35.25166532364007]
実際には、トランスフォーマーの推論は、答える前に中間トークン列を生成および条件にすることで改善することができる。
答えはYESであるが、増加量は中間生成量に大きく依存する。
また, 線形ステップでは, コンテクストに敏感な言語に変換器デコーダを配置し, 解解時間問題のクラスを正確に認識させる。
論文 参考訳(メタデータ) (2023-10-11T22:35:18Z) - TranSFormer: Slow-Fast Transformer for Machine Translation [52.12212173775029]
本稿では,TrantextbfSFormerと呼ばれる2ストリーム学習モデルを提案する。
我々のTranSFormerは、複数の機械翻訳ベンチマークにおいて、BLEUの一貫性のある改善(BLEU点よりも大きい)を示す。
論文 参考訳(メタデータ) (2023-05-26T14:37:38Z) - Hierarchical Local-Global Transformer for Temporal Sentence Grounding [58.247592985849124]
本稿では,時間文グラウンドリングのマルチメディア問題について検討する。
与えられた文問合せに従って、トリミングされていないビデオ内の特定のビデオセグメントを正確に決定することを目的としている。
論文 参考訳(メタデータ) (2022-08-31T14:16:56Z) - Learning Multiscale Transformer Models for Sequence Generation [33.73729074207944]
単語境界情報と句レベルの事前知識に基づいて,スケール間の関係を確立することで,マルチスケールトランスフォーマーモデルを構築する。
特に、いくつかのテストセットにおいて、効率を犠牲にすることなく、強いベースラインに対して一貫したパフォーマンス向上を実現した。
論文 参考訳(メタデータ) (2022-06-19T07:28:54Z) - IA-RED$^2$: Interpretability-Aware Redundancy Reduction for Vision
Transformers [81.31885548824926]
自己注意型モデルであるTransformerは近年,コンピュータビジョン分野における主要なバックボーンになりつつある。
解釈可能性を考慮した冗長度低減フレームワーク(IA-RED$2$)を提案する。
画像タスクとビデオタスクの両方で広範囲に実験を行い、最大1.4倍のスピードアップを実現しました。
論文 参考訳(メタデータ) (2021-06-23T18:29:23Z) - Span Pointer Networks for Non-Autoregressive Task-Oriented Semantic
Parsing [55.97957664897004]
seq2seq、非自動回帰的、タスク指向を構築するための効果的なレシピは、3つのステップで発話とセマンティックフレームをマッピングする。
これらのモデルは通常、長さ予測によってボトルネックとなる。
本研究では,デコードタスクをテキスト生成からスパン予測へシフトさせる非自己回帰手法を提案する。
論文 参考訳(メタデータ) (2021-04-15T07:02:35Z) - Transformer visualization via dictionary learning: contextualized
embedding as a linear superposition of transformer factors [15.348047288817478]
我々は,変圧器因子の線形重ね合わせとして,辞書学習を用いて「ブラックボックス」を開くことを提案する。
可視化により,変換因子によって得られた階層的意味構造を実演する。
この視覚化ツールによって、トランスフォーマーネットワークの動作に関するさらなる知識と理解が得られればと思っています。
論文 参考訳(メタデータ) (2021-03-29T20:51:33Z) - VECO: Variable and Flexible Cross-lingual Pre-training for Language
Understanding and Generation [77.82373082024934]
我々はTransformerエンコーダにクロスアテンションモジュールを挿入し、言語間の相互依存を明確に構築する。
独自の言語でコンテキストにのみ条件付けされたマスク付き単語の予測の退化を効果的に回避することができる。
提案した言語間モデルでは,XTREMEベンチマークのさまざまな言語間理解タスクに対して,最先端の新たな結果が提供される。
論文 参考訳(メタデータ) (2020-10-30T03:41:38Z) - Is Supervised Syntactic Parsing Beneficial for Language Understanding?
An Empirical Investigation [71.70562795158625]
従来のNLPは、高レベルセマンティック言語理解(LU)の成功に必要な構文解析を長い間保持(教師付き)してきた。
近年のエンドツーエンドニューラルネットワークの出現、言語モデリング(LM)による自己監視、および幅広いLUタスクにおける成功は、この信念に疑問を投げかけている。
本研究では,LM-Pretrained Transformer Network の文脈における意味的LUに対する教師あり構文解析の有用性を実証的に検討する。
論文 参考訳(メタデータ) (2020-08-15T21:03:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。