Fugu-MT 論文翻訳(概要): On the Role of Pre-trained Language Models in Word Ordering: A Case Study with BART

論文の概要: On the Role of Pre-trained Language Models in Word Ordering: A Case Study with BART

arxiv url: http://arxiv.org/abs/2204.07367v1
Date: Fri, 15 Apr 2022 08:03:35 GMT
ステータス: 処理完了
システム内更新日: 2022-04-18 20:34:04.044746
Title: On the Role of Pre-trained Language Models in Word Ordering: A Case Study with BART
Title（参考訳）: 単語順序付けにおける事前学習言語モデルの役割について:BARTを事例として
Authors: Zebin Ou, Meishan Zhang and Yue Zhang
Abstract要約: 私たちは、BARTをインスタンスとして使用し、そのタスクの有効性を示します。 BARTが単語の順序付けに役立つ理由を説明するために,BARTにおける構文依存知識が信頼性のある説明であることを示す。
参考スコア（独自算出の注目度）: 21.16237114647959
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Word ordering is a constrained language generation task taking unordered words as input. Existing work uses linear models and neural networks for the task, yet pre-trained language models have not been studied in word ordering, let alone why they help. We use BART as an instance and show its effectiveness in the task. To explain why BART helps word ordering, we extend analysis with probing and empirically identify that syntactic dependency knowledge in BART is a reliable explanation. We also report performance gains with BART in the related partial tree linearization task, which readily extends our analysis.
Abstract（参考訳）: 単語順序付けは制約付き言語生成タスクであり、非順序付き単語を入力とする。既存の作業では、タスクに線形モデルとニューラルネットワークが使用されているが、事前訓練された言語モデルは、なぜそれが助けになるのかは言うまでもなく、単語順序付けでは研究されていない。 BARTをインスタンスとして使用し、そのタスクの有効性を示す。 BARTが単語の順序付けに役立つ理由を説明するために,BARTにおける構文依存知識が信頼性のある説明であることを示す。また,関連する部分木線形化タスクにおけるBARTの性能向上について報告する。

関連論文リスト

BoolQuestions: Does Dense Retrieval Understand Boolean Logic in Language? [88.29075896295357]
まず,現在の検索システムが,言語に暗示されるブール論理を理解できるかを検討する。広範な実験結果から,現在の高密度検索システムはブール論理を十分に理解していないという結論を導いた。本研究では,研究コミュニティの強力な基盤となるコントラスト的連続学習手法を提案する。
論文参考訳（メタデータ） (2024-11-19T05:19:53Z)
Reasoning in Transformers - Mitigating Spurious Correlations and Reasoning Shortcuts [1.024113475677323]
トランスフォーマー言語モデル(Transformer Language Model)は、自然言語に関する様々なタスクに使用されるニューラルネットワークである。命題論理における推論を近似するために,変換器の学習範囲について検討する。 We found that SIP-BART is successfully to avoiding reasoning shortcuts, while WP-BART does not。
論文参考訳（メタデータ） (2024-03-17T19:32:12Z)
DictBERT: Dictionary Description Knowledge Enhanced Language Model Pre-training via Contrastive Learning [18.838291575019504]
事前訓練された言語モデル(PLM)は、知識駆動タスクを扱う際に知識が不足していることが示されている。辞書知識で PLM を強化する新しい手法である textbfDictBERT を提案する。我々は、NER、関係抽出、CommonsenseQA、OpenBookQA、GLUEなど、さまざまな知識駆動型および言語理解タスクに対するアプローチを評価した。
論文参考訳（メタデータ） (2022-08-01T06:43:19Z)
Getting BART to Ride the Idiomatic Train: Learning to Represent Idiomatic Expressions [11.584388304271027]
非合成性によって特徴づけられる慣用的表現(IE)は、自然言語の重要な部分である。以前の研究は、基礎となる構成的表現パラダイムから生じる文脈化された表現の欠陥を特定してきた。我々は, 慣用文を訓練した軽量な非構成言語エキスパートとして, アダプタを用いて, BARTに慣用性を構築するための第一原理的アプローチを採っている。
論文参考訳（メタデータ） (2022-07-08T04:05:19Z)
ORCA: Interpreting Prompted Language Models via Locating Supporting Data Evidence in the Ocean of Pretraining Data [38.20984369410193]
大規模な事前訓練された言語モデルは、プロンプトを通じて様々な下流タスクにおいて、ますますよく機能している。モデルがタスク固有の知識を、特にゼロショット設定でどこで学習するかは、まだ不明である。この研究では、モデルが事前学習からタスク固有の能力を示す証拠を見つけ、特に事前学習データのごく小さなサブセットを見つけることに興味がある。
論文参考訳（メタデータ） (2022-05-25T09:25:06Z)
Disentangling Semantics and Syntax in Sentence Embeddings with Pre-trained Language Models [32.003787396501075]
ParaBARTは、予め訓練された言語モデルによって得られる文埋め込みにおける意味論と構文を解き放つことを学ぶ意味論文埋め込みモデルである。 ParaBARTは、ターゲットのパラフレーズとセマンティクスを共有するソース文と、ターゲットの構文を指定するパースツリーに基づいて、構文誘導のパラフレーズを実行するように訓練されている。
論文参考訳（メタデータ） (2021-04-11T21:34:46Z)
ERICA: Improving Entity and Relation Understanding for Pre-trained Language Models via Contrastive Learning [97.10875695679499]
そこで本研究では, ERICA という新たなコントラスト学習フレームワークを提案し, エンティティとその関係をテキストでより深く理解する。実験の結果,提案する erica フレームワークは文書レベルの言語理解タスクにおいて一貫した改善を実現することがわかった。
論文参考訳（メタデータ） (2020-12-30T03:35:22Z)
Understanding Pre-trained BERT for Aspect-based Sentiment Analysis [71.40586258509394]
本稿では、アスペクトベース感情分析(ABSA)におけるタスクに対するBERTのレビューから得られた事前学習された隠れ表現について分析する。アスペクトや意見のアノテーションなしでラベル付けされていないコーパスでトレーニングされた(マスクされた)言語モデルの一般的なプロキシタスクが、ABSAの下流タスクにどのように重要な機能を提供するかは明らかではない。
論文参考訳（メタデータ） (2020-10-31T02:21:43Z)
KG-BART: Knowledge Graph-Augmented BART for Generative Commonsense Reasoning [78.81080813406177]
本稿では,学習前言語生成モデルKG-BARTを改良した知識グラフを提案する。 KG-BARTは知識グラフを通じて概念の複雑な関係を包含し、より論理的で自然な文を出力として生成する。
論文参考訳（メタデータ） (2020-09-26T19:57:49Z)
TOD-BERT: Pre-trained Natural Language Understanding for Task-Oriented Dialogue [113.45485470103762]
本研究では,言語モデリングのためのタスク指向対話データセットを,人間とマルチターンの9つに統合する。事前学習時の対話動作をモデル化するために,ユーザトークンとシステムトークンをマスク付き言語モデルに組み込む。
論文参考訳（メタデータ） (2020-04-15T04:09:05Z)
Multilingual Alignment of Contextual Word Representations [49.42244463346612]
BERTはXNLIのゼロショット性能をベースモデルに比べて大幅に改善した。単語検索の文脈バージョンを導入し、下流のゼロショット転送とよく相関していることを示す。これらの結果は、大規模多言語事前学習モデルの理解に有用な概念としてコンテキストアライメントをサポートする。
論文参考訳（メタデータ） (2020-02-10T03:27:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。