Fugu-MT 論文翻訳(概要): BERT4SO: Neural Sentence Ordering by Fine-tuning BERT

論文の概要: BERT4SO: Neural Sentence Ordering by Fine-tuning BERT

arxiv url: http://arxiv.org/abs/2103.13584v1
Date: Thu, 25 Mar 2021 03:32:32 GMT
ステータス: 処理完了
システム内更新日: 2021-03-26 13:43:02.549240
Title: BERT4SO: Neural Sentence Ordering by Fine-tuning BERT
Title（参考訳）: BERT4SO:微調整BERTによるニューラル文順序付け
Authors: Yutao Zhu, Jian-Yun Nie, Kun Zhou, Shengchao Liu, Pan Du
Abstract要約: 最近の研究では、ランキング問題として、ディープニューラルネットワークを適用している。 BERTを微調整し、文章順序付けを行う新しい方法BERT4SOを提案する。
参考スコア（独自算出の注目度）: 26.050527288844005
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Sentence ordering aims to arrange the sentences of a given text in the correct order. Recent work frames it as a ranking problem and applies deep neural networks to it. In this work, we propose a new method, named BERT4SO, by fine-tuning BERT for sentence ordering. We concatenate all sentences and compute their representations by using multiple special tokens and carefully designed segment (interval) embeddings. The tokens across multiple sentences can attend to each other which greatly enhances their interactions. We also propose a margin-based listwise ranking loss based on ListMLE to facilitate the optimization process. Experimental results on five benchmark datasets demonstrate the effectiveness of our proposed method.
Abstract（参考訳）: 文順序付けは、与えられたテキストの文を正しい順序で並べることを目的としている。最近の研究は、それをランキング問題として位置づけ、ディープニューラルネットワークを適用している。本研究では,文の順序付けを微調整することで,BERT4SOという新しい手法を提案する。すべての文を結合し、それらの表現を複数の特別なトークンと注意深く設計されたセグメント(インターバル)埋め込みを使って計算します。複数の文にまたがるトークンは互いに参加でき、相互作用を大幅に強化する。また,最適化プロセスを容易にするために,listmleに基づくマージンベースのリストワイズランキングロスを提案する。 5つのベンチマークデータセットの実験結果から,提案手法の有効性が示された。

関連論文リスト

Text Summarization with Oracle Expectation [88.39032981994535]
抽出要約は、文書の中で最も重要な文を識別し、連結することによって要約を生成する。ほとんどの要約データセットは、文書文が要約に値するかどうかを示す金のラベルを持っていない。本稿では,ソフトな予測に基づく文ラベルを生成する,シンプルで効果的なラベル付けアルゴリズムを提案する。
論文参考訳（メタデータ） (2022-09-26T14:10:08Z)
Pyramid-BERT: Reducing Complexity via Successive Core-set based Token Selection [23.39962989492527]
BERTのようなトランスフォーマーベースの言語モデルは、様々なNLPタスクで最先端を達成しているが、計算的に禁止されている。本稿では,従来の使用法を,理論的な結果によって正当化されたemコアセットベースのトークン選択法で置き換えるピラミッド-BERTを提案する。コアセットベースのトークン選択技術により、高価な事前トレーニングを回避でき、空間効率の良い微調整が可能となり、長いシーケンス長を扱うのに適している。
論文参考訳（メタデータ） (2022-03-27T19:52:01Z)
Pruned Graph Neural Network for Short Story Ordering [0.7087237546722617]
コヒーレンスを最大化する順序に文を整理することは、文の順序付けとして知られている。そこで本研究では,文章間のエッジを生成するために,短い物語の文中心グラフを構築する手法を提案する。また,代名詞を代名詞の代名詞に置き換えることによって,文中心性グラフの文を効果的にエンコードすることが観察された。
論文参考訳（メタデータ） (2022-03-13T22:25:17Z)
PromptBERT: Improving BERT Sentence Embeddings with Prompts [95.45347849834765]
本稿では,トークン埋め込みのバイアスを低減し,元のBERT層をより効果的にするためのプロンプトベースの文埋め込み手法を提案する。また,教師なし設定と教師なし設定とのパフォーマンスギャップを大幅に短縮するテンプレート認知技術により,教師なし学習の新たな目標を提案する。我々の微調整手法は教師なし設定と教師なし設定の両方において最先端のSimCSEよりも優れている。
論文参考訳（メタデータ） (2022-01-12T06:54:21Z)
Using BERT Encoding and Sentence-Level Language Model for Sentence Ordering [0.9134244356393667]
本稿では,短い記事のコーパスにおける文順序付けのアルゴリズムを提案する。提案手法では,アテンション機構を用いて文の依存関係をキャプチャするUniversal Transformer (UT) に基づく言語モデルを用いる。提案モデルには文、言語モデル、Brute Force Searchによる文配列の3つのコンポーネントが含まれている。
論文参考訳（メタデータ） (2021-08-24T23:03:36Z)
Three Sentences Are All You Need: Local Path Enhanced Document Relation Extraction [54.95848026576076]
本稿では,文書レベルREのエビデンス文を選択するための,恥ずかしいほど単純だが効果的な方法を提案する。私たちはhttps://github.com/AndrewZhe/Three-Sentences-Are-All-You-Need.comでコードを公開しました。
論文参考訳（メタデータ） (2021-06-03T12:29:40Z)
Reformulating Sentence Ordering as Conditional Text Generation [17.91448517871621]
文順序フレームワークであるReorder-BART(RE-BART)を紹介します。タスクを条件付きテキスト-マーカー生成設定として再構成します。私たちのフレームワークは、Perfect Match Ratio(PMR)とKendallのtau($tau$)メトリックの6つのデータセットにわたる最先端のパフォーマンスを実現します。
論文参考訳（メタデータ） (2021-04-14T18:16:47Z)
Neural Sentence Ordering Based on Constraint Graphs [32.14555157902546]
文順序付けは、正しい順序で文のリストを整理することを目的としている。文間の多粒性順序に基づく新しいアプローチを考案する。これらの順序は複数の制約グラフを形成し、グラフ同型ネットワークによって符号化され、文表現に融合される。
論文参考訳（メタデータ） (2021-01-27T02:53:10Z)
Topological Sort for Sentence Ordering [133.05105352571715]
本稿では,この課題を制約解決問題として新たなフレーミングを提案し,その解決のための新しい手法を提案する。 4つの異なるデータセットにまたがる自動測定と人的計測の結果から、この新しい手法は文書のコヒーレンスを捉えるのに優れていることが分かる。
論文参考訳（メタデータ） (2020-05-01T15:07:59Z)
Incorporating BERT into Neural Machine Translation [251.54280200353674]
本稿では,入力シーケンスの表現抽出にBERTを用いたBERT融合モデルを提案する。我々は、教師付き(文レベルと文書レベルの翻訳を含む)、半教師なしおよび教師なしの機械翻訳の実験を行い、7つのベンチマークデータセットで最先端の結果を得る。
論文参考訳（メタデータ） (2020-02-17T08:13:36Z)
Fact-aware Sentence Split and Rephrase with Permutation Invariant Training [93.66323661321113]
Sentence Split と Rephrase は、複雑な文をいくつかの単純な文に分解し、その意味を保存することを目的としている。従来の研究では、パラレル文対からのSeq2seq学習によってこの問題に対処する傾向があった。本稿では,この課題に対するSeq2seq学習における順序分散の効果を検証するために,置換訓練を導入する。
論文参考訳（メタデータ） (2020-01-16T07:30:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。