Fugu-MT 論文翻訳(概要): Chinese Sentences Similarity via Cross-Attention Based Siamese Network

論文の概要: Chinese Sentences Similarity via Cross-Attention Based Siamese Network

arxiv url: http://arxiv.org/abs/2104.08787v1
Date: Sun, 18 Apr 2021 09:35:58 GMT
ステータス: 処理完了
システム内更新日: 2021-04-20 14:07:01.245677
Title: Chinese Sentences Similarity via Cross-Attention Based Siamese Network
Title（参考訳）: クロスアテンションに基づくシームズネットワークによる中国語文の類似性
Authors: Zhen Wang, Xiangxie Zhang, Yicong Tan
Abstract要約: 本研究では,中国語文の意味的意味を学習するためのクロスアテンションSiamese Network(CATsNet)を提案する。また,Long Short-term memory (LSTM) ネットワークをモデルに適用し,性能改善を試みた。実験はLCQMCデータセット上で行われ、その結果、我々のモデルが以前の研究よりも高い精度を達成できることが示された。
参考スコア（独自算出の注目度）: 3.423613855749842
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Measuring sentence similarity is a key research area nowadays as it allows machines to better understand human languages. In this paper, we proposed a Cross-Attention Siamese Network (CATsNet) to carry out the task of learning the semantic meanings of Chinese sentences and comparing the similarity between two sentences. This novel model is capable of catching non-local features. Additionally, we also tried to apply the long short-term memory (LSTM) network in the model to improve its performance. The experiments were conducted on the LCQMC dataset and the results showed that our model could achieve a higher accuracy than previous work.
Abstract（参考訳）: 文の類似度の測定は、機械が人間の言語をよりよく理解できるため、今日では重要な研究領域となっている。本稿では,中国語文の意味的意味を学習し,2つの文間の類似性を比較するためのクロス・アテンション・シャムネットワーク(catsnet)を提案する。この新モデルは非局所的な特徴を捉えることができる。また,Long Short-term memory (LSTM) ネットワークをモデルに適用し,性能改善を試みた。 LCQMCデータセットを用いて実験を行い, 実験結果から, 従来よりも精度の高いモデルが得られた。

関連論文リスト

Efficient Machine Translation with a BiLSTM-Attention Approach [0.0]
本稿では,翻訳品質の向上を目的とした新しいSeq2Seqモデルを提案する。このモデルでは、双方向長短期記憶ネットワーク(Bidirectional Long Short-Term Memory Network, Bi-LSTM)をエンコーダとして使用し、入力シーケンスのコンテキスト情報をキャプチャする。現在の主流トランスフォーマーモデルと比較して,本モデルはWMT14機械翻訳データセットにおいて優れた性能を発揮する。
論文参考訳（メタデータ） (2024-10-29T01:12:50Z)
Evaluating and explaining training strategies for zero-shot cross-lingual news sentiment analysis [8.770572911942635]
いくつかの低リソース言語で新しい評価データセットを導入する。我々は、機械翻訳の使用を含む、様々なアプローチを実験する。言語間の相似性は言語間移動の成功を予測するのに十分ではないことを示す。
論文参考訳（メタデータ） (2024-09-30T07:59:41Z)
The Power of Question Translation Training in Multilingual Reasoning: Broadened Scope and Deepened Insights [108.40766216456413]
大規模言語モデルの英語と非英語のパフォーマンスのギャップを埋めるための質問アライメントフレームワークを提案する。実験結果から、さまざまな推論シナリオ、モデルファミリー、サイズにわたって、多言語のパフォーマンスを向上できることが示された。我々は、表現空間、生成された応答とデータスケールを分析し、質問翻訳訓練がLLM内の言語アライメントをどのように強化するかを明らかにする。
論文参考訳（メタデータ） (2024-05-02T14:49:50Z)
The Languini Kitchen: Enabling Language Modelling Research at Different Scales of Compute [66.84421705029624]
本稿では,アクセル時間で測定された等価計算に基づくモデル比較を可能にする実験的プロトコルを提案する。私たちは、既存の学術的ベンチマークを上回り、品質、多様性、文書の長さで上回る、大規模で多様で高品質な書籍データセットを前処理します。この研究は、GPT-2アーキテクチャから派生したフィードフォワードモデルと、10倍のスループットを持つ新しいLSTMの形式でのリカレントモデルという2つのベースラインモデルも提供する。
論文参考訳（メタデータ） (2023-09-20T10:31:17Z)
Dual-Alignment Pre-training for Cross-lingual Sentence Embedding [79.98111074307657]
本稿では,言語間文埋め込みのためのDAP(Dual-alignment pre-training)フレームワークを提案する。そこで本研究では,一方の文脈化トークン表現を用いて翻訳相手を再構成する,新しい表現翻訳学習(RTL)タスクを提案する。我々の手法は文の埋め込みを大幅に改善できる。
論文参考訳（メタデータ） (2023-05-16T03:53:30Z)
Seq2Seq-SC: End-to-End Semantic Communication Systems with Pre-trained Language Model [20.925910474226885]
本稿では,5G NRと互換性のあるセマンティック・セマンティック・ネットワーク Seq2seq-SC を提案する。我々は,語彙的類似度をBLEUで測定し,意味的類似度をSBERTで測定した意味的類似度という性能指標を用いる。
論文参考訳（メタデータ） (2022-10-27T07:48:18Z)
Cross-language Sentence Selection via Data Augmentation and Rationale Training [22.106577427237635]
雑音のある並列文データに対するデータ拡張と負のサンプリング技術を用いて、言語間埋め込みに基づくクエリ関連モデルの学習を行う。その結果、同じ並列データでトレーニングされた複数の最先端機械翻訳+モノリンガル検索システムよりも、このアプローチが優れているか、あるいは優れていることが示された。
論文参考訳（メタデータ） (2021-06-04T07:08:47Z)
Paraphrastic Representations at Scale [134.41025103489224]
私たちは、英語、アラビア語、ドイツ語、フランス語、スペイン語、ロシア語、トルコ語、中国語の訓練されたモデルをリリースします。我々はこれらのモデルを大量のデータでトレーニングし、元の論文から大幅に性能を向上した。
論文参考訳（メタデータ） (2021-04-30T16:55:28Z)
Mixed-Lingual Pre-training for Cross-lingual Summarization [54.4823498438831]
言語間の要約は、ソース言語の記事に対する対象言語の要約を作成することを目的としている。本稿では,翻訳のような言語間タスクと,マスク付き言語モデルのようなモノリンガルタスクの両方を活用する混合言語事前学習に基づくソリューションを提案する。本モデルでは,2.82(中国語)と1.15(中国語,英語)のROUGE-1スコアを最先端の結果に対して改善する。
論文参考訳（メタデータ） (2020-10-18T00:21:53Z)
A Deep Reinforced Model for Zero-Shot Cross-Lingual Summarization with Bilingual Semantic Similarity Rewards [40.17497211507507]
言語間テキスト要約は、実際は重要だが未探索の課題である。本稿では,エンドツーエンドのテキスト要約モデルを提案する。
論文参考訳（メタデータ） (2020-06-27T21:51:38Z)
Learning Source Phrase Representations for Neural Machine Translation [65.94387047871648]
本稿では,対応するトークン表現から句表現を生成可能な注意句表現生成機構を提案する。実験では,強力なトランスフォーマーベースライン上でのWMT 14の英語・ドイツ語・英語・フランス語タスクにおいて,大幅な改善が得られた。
論文参考訳（メタデータ） (2020-06-25T13:43:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。