Fugu-MT 論文翻訳(概要): Improving Results on Russian Sentiment Datasets

論文の概要: Improving Results on Russian Sentiment Datasets

arxiv url: http://arxiv.org/abs/2007.14310v1
Date: Tue, 28 Jul 2020 15:29:19 GMT
ステータス: 翻訳完了
システム内更新日: 2022-11-06 02:21:10.582698
Title: Improving Results on Russian Sentiment Datasets
Title（参考訳）: ロシア感覚データセットの結果の改善
Authors: Anton Golubev and Natalia Loukachevitch
Abstract要約: この研究のすべての感情タスクにおいて、ロシア語 BERT の会話型はより良く機能することを示す。その結果,感情分類タスクを自然言語推論タスクとして扱うBERT-NLIモデルが得られた。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In this study, we test standard neural network architectures (CNN, LSTM, BiLSTM) and recently appeared BERT architectures on previous Russian sentiment evaluation datasets. We compare two variants of Russian BERT and show that for all sentiment tasks in this study the conversational variant of Russian BERT performs better. The best results were achieved by BERT-NLI model, which treats sentiment classification tasks as a natural language inference task. On one of the datasets, this model practically achieves the human level.
Abstract（参考訳）: 本研究では,従来のロシアの感情評価データセット上で,標準ニューラルネットワークアーキテクチャ(CNN,LSTM,BiLSTM)をテストするとともに,BERTアーキテクチャが最近登場した。本研究では,ロシア BERT の2つの変種を比較し,この研究におけるすべての感情タスクに対して,ロシア BERT の会話的変種がより優れていることを示す。その結果,感情分類タスクを自然言語推論タスクとして扱うBERT-NLIモデルが得られた。データセットの1つで、このモデルは実際に人間レベルを達成する。

関連論文リスト

Making Pre-trained Language Models Great on Tabular Prediction [50.70574370855663]
ディープニューラルネットワーク(DNN)の転送性は、画像および言語処理において著しく進歩している。本稿では,表型データ予測のための訓練済みLMであるTP-BERTaを提案する。新たな相対等級トークン化では、スカラー数値の特徴値を細分化した高次元トークンに変換し、特徴値と対応する特徴名を統合する。
論文参考訳（メタデータ） (2024-03-04T08:38:56Z)
Adapted Multimodal BERT with Layer-wise Fusion for Sentiment Analysis [84.12658971655253]
本稿では,マルチモーダルタスクのためのBERTベースのアーキテクチャであるAdapted Multimodal BERTを提案する。アダプタはタスクの事前訓練された言語モデルを手動で調整し、融合層はタスク固有の層ワイドな音声視覚情報とテキストBERT表現を融合させる。われわれは、このアプローチがより効率的なモデルにつながり、微調整されたモデルよりも優れ、ノイズの入力に堅牢であることを示した。
論文参考訳（メタデータ） (2022-12-01T17:31:42Z)
Batch-Ensemble Stochastic Neural Networks for Out-of-Distribution Detection [55.028065567756066]
Out-of-Distribution(OOD)検出は、機械学習モデルを現実世界のアプリケーションにデプロイすることの重要性から、マシンラーニングコミュニティから注目を集めている。本稿では,特徴量の分布をモデル化した不確実な定量化手法を提案する。バッチアンサンブルニューラルネットワーク(BE-SNN)の構築と機能崩壊問題の克服を目的として,効率的なアンサンブル機構,すなわちバッチアンサンブルを組み込んだ。 We show that BE-SNNs yield superior performance on the Two-Moons dataset, the FashionMNIST vs MNIST dataset, FashionM。
論文参考訳（メタデータ） (2022-06-26T16:00:22Z)
AutoBERT-Zero: Evolving BERT Backbone from Scratch [94.89102524181986]
そこで本稿では,提案するハイブリッドバックボーンアーキテクチャを自動検索するOP-NASアルゴリズムを提案する。提案するOP-NASの効率を向上させるために,探索アルゴリズムと候補モデルの評価を最適化する。実験の結果、検索されたアーキテクチャ(AutoBERT-Zero)は、様々な下流タスクにおいてBERTとそのバリエーションの異なるモデル容量を著しく上回っていることがわかった。
論文参考訳（メタデータ） (2021-07-15T16:46:01Z)
Transfer Learning for Improving Results on Russian Sentiment Datasets [0.0]
実験の結果は, 一般, テーマ, オリジナルを連続訓練する3段階のアプローチで得られた。感情分類問題を自然言語推論タスクとして扱うBERT-NLIモデルは、データセットの1つで人間の感情分析レベルに達した。
論文参考訳（メタデータ） (2021-07-06T09:31:36Z)
Fine-tuning Pretrained Multilingual BERT Model for Indonesian Aspect-based Sentiment Analysis [0.0]
CNNとXGBoostを用いて,ホテルドメインにおけるインドネシアのレビューに対するAspect-based Sentiment Analysis (ABSA) に関する研究を行った。本稿では,インドネシアのレビューデータセットにおいて,最も先進的な言語表現モデルであるBERTをABSAに組み込むことを目的としている。
論文参考訳（メタデータ） (2021-03-05T15:05:51Z)
Evaluation of BERT and ALBERT Sentence Embedding Performance on Downstream NLP Tasks [4.955649816620742]
本稿では,BERT と ALBERT の文埋め込みモデルについて検討する。我々は、Sentence-BERT (SBERT) と呼ばれるシアムとトリプルトネットワーク構造を持つBERTネットワークを改良し、BERTをALBERTに置き換え、Sentence-ALBERT (SALBERT) を作成する。
論文参考訳（メタデータ） (2021-01-26T09:14:06Z)
Fine-Tuning BERT for Sentiment Analysis of Vietnamese Reviews [0.0]
2つのデータセットの実験結果は、BERTを使用したモデルがGloVeとFastTextを使用して、他のモデルよりわずかに優れていることを示している。提案するBERTファインチューニング法は,従来のBERTファインチューニング法よりも優れた性能を持つアモデルを生成する。
論文参考訳（メタデータ） (2020-11-20T14:45:46Z)
ConvBERT: Improving BERT with Span-based Dynamic Convolution [144.25748617961082]
BERTはグローバルな自己保持ブロックに大きく依存しているため、大きなメモリフットプリントと計算コストに悩まされる。そこで本研究では,これらの自己注意型ヘッドを置き換え,局所的依存関係を直接モデル化する,スパンベースの動的畳み込みを提案する。新たな畳み込み頭は、他の自己注意頭と共に、グローバルな文脈学習とローカルな文脈学習の両方においてより効率的である、新しい混合注意ブロックを形成する。
論文参考訳（メタデータ） (2020-08-06T07:43:19Z)
Cross-lingual Information Retrieval with BERT [8.052497255948046]
本稿では、人気のある双方向言語モデルBERTを用いて、英語クエリと外国語文書の関係をモデル化し、学習する。 BERTに基づく深部関係マッチングモデルを導入し,教師の弱い事前学習多言語BERTモデルを微調整して訓練する。短い英語クエリに対するリトアニア語文書の検索実験の結果、我々のモデルは有効であり、競争ベースラインのアプローチよりも優れていることが示された。
論文参考訳（メタデータ） (2020-04-24T23:32:13Z)
Incorporating BERT into Neural Machine Translation [251.54280200353674]
本稿では,入力シーケンスの表現抽出にBERTを用いたBERT融合モデルを提案する。我々は、教師付き(文レベルと文書レベルの翻訳を含む)、半教師なしおよび教師なしの機械翻訳の実験を行い、7つのベンチマークデータセットで最先端の結果を得る。
論文参考訳（メタデータ） (2020-02-17T08:13:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。