論文の概要: Transfer Learning for Improving Results on Russian Sentiment Datasets
- arxiv url: http://arxiv.org/abs/2107.02499v1
- Date: Tue, 6 Jul 2021 09:31:36 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-07 21:59:02.074681
- Title: Transfer Learning for Improving Results on Russian Sentiment Datasets
- Title(参考訳): ロシア感覚データセットにおける伝達学習による結果改善
- Authors: Anton Golubev and Natalia Loukachevitch
- Abstract要約: 実験の結果は, 一般, テーマ, オリジナルを連続訓練する3段階のアプローチで得られた。
感情分類問題を自然言語推論タスクとして扱うBERT-NLIモデルは、データセットの1つで人間の感情分析レベルに達した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this study, we test transfer learning approach on Russian sentiment
benchmark datasets using additional train sample created with distant
supervision technique. We compare several variants of combining additional data
with benchmark train samples. The best results were achieved using three-step
approach of sequential training on general, thematic and original train
samples. For most datasets, the results were improved by more than 3% to the
current state-of-the-art methods. The BERT-NLI model treating sentiment
classification problem as a natural language inference task reached the human
level of sentiment analysis on one of the datasets.
- Abstract(参考訳): 本研究では,遠距離監視技術を用いて作成した追加の列車サンプルを用いて,ロシアの感情ベンチマークデータセットの転送学習手法をテストする。
追加データとベンチマークトレインのサンプルを組み合わせるいくつかの変種を比較した。
最善の結果は, 一般, テーマ, オリジナルの列車サンプルの逐次訓練による3段階のアプローチで得られた。
ほとんどのデータセットでは、現在の最先端の手法よりも3%以上改善された。
感情分類問題を自然言語推論タスクとして扱うBERT-NLIモデルは、データセットの1つで人間の感情分析レベルに達した。
関連論文リスト
- Towards Large-scale 3D Representation Learning with Multi-dataset Point
Prompt Training [47.036695270944946]
ポイント・プロンプト・トレーニング(Point Prompt Training)は、3D表現学習の文脈におけるマルチデータセットのシナジスティック学習のための新しいフレームワークである。
シナジスティック学習に関連する負の移動を克服し、一般化可能な表現を生成する。
教師付きマルチデータセットトレーニングを備えた1つの重み付きモデルを用いて、各データセットの最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2023-08-18T17:59:57Z) - Learning to Paraphrase Sentences to Different Complexity Levels [3.0273878903284275]
文の単純化はNLPにおいて活発な研究課題であるが,その隣接する文の複雑化や同レベルのパラフレーズ化の課題はそうではない。
3つのタスクすべてでモデルをトレーニングするために、教師なしデータセットを2つ提示する。
論文 参考訳(メタデータ) (2023-08-04T09:43:37Z) - MV-JAR: Masked Voxel Jigsaw and Reconstruction for LiDAR-Based
Self-Supervised Pre-Training [58.07391711548269]
Masked Voxel Jigsaw and Reconstruction (MV-JAR) method for LiDAR-based self-supervised pre-training
Masked Voxel Jigsaw and Reconstruction (MV-JAR) method for LiDAR-based self-supervised pre-training
論文 参考訳(メタデータ) (2023-03-23T17:59:02Z) - M3ST: Mix at Three Levels for Speech Translation [66.71994367650461]
本稿では,M3ST法を3段階に分けて提案し,拡張学習コーパスの多様性を高める。
ファインチューニングの第1段階では、単語レベル、文レベル、フレームレベルを含む3段階のトレーニングコーパスを混合し、モデル全体を混合データで微調整する。
MuST-C音声翻訳ベンチマークと分析実験により、M3STは現在の強いベースラインより優れ、平均的なBLEU29.9の8方向の最先端の結果が得られることが示された。
論文 参考訳(メタデータ) (2022-12-07T14:22:00Z) - DoubleMix: Simple Interpolation-Based Data Augmentation for Text
Classification [56.817386699291305]
本稿では,DoubleMixと呼ばれる単純なデータ拡張手法を提案する。
DoubleMixはまず、トレーニングデータごとにいくつかの摂動サンプルを生成する。
次に、摂動データと元のデータを使って、隠れたニューラルネットワークの空間で2段階のステップを実行する。
論文 参考訳(メタデータ) (2022-09-12T15:01:04Z) - An Empirical Study on Distribution Shift Robustness From the Perspective
of Pre-Training and Data Augmentation [91.62129090006745]
本稿では,事前学習とデータ拡張の観点から分布シフト問題を考察する。
我々は,事前学習とデータ拡張に焦点を当てた,最初の総合的な実証的研究を行った。
論文 参考訳(メタデータ) (2022-05-25T13:04:53Z) - Dataset Distillation by Matching Training Trajectories [75.9031209877651]
そこで本研究では,実データと同じような状態にネットワークを誘導するために,蒸留データを最適化する新しい定式化を提案する。
ネットワークが与えられたら、蒸留データを何回か繰り返して訓練し、合成訓練されたパラメータと実データで訓練されたパラメータとの距離に関して蒸留データを最適化する。
本手法は既存の手法よりも優れており,高解像度の視覚データを蒸留することができる。
論文 参考訳(メタデータ) (2022-03-22T17:58:59Z) - A Simple and Efficient Ensemble Classifier Combining Multiple Neural
Network Models on Social Media Datasets in Vietnamese [2.7528170226206443]
本研究の目的は、ベトナムの3つのベンチマークデータセットから、ソーシャルメディア上のベトナム語のテキストを分類することである。
この研究では、CNN、LSTM、およびそれらの変種を含む高度なディープラーニングモデルを使用し、最適化されている。
私たちのアンサンブルモデルは、3つのデータセットで最高のパフォーマンスを実現します。
論文 参考訳(メタデータ) (2020-09-28T04:28:48Z) - Improving Results on Russian Sentiment Datasets [0.0]
この研究のすべての感情タスクにおいて、ロシア語 BERT の会話型はより良く機能することを示す。
その結果,感情分類タスクを自然言語推論タスクとして扱うBERT-NLIモデルが得られた。
論文 参考訳(メタデータ) (2020-07-28T15:29:19Z) - Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。
我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。
そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
論文 参考訳(メタデータ) (2020-05-18T09:36:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。