論文の概要: Neural Transfer Learning with Transformers for Social Science Text Analysis

• arxiv url: http://arxiv.org/abs/2102.02111v1
• Date: Wed, 3 Feb 2021 15:41:20 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-04 22:21:12.742203
• Title: Neural Transfer Learning with Transformers for Social Science Text Analysis
• Title（参考訳）: 社会科学テキスト解析のためのトランスフォーマーを用いた神経伝達学習
• Authors: Sandra Wankm\"uller
• Abstract要約: トランスフォーマーベースのトランスフォーマー学習モデルは、比較的少数のトレーニングデータインスタンスで高い予測精度を達成する可能性がある。 本稿は、これらのメソッドがどのように機能するか、なぜ有利なのか、その制限は何かを説明します。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: During the last years, there have been substantial increases in the prediction performances of natural language processing models on text-based supervised learning tasks. Especially deep learning models that are based on the Transformer architecture (Vaswani et al., 2017) and are used in a transfer learning setting have contributed to this development. As Transformer-based models for transfer learning have the potential to achieve higher prediction accuracies with relatively few training data instances, they are likely to benefit social scientists that seek to have as accurate as possible text-based measures but only have limited resources for annotating training data. To enable social scientists to leverage these potential benefits for their research, this paper explains how these methods work, why they might be advantageous, and what their limitations are. Additionally, three Transformer-based models for transfer learning, BERT (Devlin et al., 2019), RoBERTa (Liu et al., 2019), and the Longformer (Beltagy et al., 2020), are compared to conventional machine learning algorithms on three social science applications. Across all evaluated tasks, textual styles, and training data set sizes, the conventional models are consistently outperformed by transfer learning with Transformer-based models, thereby demonstrating the potential benefits these models can bring to text-based social science research.
• Abstract（参考訳）: 近年,テキストベースの教師付き学習タスクにおいて,自然言語処理モデルの予測性能が大幅に向上している。 特にトランスフォーマーアーキテクチャ(vaswani et al., 2017)に基づいたディープラーニングモデルが、トランスフォーマー学習設定で使用されていることが、この開発に寄与している。 トランスフォーマーベースのトランスフォーメーション学習モデルは、比較的少ないトレーニングデータインスタンスで高い予測精度を達成する可能性があるため、可能な限り正確なテキストベースの測定をしようとするが、トレーニングデータの注釈付けに限られたリソースしか持たない社会科学者にとってはメリットがある。 社会科学者がこれらの潜在的利益を研究に活用できるようにするために、これらの手法がどのように機能するか、なぜ利点があるのか、その限界は何かを説明します。 さらに,変換学習のためのトランスフォーマモデルであるbert (devlin et al., 2019), roberta (liu et al., 2019), the longformer (beltagy et al., 2020) を,従来の3つの社会科学応用における機械学習アルゴリズムと比較した。 全ての評価されたタスク、テキストスタイル、トレーニングデータセットサイズにおいて、従来のモデルはTransformerベースのモデルによるトランスファーラーニングによって一貫してパフォーマンスが向上し、これらのモデルがテキストベースの社会科学研究にもたらす潜在的な利点を示す。

関連論文リスト

• Supervised Pretraining Can Learn In-Context Reinforcement Learning [96.62869749926415]
  本稿では,意思決定問題における変換器の文脈内学習能力について検討する。 本稿では,変換器が最適動作を予測する教師付き事前学習法であるDPT(Decision-Pretrained Transformer)を導入,研究する。 事前学習した変換器は、オンラインと保守主義の両方をオフラインで探索することで、コンテキスト内における様々なRL問題の解決に利用できる。
  論文  参考訳（メタデータ） (2023-06-26T17:58:50Z)
• Evaluating Prompt-based Question Answering for Object Prediction in the Open Research Knowledge Graph [0.0]
  本研究は,テクスチャ学習用グラフオブジェクト予測のためのトランスフォーマーの即時学習導入に関する成果を報告する。 学術知識グラフのオブジェクトを予測するためにエンティティと関係抽出パイプラインを提案する他の研究から逸脱する。 i) 期待値当たり、(i) 新たなデータ領域でテストされた場合のトランスフォーマーモデル、(ii) モデルの迅速なトレーニングにより、緩和された評価設定で最大40%の性能向上が達成されることがわかった。
  論文  参考訳（メタデータ） (2023-05-22T10:35:18Z)
• Learning to Grow Pretrained Models for Efficient Transformer Training [72.20676008625641]
  そこでは、より小さなモデルのパラメータを線形にマッピングして、より大きなモデルを初期化する。 言語と視覚のトランスフォーマーをまたいだ実験では、学習した線形成長演算子(LiGO)が、スクラッチから最大50%の計算コストを節約できることが示されています。
  論文  参考訳（メタデータ） (2023-03-02T05:21:18Z)
• Constructing Effective Machine Learning Models for the Sciences: A Multidisciplinary Perspective [77.53142165205281]
  線形回帰モデルに変数間の変換や相互作用を手動で追加することで、非線形解が必ずしも改善されないことを示す。 データ駆動モデルを構築する前にこれを認識する方法や、そのような分析が本質的に解釈可能な回帰モデルへの移行にどのように役立つかについて議論する。
  論文  参考訳（メタデータ） (2022-11-21T17:48:44Z)
• Continual Learning with Transformers for Image Classification [12.028617058465333]
  コンピュータビジョンでは、ニューラルネットワークモデルは、過去に何を学んだかを忘れずに、新しい概念を継続的に学習する。 本研究では,適応型適応器の蒸留法 (ADA) を開発した。 本手法は,モデルを再学習することなく,優れた予測性能を維持することを実証的に示す。
  論文  参考訳（メタデータ） (2022-06-28T15:30:10Z)
• BERT WEAVER: Using WEight AVERaging to enable lifelong learning for transformer-based models in biomedical semantic search engines [49.75878234192369]
  We present WEAVER, a simple, yet efficient post-processing method that infuse old knowledge into the new model。 WEAVERを逐次的に適用すると、同じ単語の埋め込み分布が、一度にすべてのデータに対する総合的なトレーニングとして得られることを示す。
  論文  参考訳（メタデータ） (2022-02-21T10:34:41Z)
• Transformers for prompt-level EMA non-response prediction [62.41658786277712]
  エコロジー・モメンタリー・アセスメント(Ecological Momentary Assessments、EMA)は、認知状態、影響、行動、環境要因を測定するための重要な心理的データ源である。 参加者がEMAプロンプトに反応しない非応答は、内因性問題である。 非応答を正確に予測できる能力は、EMAのデリバリを改善し、コンプライアンスの介入を開発するために利用することができる。
  論文  参考訳（メタデータ） (2021-11-01T18:38:47Z)
• What is being transferred in transfer learning? [51.6991244438545]
  事前訓練した重量からトレーニングを行うと、モデルは損失景観の同じ流域に留まることを示す。 事前学習した重みからトレーニングする場合、モデルは損失ランドスケープの同じ流域に留まり、そのようなモデルの異なるインスタンスは特徴空間と類似しており、パラメータ空間は近接している。
  論文  参考訳（メタデータ） (2020-08-26T17:23:40Z)
• On the comparability of Pre-trained Language Models [0.0]
  教師なし表現学習の最近の進歩は、NLPにおける伝達学習の概念を確立することに成功している。 より精巧なアーキテクチャは、コンテキスト情報をよりよく活用しています。 より大規模なコーパスは、自己教師型で大規模言語モデルを事前訓練するためのリソースとして使用される。 並列コンピューティングとクラウドコンピューティングの進歩により、これらのモデルを、以前確立されたモデルよりも短い時間で、同じまたは短い時間で、拡張能力でトレーニングすることが可能になった。
  論文  参考訳（メタデータ） (2020-01-03T10:53:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。