論文の概要: Neural Transfer Learning with Transformers for Social Science Text Analysis

• arxiv url: http://arxiv.org/abs/2102.02111v1
• Date: Wed, 3 Feb 2021 15:41:20 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-04 22:21:12.742203
• Title: Neural Transfer Learning with Transformers for Social Science Text Analysis
• Title（参考訳）: 社会科学テキスト解析のためのトランスフォーマーを用いた神経伝達学習
• Authors: Sandra Wankm\"uller
• Abstract要約: トランスフォーマーベースのトランスフォーマー学習モデルは、比較的少数のトレーニングデータインスタンスで高い予測精度を達成する可能性がある。 本稿は、これらのメソッドがどのように機能するか、なぜ有利なのか、その制限は何かを説明します。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: During the last years, there have been substantial increases in the prediction performances of natural language processing models on text-based supervised learning tasks. Especially deep learning models that are based on the Transformer architecture (Vaswani et al., 2017) and are used in a transfer learning setting have contributed to this development. As Transformer-based models for transfer learning have the potential to achieve higher prediction accuracies with relatively few training data instances, they are likely to benefit social scientists that seek to have as accurate as possible text-based measures but only have limited resources for annotating training data. To enable social scientists to leverage these potential benefits for their research, this paper explains how these methods work, why they might be advantageous, and what their limitations are. Additionally, three Transformer-based models for transfer learning, BERT (Devlin et al., 2019), RoBERTa (Liu et al., 2019), and the Longformer (Beltagy et al., 2020), are compared to conventional machine learning algorithms on three social science applications. Across all evaluated tasks, textual styles, and training data set sizes, the conventional models are consistently outperformed by transfer learning with Transformer-based models, thereby demonstrating the potential benefits these models can bring to text-based social science research.
• Abstract（参考訳）: 近年,テキストベースの教師付き学習タスクにおいて,自然言語処理モデルの予測性能が大幅に向上している。 特にトランスフォーマーアーキテクチャ(vaswani et al., 2017)に基づいたディープラーニングモデルが、トランスフォーマー学習設定で使用されていることが、この開発に寄与している。 トランスフォーマーベースのトランスフォーメーション学習モデルは、比較的少ないトレーニングデータインスタンスで高い予測精度を達成する可能性があるため、可能な限り正確なテキストベースの測定をしようとするが、トレーニングデータの注釈付けに限られたリソースしか持たない社会科学者にとってはメリットがある。 社会科学者がこれらの潜在的利益を研究に活用できるようにするために、これらの手法がどのように機能するか、なぜ利点があるのか、その限界は何かを説明します。 さらに,変換学習のためのトランスフォーマモデルであるbert (devlin et al., 2019), roberta (liu et al., 2019), the longformer (beltagy et al., 2020) を,従来の3つの社会科学応用における機械学習アルゴリズムと比較した。 全ての評価されたタスク、テキストスタイル、トレーニングデータセットサイズにおいて、従来のモデルはTransformerベースのモデルによるトランスファーラーニングによって一貫してパフォーマンスが向上し、これらのモデルがテキストベースの社会科学研究にもたらす潜在的な利点を示す。

関連論文リスト

• Transformers for Supervised Online Continual Learning [11.270594318662233]
  オンライン連続学習に変換器のコンテキスト内学習機能を活用する手法を提案する。 本手法は,画像位置定位のための大規模実世界ベンチマークであるCLOCにおいて,過去の最先端結果よりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2024-03-03T16:12:20Z)
• Cheap Learning: Maximising Performance of Language Models for Social Data Science Using Minimal Data [1.8692054990918079]
  近年発展してきた3つの安価な技術について概観する。 後者では、大規模言語モデルのゼロショットプロンプトの特定の事例について概観する。 我々は,すべての技術に対して優れた性能を示し,特に大規模言語モデルのプロンプトが,非常に低コストで高い精度を達成できることを示す。
  論文  参考訳（メタデータ） (2024-01-22T19:00:11Z)
• Few-shot learning for automated content analysis: Efficient coding of arguments and claims in the debate on arms deliveries to Ukraine [0.9576975587953563]
  トランスフォーマーニューラルネットワークに基づく事前学習言語モデル(PLM)は、通信科学における自動コンテンツ分析を改善する大きな機会を提供する。 これまでの3つの特徴は、NLP研究における英語モデルの優位性、必要な計算資源、微調整 PLM の訓練データ作成に必要な労力など、適用分野における手法の普及を妨げている。 我々は、われわれのアプローチを、コミュニケーション科学の現実的なユースケースで試し、主張や議論を自動的に検出し、ドイツによるウクライナへの武器の配達に関する議論におけるスタンスと合わせて検証する。
  論文  参考訳（メタデータ） (2023-12-28T11:39:08Z)
• Supervised Pretraining Can Learn In-Context Reinforcement Learning [96.62869749926415]
  本稿では,意思決定問題における変換器の文脈内学習能力について検討する。 本稿では,変換器が最適動作を予測する教師付き事前学習法であるDPT(Decision-Pretrained Transformer)を導入,研究する。 事前学習した変換器は、オンラインと保守主義の両方をオフラインで探索することで、コンテキスト内における様々なRL問題の解決に利用できる。
  論文  参考訳（メタデータ） (2023-06-26T17:58:50Z)
• Learning to Grow Pretrained Models for Efficient Transformer Training [72.20676008625641]
  そこでは、より小さなモデルのパラメータを線形にマッピングして、より大きなモデルを初期化する。 言語と視覚のトランスフォーマーをまたいだ実験では、学習した線形成長演算子(LiGO)が、スクラッチから最大50%の計算コストを節約できることが示されています。
  論文  参考訳（メタデータ） (2023-03-02T05:21:18Z)
• Constructing Effective Machine Learning Models for the Sciences: A Multidisciplinary Perspective [77.53142165205281]
  線形回帰モデルに変数間の変換や相互作用を手動で追加することで、非線形解が必ずしも改善されないことを示す。 データ駆動モデルを構築する前にこれを認識する方法や、そのような分析が本質的に解釈可能な回帰モデルへの移行にどのように役立つかについて議論する。
  論文  参考訳（メタデータ） (2022-11-21T17:48:44Z)
• BERT WEAVER: Using WEight AVERaging to enable lifelong learning for transformer-based models in biomedical semantic search engines [49.75878234192369]
  We present WEAVER, a simple, yet efficient post-processing method that infuse old knowledge into the new model。 WEAVERを逐次的に適用すると、同じ単語の埋め込み分布が、一度にすべてのデータに対する総合的なトレーニングとして得られることを示す。
  論文  参考訳（メタデータ） (2022-02-21T10:34:41Z)
• Transformers for prompt-level EMA non-response prediction [62.41658786277712]
  エコロジー・モメンタリー・アセスメント(Ecological Momentary Assessments、EMA)は、認知状態、影響、行動、環境要因を測定するための重要な心理的データ源である。 参加者がEMAプロンプトに反応しない非応答は、内因性問題である。 非応答を正確に予測できる能力は、EMAのデリバリを改善し、コンプライアンスの介入を開発するために利用することができる。
  論文  参考訳（メタデータ） (2021-11-01T18:38:47Z)
• What is being transferred in transfer learning? [51.6991244438545]
  事前訓練した重量からトレーニングを行うと、モデルは損失景観の同じ流域に留まることを示す。 事前学習した重みからトレーニングする場合、モデルは損失ランドスケープの同じ流域に留まり、そのようなモデルの異なるインスタンスは特徴空間と類似しており、パラメータ空間は近接している。
  論文  参考訳（メタデータ） (2020-08-26T17:23:40Z)
• On the comparability of Pre-trained Language Models [0.0]
  教師なし表現学習の最近の進歩は、NLPにおける伝達学習の概念を確立することに成功している。 より精巧なアーキテクチャは、コンテキスト情報をよりよく活用しています。 より大規模なコーパスは、自己教師型で大規模言語モデルを事前訓練するためのリソースとして使用される。 並列コンピューティングとクラウドコンピューティングの進歩により、これらのモデルを、以前確立されたモデルよりも短い時間で、同じまたは短い時間で、拡張能力でトレーニングすることが可能になった。
  論文  参考訳（メタデータ） (2020-01-03T10:53:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。