論文の概要: Transformer Encoder for Social Science

• arxiv url: http://arxiv.org/abs/2208.08005v1
• Date: Wed, 17 Aug 2022 01:01:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-18 12:16:25.958826
• Title: Transformer Encoder for Social Science
• Title（参考訳）: 社会科学のためのトランスフォーマーエンコーダ
• Authors: Haosen Ge, In Young Park, Xuancheng Qian, Grace Zeng
• Abstract要約: 本稿では,テキスト処理タスクに対処する,コンパクトな事前学習型深層ニューラルネットワークであるTransformer for Social Science (TESS)を提案する。 2つの検証テストを用いて、トレーニングサンプル数に制限がある場合、TESSがBERTとRoBERTaを平均16.7%上回ることを示した。
• 参考スコア（独自算出の注目度）: 1.6058099298620425
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: High-quality text data has become an important data source for social scientists. We have witnessed the success of pretrained deep neural network models, such as BERT and RoBERTa, in recent social science research. In this paper, we propose a compact pretrained deep neural network, Transformer Encoder for Social Science (TESS), explicitly designed to tackle text processing tasks in social science research. Using two validation tests, we demonstrate that TESS outperforms BERT and RoBERTa by 16.7% on average when the number of training samples is limited (<1,000 training instances). The results display the superiority of TESS over BERT and RoBERTa on social science text processing tasks. Lastly, we discuss the limitation of our model and present advice for future researchers.
• Abstract（参考訳）: 高品質なテキストデータは、社会科学者にとって重要なデータ源となっている。 我々は最近の社会科学研究において、BERTやRoBERTaのような事前訓練されたディープニューラルネットワークモデルの成功を目撃した。 本稿では,社会科学研究におけるテキスト処理タスクへの対処を目的とした,コンパクトな事前学習型深層ニューラルネットワークであるTransformer Encoder for Social Science (TESS)を提案する。 2つの検証テストを用いて、トレーニングサンプル数が制限された場合、tessがbertとrobertaを16.7%上回っていることを実証した(1,000のトレーニングインスタンス)。 その結果,社会科学テキスト処理タスクにおけるBERTやRoBERTaよりもTESSの方が優れていることが示された。 最後に,モデルの限界と今後の研究者へのアドバイスについて論じる。

関連論文リスト

• Contrastive Transformer Learning with Proximity Data Generation for Text-Based Person Search [60.626459715780605]
  記述的なテキストクエリーを与えられたテキストベースの人物検索は、画像ギャラリーからベストマッチした人物を検索することを目的としている。 このようなクロスモーダル検索タスクは、重要なモダリティギャップ、きめ細かい相違、注釈付きデータの不十分さのため、かなり難しい。 本稿では,テキストに基づく人物検索のための2つのトランスフォーマーモデルを提案する。
  論文  参考訳（メタデータ） (2023-11-15T16:26:49Z)
• SpikeBERT: A Language Spikformer Learned from BERT with Knowledge Distillation [31.777019330200705]
  スパイキングニューラルネットワーク(SNN)は、よりエネルギー効率の良い方法でディープニューラルネットワークを実装するための有望な道を提供する。 我々は最近提案されたスパイクトランスフォーマー(すなわち、Spikformer)を改善して、言語タスクの処理を可能にします。 提案手法で訓練したSpikeBERTは,最先端のSNNよりも優れており,英語と中国語のテキスト分類タスクにおけるBERTと同等の結果が得られることを示す。
  論文  参考訳（メタデータ） (2023-08-29T08:41:16Z)
• HULAT at SemEval-2023 Task 10: Data augmentation for pre-trained transformers applied to the detection of sexism in social media [1.4213973379473652]
  本稿では,ソーシャルメディアにおける性差別の検出を目標とするSemEval-2023タスク10への参加について述べる。 BERT, DistilBERT, RoBERTa, XLNet など,最も人気のあるトランスフォーマーモデルについて検討する。 開発段階では,RoBERTaとデータ拡張により,タスクBとCに最適な結果を得た。
  論文  参考訳（メタデータ） (2023-02-24T18:17:38Z)
• SsciBERT: A Pre-trained Language Model for Social Science Texts [8.335400197962727]
  社会科学の学術文献は、人間の文明を記録、人間の社会問題を研究する文献である。 SciBERTのような以前の研究では、ドメイン固有のテキストを使った事前学習が自然言語処理タスクの性能を向上させることが示されている。 本稿では,ソーシャルサイエンス・サイテーション・インデックス(SSCI)ジャーナルに掲載されている多くの抽象化に関する事前学習モデルを提案する。
  論文  参考訳（メタデータ） (2022-06-09T13:49:04Z)
• Curriculum-Based Self-Training Makes Better Few-Shot Learners for Data-to-Text Generation [56.98033565736974]
  テキスト生成の困難さによって決定される並べ替え順序でラベルのないデータを活用するために,カリキュラムベースの自己学習(CBST)を提案する。 提案手法は、微調整およびタスク適応型事前学習法より優れており、データ・テキスト・ジェネレーションのわずかな設定で最先端の性能を実現することができる。
  論文  参考訳（メタデータ） (2022-06-06T16:11:58Z)
• Neural Transfer Learning with Transformers for Social Science Text Analysis [0.0]
  トランスフォーマーベースのトランスフォーマー学習モデルは、比較的少数のトレーニングデータインスタンスで高い予測精度を達成する可能性がある。 本稿は、これらのメソッドがどのように機能するか、なぜ有利なのか、その制限は何かを説明します。
  論文  参考訳（メタデータ） (2021-02-03T15:41:20Z)
• Pretrained Transformers for Text Ranking: BERT and Beyond [53.83210899683987]
  このサーベイは、トランスフォーマーとして知られるニューラルネットワークアーキテクチャによるテキストランキングの概要を提供する。 トランスフォーマーと自己教師型事前学習の組み合わせは、自然言語処理のパラダイムシフトの原因となっている。
  論文  参考訳（メタデータ） (2020-10-13T15:20:32Z)
• Data-Efficient Pretraining via Contrastive Self-Supervision [48.255310614527694]
  本研究では,資源効率向上のための3つの課題に対して評価を行う。 タスク内部の60MBのテキストデータに事前トレーニングされたデータと効率的な自己教師付きコントラストテキストエンコーダを提案する。 提案手法は,RoBERTaの微調整時間の1/5で事前学習と微調整を行いながら,RoBERTaよりも優れていた。
  論文  参考訳（メタデータ） (2020-10-02T15:41:57Z)
• The Lottery Ticket Hypothesis for Pre-trained BERT Networks [137.99328302234338]
  自然言語処理(NLP)では、BERTのような巨大な事前学習モデルがトレーニングの標準出発点となっている。 並行して、抽選券仮説の研究により、NLPとコンピュータビジョンのモデルには、完全精度で個別にトレーニングできる小さなマッチングワークが含まれていることが示されている。 これらの観測と組み合わせて、トレーニング済みのBERTモデルにそのようなトレーニング可能なトランスファーブルワークが存在するかどうかを評価する。
  論文  参考訳（メタデータ） (2020-07-23T19:35:39Z)
• Text-to-Text Pre-Training for Data-to-Text Tasks [9.690158790639131]
  データ・トゥ・テキスト・タスクのための事前訓練+微調整戦略について検討する。 実験により,テキストからテキストへの事前学習により,単純なエンドツーエンドのトランスフォーマーモデルが実現できることが示唆された。
  論文  参考訳（メタデータ） (2020-05-21T02:46:15Z)
• POINTER: Constrained Progressive Text Generation via Insertion-based Generative Pre-training [93.79766670391618]
  ハードコントラストテキスト生成のための新しい挿入ベースアプローチであるPOINTERを提案する。 提案手法は,既存のトークン間で段階的に新しいトークンを並列に挿入することによって動作する。 結果として生じる粗大な階層構造は、生成プロセスを直感的で解釈可能である。
  論文  参考訳（メタデータ） (2020-05-01T18:11:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。