論文の概要: SsciBERT: A Pre-trained Language Model for Social Science Texts
- arxiv url: http://arxiv.org/abs/2206.04510v1
- Date: Thu, 9 Jun 2022 13:49:04 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-10 14:06:04.070793
- Title: SsciBERT: A Pre-trained Language Model for Social Science Texts
- Title(参考訳): SsciBERT: 社会科学テキストのための事前学習型言語モデル
- Authors: Si Shen, Jiangfeng Liu, Litao Lin, Ying Huang, Lin Zhang, Chang Liu,
Yutong Feng, Dongbo Wang
- Abstract要約: 社会科学の学術文献は、人間の文明を記録、人間の社会問題を研究する文献である。
SciBERTのような以前の研究では、ドメイン固有のテキストを使った事前学習が自然言語処理タスクの性能を向上させることが示されている。
本稿では,ソーシャルサイエンス・サイテーション・インデックス(SSCI)ジャーナルに掲載されている多くの抽象化に関する事前学習モデルを提案する。
- 参考スコア(独自算出の注目度): 8.335400197962727
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The academic literature of social sciences is the literature that records
human civilization and studies human social problems. With the large-scale
growth of this literature, ways to quickly find existing research on relevant
issues have become an urgent demand for researchers. Previous studies, such as
SciBERT, have shown that pre-training using domain-specific texts can improve
the performance of natural language processing tasks in those fields. However,
there is no pre-trained language model for social sciences, so this paper
proposes a pre-trained model on many abstracts published in the Social Science
Citation Index (SSCI) journals. The models, which are available on Github
(https://github.com/S-T-Full-Text-Knowledge-Mining/SSCI-BERT), show excellent
performance on discipline classification and abstract structure-function
recognition tasks with the social sciences literature.
- Abstract(参考訳): 社会科学の学術文献は、人間の文明を記録、人間の社会問題を研究する文献である。
この文献が大規模に発展するにつれて、既存の研究を迅速に見つけ出す方法が研究者にとって緊急の要求となっている。
SciBERTのような以前の研究では、ドメイン固有のテキストを用いた事前学習が、これらの分野における自然言語処理タスクの性能を向上させることが示されている。
しかし、社会科学のための事前学習された言語モデルは存在しないため、ssci(social science citation index)ジャーナルに発表された多くの抽象概念の事前学習モデルを提案する。
これらのモデルはGithub(https://github.com/S-T-Full-Text-Knowledge-Mining/SSCI-BERT)で公開されている。
関連論文リスト
- SciGLM: Training Scientific Language Models with Self-Reflective
Instruction Annotation and Tuning [60.14510984576027]
SciGLMは、大学レベルの科学的推論を行うことができる科学言語モデルのスイートである。
本研究では, 自己回帰的指示アノテーションの枠組みを適用し, 難解な科学的問題に対する段階的推論を生成する。
言語モデルのChatGLMをSciInstructで微調整し、科学的および数学的推論能力を向上した。
論文 参考訳(メタデータ) (2024-01-15T20:22:21Z) - PaperQA: Retrieval-Augmented Generative Agent for Scientific Research [41.9628176602676]
本稿では,科学文献に関する質問に回答するためのRAGエージェントPaperQAを紹介する。
PaperQAは、全文の科学論文を通じて情報検索を行い、ソースやパスの関連性を評価し、RAGを使用して回答を提供するエージェントである。
また、文献全体にわたる全文科学論文からの情報の検索と合成を必要とする、より複雑なベンチマークであるLitQAを紹介する。
論文 参考訳(メタデータ) (2023-12-08T18:50:20Z) - Data Science for Social Good [2.8621556092850065]
本稿では,「データ・サイエンス・フォー・ソーシャル・グッド」(DSSG)研究の枠組みについて述べる。
本研究では,情報システムにおけるDSSG研究の質を実証的に示すために,文献の分析を行う。
この記事と特別号が今後のDSSG研究を刺激することを期待している。
論文 参考訳(メタデータ) (2023-11-02T15:40:20Z) - Machine-assisted mixed methods: augmenting humanities and social
sciences with artificial intelligence [0.0]
大規模言語モデル(LLM)の能力の増大は、人文科学や社会科学におけるデータ分析をスケールアップする前例のない機会となる。
このコントリビューションは、定性的な分析専門知識とマシンスケーラビリティを活用するための、体系的な混合メソッドフレームワークを提案する。
課題には言語と談話の分析、語彙の意味変化の検出、インタビュー分析、歴史的事象原因推論、テキストマイニングなどが含まれる。
論文 参考訳(メタデータ) (2023-09-24T14:21:50Z) - Context Matters: A Strategy to Pre-train Language Model for Science
Education [4.053049694533914]
BERTベースの言語モデルは、様々な言語関連タスクにおいて、従来のNLPモデルよりも大きな優位性を示している。
学生が使用する言語は、BERTのトレーニングソースであるジャーナルやウィキペディアの言語とは異なる。
本研究は,教育領域におけるドメイン固有データに対する継続事前学習の有効性を確認した。
論文 参考訳(メタデータ) (2023-01-27T23:50:16Z) - Modeling Information Change in Science Communication with Semantically
Matched Paraphrases [50.67030449927206]
SPICEDは、情報変化の度合いに注釈を付けた科学的な発見の最初のパラフレーズデータセットである。
SPICEDには、ニュース記事、ソーシャルメディアの議論、オリジナル論文の全文から抽出された6000の科学的発見ペアが含まれている。
SPICEDで訓練されたモデルは、実世界の科学的主張の事実チェックのための証拠検索において下流のパフォーマンスを改善する。
論文 参考訳(メタデータ) (2022-10-24T07:44:38Z) - A Survey on Neural Speech Synthesis [110.39292386792555]
テキスト・トゥ・スピーチ(TTS)は、音声、言語、機械学習のコミュニティにおけるホットな研究テーマである。
我々は、現在の研究と今後のトレンドをよく理解することを目的として、ニューラルTSに関する包括的な調査を行っている。
我々は、テキスト分析、音響モデル、ボコーダなど、ニューラルネットワークの重要なコンポーネントと、高速TS、低リソースTS、堅牢TS、表現型TS、適応型TSなど、いくつかの先進的なトピックに焦点を当てる。
論文 参考訳(メタデータ) (2021-06-29T16:50:51Z) - BERT: A Review of Applications in Natural Language Processing and
Understanding [0.0]
本稿では,最も人気のあるディープラーニングベースの言語モデルであるBERTの応用について述べる。
このレビューの準備では、科学界で最も注目を集めた過去数年間に発表された数十のオリジナルの科学論文のデータが体系化されました。
論文 参考訳(メタデータ) (2021-03-22T15:34:39Z) - Can You be More Social? Injecting Politeness and Positivity into
Task-Oriented Conversational Agents [60.27066549589362]
人間エージェントが使用する社会言語は、ユーザーの応答性の向上とタスク完了に関連しています。
このモデルは、ソーシャル言語理解要素で拡張されたシーケンスからシーケンスまでのディープラーニングアーキテクチャを使用する。
人的判断と自動言語尺度の両方を用いたコンテンツ保存と社会言語レベルの評価は,エージェントがより社会的に適切な方法でユーザの問題に対処できる応答を生成できることを示している。
論文 参考訳(メタデータ) (2020-12-29T08:22:48Z) - Positioning yourself in the maze of Neural Text Generation: A
Task-Agnostic Survey [54.34370423151014]
本稿では, ストーリーテリング, 要約, 翻訳など, 世代ごとのタスクインパクトをリレーする手法の構成要素について検討する。
本稿では,学習パラダイム,事前学習,モデリングアプローチ,復号化,各分野における重要な課題について,命令的手法の抽象化を提案する。
論文 参考訳(メタデータ) (2020-10-14T17:54:42Z) - Experience Grounds Language [185.73483760454454]
言語理解研究は、言語が記述する物理的世界と、それが促進する社会的相互作用とを関連づけることに失敗している。
テキストだけで訓練された後にタスクに取り組むための言語処理モデルの驚くべき効果にもかかわらず、成功した言語コミュニケーションは世界の共有経験に依存している。
論文 参考訳(メタデータ) (2020-04-21T16:56:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。