論文の概要: SocialBERT -- Transformers for Online SocialNetwork Language Modelling
- arxiv url: http://arxiv.org/abs/2111.07148v1
- Date: Sat, 13 Nov 2021 16:37:15 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-17 12:31:36.915652
- Title: SocialBERT -- Transformers for Online SocialNetwork Language Modelling
- Title（参考訳）: SocialBERT -- オンラインソーシャルネットワーク言語モデリング用トランスフォーマー
- Authors: Ilia Karpov and Nick Kartashev
- Abstract要約: 本稿では,テキスト解析における著者の位置に関する知識を利用する最初のモデルであるSocialBERTを紹介する。
評価の結果,この情報の埋め込みは優れた一般化を維持していることがわかった。
提案したモデルは、選択されたソーシャルネットワークの大多数のグループでトレーニングされており、これまで未知のグループで作業することが可能である。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The ubiquity of the contemporary language understanding tasks gives relevance
to the development of generalized, yet highly efficient models that utilize all
knowledge, provided by the data source. In this work, we present SocialBERT -
the first model that uses knowledge about the author's position in the network
during text analysis. We investigate possible models for learning social
network information and successfully inject it into the baseline BERT model.
The evaluation shows that embedding this information maintains a good
generalization, with an increase in the quality of the probabilistic model for
the given author up to 7.5%. The proposed model has been trained on the
majority of groups for the chosen social network, and still able to work with
previously unknown groups. The obtained model, as well as the code of our
experiments, is available for download and use in applied tasks.
- Abstract（参考訳）: 現代言語理解タスクのユビキタスさは、データソースが提供するすべての知識を利用する汎用的かつ高効率なモデルの開発に関係している。
本研究では,テキスト分析中に著者のネットワークにおける位置に関する知識を利用する最初のモデルであるSocialBERを提案する。
ソーシャルネットワーク情報を学習するためのモデルについて検討し,ベースラインBERTモデルへのインジェクトに成功した。
評価の結果、この情報を埋め込むことは、与えられた著者の確率モデルの品質を7.5%まで向上させ、優れた一般化を維持していることが示された。
提案したモデルは、選択されたソーシャルネットワークの大多数のグループでトレーニングされており、これまで未知のグループで作業することが可能である。
得られたモデルは、実験のコードと同様に、適用されたタスクでダウンロードおよび使用することができる。
関連論文リスト
- RelBench: A Benchmark for Deep Learning on Relational Databases [78.52438155603781]
本稿では,グラフニューラルネットワークを用いたデータベース上でタスクを解くための公開ベンチマークであるRelBenchを紹介する。
私たちはRelBenchを使って、ディープラーニングインフラストラクチャに関する初の総合的な研究を行っています。
RDLは、人間の作業量を1桁以上削減しながら、より良く学習する。
論文 参考訳（メタデータ） (2024-07-29T14:46:13Z) - Social-LLM: Modeling User Behavior at Scale using Language Models and
Social Network Data [13.660150473547766]
本稿では,ユーザ検出タスクにおけるソーシャルネットワークデータのモデリングに適した新しいアプローチを提案する。
提案手法は,局所的なソーシャルネットワークのインタラクションを,大規模言語モデルの能力と統合する。
実世界の7つのソーシャル・ネットワーク・データセットにまたがって、我々の手法を徹底的に評価する。
論文 参考訳（メタデータ） (2023-12-31T05:13:13Z) - Fantastic Gains and Where to Find Them: On the Existence and Prospect of
General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。
このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
論文 参考訳（メタデータ） (2023-10-26T17:59:46Z) - Commonsense Knowledge Transfer for Pre-trained Language Models [83.01121484432801]
ニューラルコモンセンス知識モデルに格納されたコモンセンス知識を汎用的な事前学習言語モデルに転送するフレームワークであるコモンセンス知識伝達を導入する。
まず、一般的なテキストを利用して、ニューラルコモンセンス知識モデルからコモンセンス知識を抽出するクエリを形成する。
次に、コモンセンスマスクの埋め込みとコモンセンスの関係予測という2つの自己教師対象で言語モデルを洗練する。
論文 参考訳（メタデータ） (2023-06-04T15:44:51Z) - Foundation Models for Natural Language Processing -- Pre-trained
Language Models Integrating Media [0.0]
ファンデーションモデルは自然言語処理のための事前訓練された言語モデルである。
画像処理やビデオ処理からロボット制御学習まで、幅広いメディアや問題領域に適用することができる。
本書は、ファンデーションモデルの研究および応用における技術の現状を概観する。
論文 参考訳（メタデータ） (2023-02-16T20:42:04Z) - Large Language Models with Controllable Working Memory [64.71038763708161]
大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。
これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。
モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
論文 参考訳（メタデータ） (2022-11-09T18:58:29Z) - Interpreting Language Models Through Knowledge Graph Extraction [42.97929497661778]
BERTに基づく言語モデルを,学習過程の逐次的な段階において取得した知識のスナップショットを通じて比較する。
本稿では, クローズイン・ザ・ブランク文から知識グラフを抽出し, 知識獲得のタイムラインを提示する手法を提案する。
この分析を, BERTモデル(DistilBERT, BERT-base, RoBERTa)の事前学習変化の比較に拡張する。
論文 参考訳（メタデータ） (2021-11-16T15:18:01Z) - Learning Purified Feature Representations from Task-irrelevant Labels [18.967445416679624]
本稿では,タスク関連ラベルから抽出したタスク関連機能を利用したPurifiedLearningという新しい学習フレームワークを提案する。
本研究は,PurifiedLearningの有効性を実証する,ソリッド理論解析と広範囲な実験に基づいている。
論文 参考訳（メタデータ） (2021-02-22T12:50:49Z) - Knowledge-driven Data Construction for Zero-shot Evaluation in
Commonsense Question Answering [80.60605604261416]
本稿では,共通認識課題にまたがるゼロショット質問応答のための新しいニューラルシンボリック・フレームワークを提案する。
言語モデル、トレーニング体制、知識ソース、データ生成戦略のセットを変えて、タスク間の影響を測定します。
個別の知識グラフは特定のタスクに適しているが、グローバルな知識グラフはさまざまなタスクに対して一貫した利得をもたらす。
論文 参考訳（メタデータ） (2020-11-07T22:52:21Z) - InfoBERT: Improving Robustness of Language Models from An Information
Theoretic Perspective [84.78604733927887]
BERTのような大規模言語モデルは、幅広いNLPタスクで最先端のパフォーマンスを実現している。
近年の研究では、このようなBERTベースのモデルが、テキストの敵対的攻撃の脅威に直面していることが示されている。
本稿では,事前学習した言語モデルの堅牢な微調整のための新しい学習フレームワークであるInfoBERTを提案する。
論文 参考訳（メタデータ） (2020-10-05T20:49:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。