論文の概要: Detecting value-expressive text posts in Russian social media
- arxiv url: http://arxiv.org/abs/2312.08968v1
- Date: Thu, 14 Dec 2023 14:18:27 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-15 21:49:46.699394
- Title: Detecting value-expressive text posts in Russian social media
- Title(参考訳): ロシアソーシャルメディアにおける価値表現テキストポストの検出
- Authors: Maria Milkova, Maksim Rudnev, Lidia Okolskaya
- Abstract要約: 我々は、ロシアのソーシャルメディアVKontakteで価値表現ポストを正確に検出できるモデルを見つけることを目指していた。
5,035ポストのトレーニングデータセットは、3人の専門家、304人のクラウドワーカー、ChatGPTによって注釈付けされた。
ChatGPTはより一貫性があったが、スパム検出に苦労した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Basic values are concepts or beliefs which pertain to desirable end-states
and transcend specific situations. Studying personal values in social media can
illuminate how and why societal values evolve especially when the stimuli-based
methods, such as surveys, are inefficient, for instance, in hard-to-reach
populations. On the other hand, user-generated content is driven by the massive
use of stereotyped, culturally defined speech constructions rather than
authentic expressions of personal values. We aimed to find a model that can
accurately detect value-expressive posts in Russian social media VKontakte. A
training dataset of 5,035 posts was annotated by three experts, 304
crowd-workers and ChatGPT. Crowd-workers and experts showed only moderate
agreement in categorizing posts. ChatGPT was more consistent but struggled with
spam detection. We applied an ensemble of human- and AI-assisted annotation
involving active learning approach, subsequently trained several LLMs and
selected a model based on embeddings from pre-trained fine-tuned rubert-tiny2,
and reached a high quality of value detection with F1 = 0.75 (F1-macro = 0.80).
This model provides a crucial step to a study of values within and between
Russian social media users.
- Abstract(参考訳): 基本的な価値観は、望ましい終末状態と超越的な特定の状況に関する概念や信念である。
ソーシャルメディアにおける個人的価値の研究は、特に調査のような刺激に基づく手法が非効率的である場合、特に社会的な価値がどのように進化するかを照らすことができる。
一方、ユーザ生成コンテンツは、個人価値の正確な表現ではなく、ステレオタイプで文化的に定義された音声構成の大量使用によって駆動される。
我々は、ロシアのソーシャルメディアVKontakteで価値表現ポストを正確に検出できるモデルを見つけることを目的とした。
5,035ポストのトレーニングデータセットは、3人の専門家、304人のクラウドワーカー、ChatGPTによって注釈付けされた。
集団労働者と専門家は、ポストの分類に関して、適度な合意しか示さなかった。
ChatGPTはより一貫性があったが、スパム検出に苦労した。
アクティブ・ラーニング・アプローチを含む人間とaiによるアノテーションのアンサンブルを適用し,いくつかのllmを訓練し,事前学習したrubert-tiny2からの埋め込みに基づくモデルを選択し,f1 = 0.75 (f1-macro = 0.80) で高い品質の値検出に到達した。
このモデルは、ロシアのソーシャルメディアユーザー間の価値を研究する上で重要なステップとなる。
関連論文リスト
- A Unique Training Strategy to Enhance Language Models Capabilities for
Health Mention Detection from Social Media Content [6.053876125887214]
ソーシャルメディアから健康関連コンテンツを抽出することは、様々なタイプのアプリケーションの開発に有用である。
この欠点の主な理由は、ソーシャルメディア利用者が一般的に使用する標準化されていない書き込みスタイルにある。
鍵となるゴールは、ランダムな重み付き摂動と対照的な学習戦略を取り入れることによって達成される。
ソーシャルメディアテキストの投稿を非健康・健康関連クラスに識別するための5つの異なる言語モデルの利点を享受するメタ予測器を提案する。
論文 参考訳(メタデータ) (2023-10-29T16:08:33Z) - Decoding the Silent Majority: Inducing Belief Augmented Social Graph
with Large Language Model for Response Forecasting [74.68371461260946]
SocialSenseは、既存のソーシャルネットワーク上に信念中心のグラフを誘導するフレームワークであり、グラフベースの伝播によって社会的ダイナミクスを捉える。
本手法は,ゼロショット設定と教師あり設定の両方に対する実験的な評価において,既存の最先端技術を超えている。
論文 参考訳(メタデータ) (2023-10-20T06:17:02Z) - Bias and Fairness in Large Language Models: A Survey [73.87651986156006]
本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。
まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。
次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
論文 参考訳(メタデータ) (2023-09-02T00:32:55Z) - Unsupervised Sentiment Analysis of Plastic Surgery Social Media Posts [91.3755431537592]
ソーシャルメディアプラットフォームにまたがる膨大なユーザー投稿は、主に人工知能(AI)のユースケースに使われていない。
自然言語処理(NLP)は、コーパス(corpora)として知られるドキュメントの体系を利用して、人間のような言語理解でコンピュータを訓練するAIのサブフィールドである。
本研究は, 教師なし解析の応用により, コンピュータがプラスティック手術に対する否定的, 肯定的, 中立的なユーザ感情を予測できることを示した。
論文 参考訳(メタデータ) (2023-07-05T20:16:20Z) - What does ChatGPT return about human values? Exploring value bias in
ChatGPT using a descriptive value theory [0.0]
心理学的価値理論を用いてChatGPTの可能な値バイアスを検証した。
明確な価値バイアスの証拠はほとんど見つからなかった。
社会志向の価値観が統合されることは、これらの価値が言語レベルで明確に区別されていないことを示唆するかもしれない。
論文 参考訳(メタデータ) (2023-04-07T12:20:13Z) - NormSAGE: Multi-Lingual Multi-Cultural Norm Discovery from Conversations
On-the-Fly [61.77957329364812]
本稿では,対話型多言語・多文化規範発見の新たな課題に対処する枠組みを提案する。
NormSAGEはノルム発見タスクと会話コンテキストを表す有向質問を通じてノルムに関する知識を導き出す。
さらに、発見される規範が正しいことを保証する自己検証メカニズムにより、言語モデル幻覚のリスクに対処する。
論文 参考訳(メタデータ) (2022-10-16T18:30:05Z) - Enabling Classifiers to Make Judgements Explicitly Aligned with Human
Values [73.82043713141142]
性差別/人種差別の検出や毒性検出などの多くのNLP分類タスクは、人間の値に基づいている。
本稿では,コマンド内で明示的に記述された人間の値に基づいて予測を行う,値整合型分類のためのフレームワークを提案する。
論文 参考訳(メタデータ) (2022-10-14T09:10:49Z) - Personal Attribute Prediction from Conversations [9.208339833472051]
個人知識ベース(PKB)の充実に寄与する個人属性値の予測を目指す。
ラベル付き発話を必要とせずに会話から個人属性を予測するために,雑音ロス機能付き事前学習言語モデルに基づくフレームワークを提案する。
本フレームワークは, nDCG と MRR の合計12基に対して, 最高の性能が得られる。
論文 参考訳(メタデータ) (2022-08-29T15:21:53Z) - ValueNet: A New Dataset for Human Value Driven Dialogue System [103.2044265617704]
本稿では,21,374のテキストシナリオに対する人間の態度を含む,ValueNetという大規模人的価値データセットを提案する。
総合的な経験的結果は、学習された価値モデルが幅広い対話作業に有用であることを示している。
ValueNetは、人間の価値モデリングのための最初の大規模テキストデータセットである。
論文 参考訳(メタデータ) (2021-12-12T23:02:52Z) - On Predicting Personal Values of Social Media Users using
Community-Specific Language Features and Personal Value Correlation [14.12186042953335]
この研究は、シンガポールのユーザーの個人的価値を分析し、Facebookデータを用いて個人的価値を予測する効果的なモデルを開発することに焦点を当てている。
提案したスタックモデルには,基本モデルのタスク固有層とクロススティッチ層モデルからなる相関関係が組み込まれている。
論文 参考訳(メタデータ) (2020-07-16T04:36:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。