論文の概要: Detecting Basic Values in A Noisy Russian Social Media Text Data: A Multi-Stage Classification Framework

• arxiv url: http://arxiv.org/abs/2603.18822v1
• Date: Thu, 19 Mar 2026 12:20:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-20 17:19:06.136397
• Title: Detecting Basic Values in A Noisy Russian Social Media Text Data: A Multi-Stage Classification Framework
• Title（参考訳）: ノイズの多いロシアのソーシャルメディアテキストデータにおける基本値の検出:多段階分類フレームワーク
• Authors: Maria Milkova, Maksim Rudnev,
• Abstract要約: 本研究では, 雑音の多いロシア語ソーシャルメディアにおける人的価値を検出するための多段階分類フレームワークを提案する。 我々はスパムと非個人コンテンツフィルタリング、価値と政治的に関連のある投稿のターゲット選択、LLMベースのアノテーション、マルチラベル分類を用いている。 このモデルは一般に人間の判断と一致しているが、体系的に価値ドメインの変更に対するオープンネスを過大評価している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: This study presents a multi-stage classification framework for detecting human values in noisy Russian language social media, validated on a random sample of 7.5 million public text posts. Drawing on Schwartz's theory of basic human values, we design a multi-stage pipeline that includes spam and nonpersonal content filtering, targeted selection of value relevant and politically relevant posts, LLM based annotation, and multi-label classification. Particular attention is given to verifying the quality of LLM annotations and model predictions against human experts. We treat human expert annotations not as ground truth but as an interpretative benchmark with its own uncertainty. To account for annotation subjectivity, we aggregate multiple LLM generated judgments into soft labels that reflect varying levels of agreement. These labels are then used to train transformer based models capable of predicting the probability of each of the ten basic values. The best performing model, XLM RoBERTa large, achieves an F1 macro of 0.83 and an F1 of 0.71 on held out test data. By treating value detection as a multi perspective interpretive task, where expert labels, GPT annotations, and model predictions represent coherent but not identical readings of the same texts, we show that the model generally aligns with human judgments but systematically overestimates the Openness to Change value domain. Empirically, the study reveals distinct patterns of value expression and their co-occurrence in Russian social networks, contributing to a broader research agenda on cultural variation, communicative framing, and value based interpretation in digital environments. All models are released publicly.
• Abstract（参考訳）: 本研究では、75万件の公開テキスト投稿のランダムなサンプルを用いて、ノイズの多いロシア語ソーシャルメディアにおける人的価値を検出するための多段階分類フレームワークを提案する。 シュワルツの基本的な人的価値の理論に基づいて、スパムや非個人的コンテンツフィルタリング、意味のある、政治的に関係のあるポストのターゲット選択、LLMベースのアノテーション、マルチラベル分類を含む多段階パイプラインを設計する。 LLMアノテーションの品質検証や人的専門家に対するモデル予測に特に注意が払われる。 我々は、人間の専門家アノテーションを、基礎的な真実ではなく、独自の不確実性のある解釈的ベンチマークとして扱う。 アノテーションの主観性を考慮し,複数のLCM生成した判断を,様々なレベルの一致を反映したソフトラベルに集約する。 これらのラベルは、10つの基本値の確率を予測できるトランスフォーマーベースモデルのトレーニングに使用される。 最高のパフォーマンスモデルであるXLM RoBERTa largeは、保持されたテストデータに対して、F1マクロが0.83、F1が0.71となる。 専門家ラベル, GPTアノテーション, モデル予測が同一テキストのコヒーレントだが同一の読影を表現している多視点解釈タスクとして値検出を取り扱うことにより, モデルが一般に人間の判断に合致するが, 価値領域の変更に対するオープンネスを体系的に過大評価していることを示す。 実証的に、この研究は、価値表現の異なるパターンと、その共起をロシアのソーシャルネットワークで明らかにし、デジタル環境における文化的変動、コミュニケーション的フレーミング、および価値に基づく解釈に関するより広範な研究課題に寄与した。 全モデル公開。

関連論文リスト

• Bridging Human and Model Perspectives: A Comparative Analysis of Political Bias Detection in News Media Using Large Language Models [0.3227658251731014]
  本研究では,人間のアノテーションと複数の言語モデルによる政治的偏見の検出を評価するための比較枠組みを提案する。 我々は,手動でアノテートしたニュース記事のデータセットを構築し,アノテート一貫性,バイアス極性,モデル間合意を評価する。 実験の結果,従来のトランスフォーマーベースモデルでは,RoBERTaが最も高いアライメントを達成していることがわかった。
  論文  参考訳（メタデータ） (2025-11-18T15:58:04Z)
• Comparing LLM Text Annotation Skills: A Study on Human Rights Violations in Social Media Data [2.812898346527047]
  本研究では,ロシア語とウクライナ語におけるソーシャルメディア投稿のゼロショットおよび少数ショットアノテーションに対する大規模言語モデル(LLM)の機能について検討した。 これらのモデルの有効性を評価するため、それらのアノテーションは、人間の二重注釈付きラベルのゴールドスタンダードセットと比較される。 この研究は、各モデルが示すエラーと不一致のユニークなパターンを探求し、その強み、制限、言語間適応性に関する洞察を提供する。
  論文  参考訳（メタデータ） (2025-05-15T13:10:47Z)
• Value Portrait: Assessing Language Models' Values through Psychometrically and Ecologically Valid Items [2.9357382494347264]
  既存のベンチマークは、価値関連のバイアスに弱い人や機械のアノテーションに依存している。 本稿では,実生活におけるユーザ-LLMインタラクションをキャプチャするアイテムからなるValue Portraitベンチマークを提案する。 この心理的に検証されたアプローチは、特定の値と強く相関したアイテムがそれらの値を評価するための信頼できるアイテムとして機能することを保証する。
  論文  参考訳（メタデータ） (2025-05-02T05:26:50Z)
• Detecting value-expressive text posts in Russian social media [0.0]
  我々は、ロシアのソーシャルメディアVKontakteで価値表現ポストを正確に検出できるモデルを見つけることを目指していた。 5,035ポストのトレーニングデータセットは、3人の専門家、304人のクラウドワーカー、ChatGPTによって注釈付けされた。 ChatGPTはより一貫性があったが、スパム検出に苦労した。
  論文  参考訳（メタデータ） (2023-12-14T14:18:27Z)
• Bring Your Own Data! Self-Supervised Evaluation for Large Language Models [52.15056231665816]
  大規模言語モデル(LLM)の自己教師型評価のためのフレームワークを提案する。 閉書知識,毒性,長期文脈依存性を測定するための自己指導型評価戦略を実証する。 自己監督評価と人監督評価との間には強い相関関係が認められた。
  論文  参考訳（メタデータ） (2023-06-23T17:59:09Z)
• Using Natural Language Explanations to Rescale Human Judgments [81.66697572357477]
  大規模言語モデル(LLM)を用いて順序付けアノテーションと説明を再スケールする手法を提案する。 我々は、アノテータのLikert評価とそれに対応する説明をLLMに入力し、スコア付けルーリックに固定された数値スコアを生成する。 提案手法は,合意に影響を及ぼさずに生の判断を再スケールし,そのスコアを同一のスコア付けルーリックに接する人間の判断に近づける。
  論文  参考訳（メタデータ） (2023-05-24T06:19:14Z)
• Enabling Classifiers to Make Judgements Explicitly Aligned with Human Values [73.82043713141142]
  性差別/人種差別の検出や毒性検出などの多くのNLP分類タスクは、人間の値に基づいている。 本稿では,コマンド内で明示的に記述された人間の値に基づいて予測を行う,値整合型分類のためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-14T09:10:49Z)
• Measuring Fairness of Text Classifiers via Prediction Sensitivity [63.56554964580627]
  加速度予測感度は、入力特徴の摂動に対するモデルの予測感度に基づいて、機械学習モデルの公正度を測定する。 この計量は、群フェアネス(統計パリティ)と個人フェアネスという特定の概念と理論的に関連付けられることを示す。
  論文  参考訳（メタデータ） (2022-03-16T15:00:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。