論文の概要: SWARM: A Multilingual Human-Annotated Dataset for Russian Propaganda Detection in Search Engine Results

• arxiv url: http://arxiv.org/abs/2609.12653v1
• Date: Fri, 11 Sep 2026 09:58:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-15 10:54:53.423492
• Title: SWARM: A Multilingual Human-Annotated Dataset for Russian Propaganda Detection in Search Engine Results
• Title（参考訳）: SWARM: 検索結果におけるロシア語プロパガンダ検出のための多言語対応データセット
• Abstract要約: ロシアのプロパガンダは多くの言語やオンライン空間に広がっている。 ほとんどの計算研究は、そのような空間(通常はソーシャルメディア)を1つか2つの言語で調べている。 SWARMは9つの言語と多様なWebドメインにまたがる2,183の検索結果のデータセットである。
• 参考スコア（独自算出の注目度）: 1.6438361031972928
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Russian state propaganda spreads across many languages and online spaces. Yet, most computational work examines only one such space, usually social media, in one or two languages, and analyses sources rather than content. We introduce SWARM (Search-Web documents Annotated for Russian propaganda, Multilingual), a dataset of 2,183 search engine results across nine languages and diverse web domains (e.g., news, blogs, government sites), each annotated by trained coders for whether it supports a recurring Russian propaganda narrative. We benchmark a source-based blocklist, supervised classifiers, and zero-shot LLMs against these labels. The blocklist misses most propaganda-supporting documents, because such content is not confined to flagged "propaganda" outlets but also appears on mainstream ones. Content-level analysis helps, though how much depends on the model: the strongest LLM reaches a positive-class F1 of 0.73, whereas the supervised classifiers reach only about 0.5, with the smaller LLMs over-predicting support, mistaking topical relevance for endorsement. Detecting search-borne propaganda thus requires per-language, content-level evaluation, which we hope SWARM and our evaluation code enable.
• Abstract（参考訳）: ロシアのプロパガンダは多くの言語やオンライン空間に広がっている。 しかし、ほとんどの計算研究は、そのような空間(通常はソーシャルメディア)を1つか2つの言語で調べ、コンテンツではなくソースを分析する。 SWARM (Annotated for Russian propaganda, Multilingual)は、9つの言語と多様なWebドメイン(ニュース、ブログ、政府サイトなど)にまたがる2,183の検索エンジンのデータセットである。 これらのラベルに対して、ソースベースのブロックリスト、教師付き分類器、ゼロショットLLMをベンチマークする。 ブロックリストは、ほとんどのプロパガンダ支援文書を見逃している。 最強のLDMは0.73の正のクラスF1に達するのに対して、教師付き分類器は0.5にしか達せず、より小さなLSMは過剰な予測サポートを持ち、支持のトピック的関連性を誤っている。 したがって,検索対象のプロパガンダの検出には言語ごとのコンテンツレベルの評価が必要であり,SWARMと評価コードの利用が期待できる。

関連論文リスト

• MameLoshnLM: Yiddish Language Model and Evaluation Benchmark [62.936233688546984]
  We present MameLoshnLM, a first open-source 8B- parameter language model built for Yiddish。 イディッシュ語のリッチテキストの伝統にもかかわらず、そのデジタル的存在と信頼性の高い評価資源の不足は、イディッシュ語のモデリングの進歩を妨げている。 この結果は,Yiddish NLPの基礎と,歴史的にリッチだがデジタルに表現されていない言語における言語モデル開発のための実践的テンプレートの両方を提供する。
  論文  参考訳（メタデータ） (2026-08-06T10:24:08Z)
• Omnilingual SONAR: Cross-Lingual and Cross-Modal Sentence Embeddings Bridging Massively Multilingual Text and Speech [61.759910921200834]
  言語間の文エンコーダは通常、数百の言語をカバーしている。 我々はOmniSONARを紹介した。OmniSONARは全言語、言語横断、言語横断の文埋め込みモデルである。
  論文  参考訳（メタデータ） (2026-03-17T14:47:35Z)
• Ready to Translate, Not to Represent? Bias and Performance Gaps in Multilingual LLMs Across Language Families and Domains [6.357124887141297]
  大規模言語モデル (LLM) は機械翻訳 (MT) を再定義した LLMは言語家族や専門ドメイン間で不均一なパフォーマンスを示すことが多い。 オープンソースLLMの翻訳品質と公平性を評価するための統合フレームワークおよびデータセットであるTranslation Tanglesを紹介する。
  論文  参考訳（メタデータ） (2025-10-09T07:28:30Z)
• MultiProSE: A Multi-label Arabic Dataset for Propaganda, Sentiment, and Emotion Detection [0.0]
  このデータセットは8000の注釈付きニュース記事で構成されており、これはこれまでで最大のプロパガンダデータセットである。 各タスクに対して、GPT-4o-miniやプレトレーニング言語モデル(PLM)など、大きな言語モデル(LLM)を使用して、いくつかのベースラインが開発されている。 データセット、アノテーションガイドライン、ソースコードはすべて、アラビア語のモデルにおける将来の研究と開発を促進するために公開されている。
  論文  参考訳（メタデータ） (2025-02-12T11:35:20Z)
• White Men Lead, Black Women Help? Benchmarking and Mitigating Language Agency Social Biases in LLMs [58.27353205269664]
  社会的バイアスは、Large Language Model(LLM)生成コンテンツにおいて言語エージェンシーに現れる。 LLMのバイアスを包括的に評価するLanguage Agency Bias Evaluationベンチマークを導入する。 LABEを用いて,近年の3つのLLM(ChatGPT,Llama3,Mistral)における言語エージェントの社会的バイアスを明らかにした。
  論文  参考訳（メタデータ） (2024-04-16T12:27:54Z)
• Detecting Propaganda Techniques in Code-Switched Social Media Text [30.844812761448107]
  コードスイッチトテキストにおけるプロパガンダのテクニックを検出するための新しいタスクを提案する。 我々は、20のプロパガンダ技術で注釈付けされた、英語とローマ・ウルドゥー語の間の1030のテキストのコーパスを作成した。 コードとデータセットはhttps://github.com/mbzuai-nlp/propaganda-codeswitched-textで公開されている。
  論文  参考訳（メタデータ） (2023-05-23T21:37:26Z)
• Chain-of-Dictionary Prompting Elicits Translation in Large Language Models [100.47154959254937]
  大規模言語モデル(LLM)は多言語ニューラルマシン翻訳(MNMT)において驚くほど優れた性能を示した 入力単語のサブセットに対する多言語辞書の連鎖による事前知識でLLMを拡張して翻訳能力を引き出す新しい方法であるCoDを提案する。
  論文  参考訳（メタデータ） (2023-05-11T05:19:47Z)
• Explicit Alignment Objectives for Multilingual Bidirectional Encoders [111.65322283420805]
  本稿では,多言語エンコーダAMBER(Aligned Multilingual Bi-directional EncodeR)の学習方法を提案する。 AMBERは、異なる粒度で多言語表現を整列する2つの明示的なアライメント目標を使用して、追加の並列データに基づいて訓練される。 実験結果から、AMBERは、シーケンスタグ付けで1.1平均F1スコア、XLMR-大規模モデル上での検索で27.3平均精度を得ることがわかった。
  論文  参考訳（メタデータ） (2020-10-15T18:34:13Z)
• LTIatCMU at SemEval-2020 Task 11: Incorporating Multi-Level Features for Multi-Granular Propaganda Span Identification [70.1903083747775]
  本稿では,新聞記事におけるプロパガンダ・スパン識別の課題について述べる。 本稿では,BERT-BiLSTMに基づくプロパガンダ分類モデルを提案する。
  論文  参考訳（メタデータ） (2020-08-11T16:14:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。