論文の概要: Large Language Models for Propaganda Span Annotation
- arxiv url: http://arxiv.org/abs/2311.09812v1
- Date: Thu, 16 Nov 2023 11:37:54 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-17 14:29:03.422889
- Title: Large Language Models for Propaganda Span Annotation
- Title(参考訳): プロパガンダスパンアノテーションのための大規模言語モデル
- Authors: Maram Hasanain, Fatema Ahmed, Firoj Alam
- Abstract要約: GPT-4のような大規模言語モデルを用いてアノテータのタスクを実行できるかを検討する。
実験では、複数のアノテーションによるアノテーションからなる社内開発データセットを使用した。
提案手法は,人間のアノテーションよりもアノテーションの合意や性能が向上し,モデルにより多くの情報を提供することを示唆している。
- 参考スコア(独自算出の注目度): 11.64165958410489
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The use of propagandistic techniques in online communication has increased in
recent years, aiming to manipulate online audiences. Efforts to automatically
detect and debunk such content have been made, addressing various modeling
scenarios. These include determining whether the content (text, image, or
multimodal) (i) is propagandistic, (ii) employs one or more techniques, and
(iii) includes techniques with identifiable spans. Significant research efforts
have been devoted to the first two scenarios compared to the latter. Therefore,
in this study, we focus on the task of detecting propagandistic textual spans.
We investigate whether large language models such as GPT-4 can be utilized to
perform the task of an annotator. For the experiments, we used an in-house
developed dataset consisting of annotations from multiple annotators. Our
results suggest that providing more information to the model as prompts
improves the annotation agreement and performance compared to human
annotations. We plan to make the annotated labels from multiple annotators,
including GPT-4, available for the community.
- Abstract(参考訳): 近年,オンライン・コミュニケーションにおけるプロパガンダ的手法の利用が増加し,オンライン・オーディエンスの操作が目指されている。
様々なモデリングシナリオに対処するため、これらのコンテンツを自動で検出・削除する努力がなされている。
内容(テキスト、画像、またはマルチモーダル)を決定することを含む。
(i)プロパガンダである。
(二)一つ以上の技法を駆使し、
(iii) スパンを識別できる技術を含む。
最初の2つのシナリオは、後者と比較して重要な研究努力が注がれている。
そこで本研究では,プロパガンダ的テキストスパンの検出に焦点をあてる。
GPT-4のような大規模言語モデルを用いてアノテータのタスクを実行できるかを検討する。
実験では、複数のアノテーションによるアノテーションからなる社内開発データセットを使用した。
提案手法は,人間のアノテーションよりもアノテーションの合意や性能が向上し,モデルにより多くの情報を提供することを示唆している。
gpt-4を含む複数のアノテータからの注釈付きラベルをコミュニティに提供する予定です。
関連論文リスト
- Can GPT-4 Identify Propaganda? Annotation and Detection of Propaganda
Spans in News Articles [11.64165958410489]
これまでで最大のプロパガンダデータセットを開発し、23のプロパガンダ手法の分類に従ってテキストスパンレベルにラベル付けされた新聞記事から8K節からなる。
我々の研究は、GPT-4を用いてテキストから微細なプロパガンダ検出を行う大規模言語モデル(LLM)の性能を理解するための最初の試みである。
その結果, GPT-4の性能低下は, 段落を単にプロパガンダ的か否かの分類から, プロパガンダ技術の検出やテキストでの表現のきめ細かいタスクへと移行することが明らかとなった。
論文 参考訳(メタデータ) (2024-02-27T13:02:19Z) - Less is More: A Closer Look at Semantic-based Few-Shot Learning [11.724194320966959]
Few-shot Learningは、利用可能な画像の数が非常に限られている新しいカテゴリを学習し、区別することを目的としている。
本稿では,テキスト情報と言語モデルを活用することを目的とした,数ショットの学習タスクのための,シンプルだが効果的なフレームワークを提案する。
広範に使われている4つのショットデータセットで実施した実験は、我々の単純なフレームワークが印象的な結果をもたらすことを示した。
論文 参考訳(メタデータ) (2024-01-10T08:56:02Z) - GPT Struct Me: Probing GPT Models on Narrative Entity Extraction [2.049592435988883]
我々は,2つの最先端言語モデル(GPT-3とGPT-3.5)の物語の抽出能力を評価する。
本研究はポルトガルの119のニュース記事を集めたText2Story Lusaデータセットを用いて行った。
論文 参考訳(メタデータ) (2023-11-24T16:19:04Z) - StableLLaVA: Enhanced Visual Instruction Tuning with Synthesized
Image-Dialogue Data [129.92449761766025]
本稿では,視覚的インストラクションチューニングのための画像と対話を同期的に合成する新しいデータ収集手法を提案する。
このアプローチは生成モデルのパワーを活用し、ChatGPTとテキスト・ツー・イメージ生成モデルの能力とを結合する。
本研究は,各種データセットを対象とした総合的な実験を含む。
論文 参考訳(メタデータ) (2023-08-20T12:43:52Z) - Exploring Large Language Model for Graph Data Understanding in Online
Job Recommendations [63.19448893196642]
本稿では,大規模言語モデルが提供するリッチな文脈情報と意味表現を利用して行動グラフを解析する新しいフレームワークを提案する。
この機能を利用することで、個々のユーザに対してパーソナライズされた、正確なジョブレコメンデーションが可能になる。
論文 参考訳(メタデータ) (2023-07-10T11:29:41Z) - Harnessing Explanations: LLM-to-LM Interpreter for Enhanced
Text-Attributed Graph Representation Learning [51.90524745663737]
重要なイノベーションは、機能として説明を使用することで、下流タスクにおけるGNNのパフォーマンス向上に利用できます。
提案手法は、確立されたTAGデータセットの最先端結果を実現する。
本手法はトレーニングを著しく高速化し,ogbn-arxivのベースラインに最も近い2.88倍の改善を実現した。
論文 参考訳(メタデータ) (2023-05-31T03:18:03Z) - AnnoLLM: Making Large Language Models to Be Better Crowdsourced Annotators [98.11286353828525]
GPT-3.5シリーズのモデルは、様々なNLPタスクにまたがる顕著な少数ショットとゼロショットの能力を示している。
本稿では,2段階のアプローチを取り入れたAnnoLLMを提案する。
我々はAnnoLLMを用いた対話型情報検索データセットを構築した。
論文 参考訳(メタデータ) (2023-03-29T17:03:21Z) - Self-Supervised Learning for Videos: A Survey [70.37277191524755]
自己教師型学習は、画像ドメインとビデオドメインの両方で有望である。
本稿では,ビデオ領域に着目した自己教師型学習における既存のアプローチについて概観する。
論文 参考訳(メタデータ) (2022-06-18T00:26:52Z) - Revisiting Self-Training for Few-Shot Learning of Language Model [61.173976954360334]
ラベル付きデータにはタスク関連情報が豊富に含まれており、言語モデルの素早い学習に有用であることが証明されている。
本研究では,言語モデルファインチューニングのための自己学習手法を再検討し,最先端のプロンプトベースの少ショット学習者,SFLMを提案する。
論文 参考訳(メタデータ) (2021-10-04T08:51:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。