Fugu-MT 論文翻訳(概要): RMDM: A Multilabel Fakenews Dataset for Vietnamese Evidence Verification

論文の概要: RMDM: A Multilabel Fakenews Dataset for Vietnamese Evidence Verification

arxiv url: http://arxiv.org/abs/2309.09071v1
Date: Sat, 16 Sep 2023 18:35:08 GMT
ステータス: 処理完了
システム内更新日: 2023-09-19 17:31:00.772907
Title: RMDM: A Multilabel Fakenews Dataset for Vietnamese Evidence Verification
Title（参考訳）: rmdm: ベトナムの証拠検証のためのマルチラベルフェイクニュースデータセット
Authors: Hai-Long Nguyen, Thi-Kieu-Trang Pham, Thai-Son Le, Tan-Minh Nguyen, Thi-Hai-Yen Vuong, Ha-Thanh Nguyen
Abstract要約: 本稿では,大規模言語モデル(LLM)の性能評価を目的とした,新しいマルチラベルベトナム語データセット(RMDM)を提案する。データセットは4つのラベルからなり、実際の情報、誤情報、偽情報、誤情報を表す。 GPTベースのモデルとBERTベースのモデルを用いたデータセットの予備的なテストでは、異なるラベル間でモデルのパフォーマンスが変動していることが示され、これらの情報の真正性を検証するために、データセットが様々な言語モデルの能力に効果的に挑戦していることが示されている。
参考スコア（独自算出の注目度）: 4.81761484868467
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In this study, we present a novel and challenging multilabel Vietnamese dataset (RMDM) designed to assess the performance of large language models (LLMs), in verifying electronic information related to legal contexts, focusing on fake news as potential input for electronic evidence. The RMDM dataset comprises four labels: real, mis, dis, and mal, representing real information, misinformation, disinformation, and mal-information, respectively. By including these diverse labels, RMDM captures the complexities of differing fake news categories and offers insights into the abilities of different language models to handle various types of information that could be part of electronic evidence. The dataset consists of a total of 1,556 samples, with 389 samples for each label. Preliminary tests on the dataset using GPT-based and BERT-based models reveal variations in the models' performance across different labels, indicating that the dataset effectively challenges the ability of various language models to verify the authenticity of such information. Our findings suggest that verifying electronic information related to legal contexts, including fake news, remains a difficult problem for language models, warranting further attention from the research community to advance toward more reliable AI models for potential legal applications.
Abstract（参考訳）: 本研究では,大規模言語モデル(llm)の性能評価を目的として,法的文脈に関連する電子情報を検証し,電子的証拠の入力として偽ニュースに着目した,新規かつ挑戦的なマルチラベル・ベトナム語データセット(rmdm)を提案する。 rmdmデータセットは、実情報、誤情報、誤情報、誤情報を表すreal、mis、dis、malの4つのラベルで構成されている。これらの多様なラベルを含めることで、rmdmは異なる偽ニュースカテゴリの複雑さを捉え、電子的証拠の一部である様々な種類の情報を扱う様々な言語モデルの能力に関する洞察を提供する。データセットは合計1,556のサンプルからなり、各ラベルに389のサンプルがある。 GPTベースのモデルとBERTベースのモデルを用いたデータセットの予備的なテストでは、異なるラベル間でモデルのパフォーマンスが変動していることが示され、これらの情報の真正性を検証するために、データセットが様々な言語モデルの能力に効果的に挑戦していることが示されている。我々の研究結果は、偽ニュースを含む法的な文脈に関する電子情報を検証することは、言語モデルにとって難しい問題であり、研究コミュニティがより信頼性の高いAIモデルに進むことを保証していることを示唆している。

関連論文リスト

Multilingual Models for Check-Worthy Social Media Posts Detection [0.552480439325792]
この研究には様々なモデルの包括的分析が含まれており、特に多言語モデルに焦点を当てている。この研究の新規性は、検証可能な事実的主張を効果的に含む有害なポストとポストを同時に検出できるマルチラベル多言語分類モデルの開発にある。
論文参考訳（メタデータ） (2024-08-13T08:55:28Z)
Multimodal Misinformation Detection using Large Vision-Language Models [7.505532091249881]
大規模言語モデル(LLM)は、様々なタスクにおいて顕著なパフォーマンスを示している。誤情報検出の一部として証拠検索を考えるアプローチはほとんどない。マルチモーダルエビデンス検索のための新しい手法を提案する。
論文参考訳（メタデータ） (2024-07-19T13:57:11Z)
MMSci: A Dataset for Graduate-Level Multi-Discipline Multimodal Scientific Understanding [59.41495657570397]
このデータセットには、スキーマ図、シミュレーション画像、マクロ/顕微鏡写真、実験的可視化などの図が含まれている。我々は,6つのプロプライエタリモデルと10以上のオープンソースモデルを評価し,科学的フィギュアキャプションと複数選択質問のベンチマークを開発した。データセットとベンチマークは、さらなる研究をサポートするためにリリースされる予定だ。
論文参考訳（メタデータ） (2024-07-06T00:40:53Z)
POLygraph: Polish Fake News Dataset [0.37698262166557467]
本稿では,ポーランドにおける偽ニュース検出のためのユニークなリソースであるPOLygraphデータセットを提案する。データセットは、11,360対のニュース記事(URLで特定)と対応するラベルを持つ「フェイク・オア・ノット」データセットと、5,082のニュース記事(URLで特定)とコメントするツイートを含む「フェイク・テア・セイ」データセットの2つの部分で構成されている。このプロジェクトはまた、高度な機械学習技術を使ってデータを分析し、コンテンツの信頼性を判断するソフトウェアツールも開発した。
論文参考訳（メタデータ） (2024-07-01T15:45:21Z)
3AM: An Ambiguity-Aware Multi-Modal Machine Translation Dataset [90.95948101052073]
英語と中国語で26,000のパラレル文対からなる曖昧性を考慮したMMTデータセットである3AMを導入する。我々のデータセットは、他のMTデータセットよりもあいまいで、キャプションと画像の両方が多種多様であるように設計されています。実験の結果,我々のデータセットでトレーニングしたMTモデルは,他のMTデータセットでトレーニングしたMTモデルよりも視覚情報を活用する能力が高いことがわかった。
論文参考訳（メタデータ） (2024-04-29T04:01:30Z)
AiGen-FoodReview: A Multimodal Dataset of Machine-Generated Restaurant Reviews and Images on Social Media [57.70351255180495]
AiGen-FoodReviewは、20,144のレストランレビューイメージペアからなるデータセットである。 FLAVAで99.80%のマルチモーダル精度を達成し,一様・多モーダル検出モデルについて検討する。この論文は、データセットをオープンソース化し、偽レビュー検出装置を公開し、非モーダルかつマルチモーダルな偽レビュー検出タスクでの使用を推奨し、合成データと真正データにおける言語的特徴と視覚的特徴を評価することで貢献する。
論文参考訳（メタデータ） (2024-01-16T20:57:36Z)
StableLLaVA: Enhanced Visual Instruction Tuning with Synthesized Image-Dialogue Data [129.92449761766025]
本稿では,視覚的インストラクションチューニングのための画像と対話を同期的に合成する新しいデータ収集手法を提案する。このアプローチは生成モデルのパワーを活用し、ChatGPTとテキスト・ツー・イメージ生成モデルの能力とを結合する。本研究は,各種データセットを対象とした総合的な実験を含む。
論文参考訳（メタデータ） (2023-08-20T12:43:52Z)
CHEF: A Pilot Chinese Dataset for Evidence-Based Fact-Checking [55.75590135151682]
CHEFは、10万件の現実世界のクレームに関する最初のChenese EvidenceベースのFact-checkingデータセットである。このデータセットは、政治から公衆衛生まで、複数のドメインをカバーし、インターネットから取得した注釈付きの証拠を提供する。
論文参考訳（メタデータ） (2022-06-06T09:11:03Z)
X-FACT: A New Benchmark Dataset for Multilingual Fact Checking [21.2633064526968]
本稿では,X-FACTについて紹介する。X-FACTは,自然に存在する実世界のクレームの事実検証のための,多言語データセットとして最大である。データセットには25の言語で短いステートメントが含まれており、専門家のファクトチェッカーによって正確性を示すラベルが付けられている。
論文参考訳（メタデータ） (2021-06-17T05:09:54Z)
MELINDA: A Multimodal Dataset for Biomedical Experiment Method Classification [14.820951153262685]
マルチモーダルbiomEdicaL experImeNtmethoD clAssificationのための新しいデータセット、MELINDAを紹介します。データセットは、完全に自動化された遠隔監視方法で収集され、ラベルは既存のキュレーションデータベースから取得されます。キャプションテキストまたは画像のみを入力として取得するユニモダルモデルを含む、さまざまな最先端のNLPおよびコンピュータビジョンモデルをベンチマークします。
論文参考訳（メタデータ） (2020-12-16T19:11:36Z)
InfoBERT: Improving Robustness of Language Models from An Information Theoretic Perspective [84.78604733927887]
BERTのような大規模言語モデルは、幅広いNLPタスクで最先端のパフォーマンスを実現している。近年の研究では、このようなBERTベースのモデルが、テキストの敵対的攻撃の脅威に直面していることが示されている。本稿では,事前学習した言語モデルの堅牢な微調整のための新しい学習フレームワークであるInfoBERTを提案する。
論文参考訳（メタデータ） (2020-10-05T20:49:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。