論文の概要: SynDy: Synthetic Dynamic Dataset Generation Framework for Misinformation Tasks
- arxiv url: http://arxiv.org/abs/2405.10700v1
- Date: Fri, 17 May 2024 11:14:55 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-20 16:22:57.693289
- Title: SynDy: Synthetic Dynamic Dataset Generation Framework for Misinformation Tasks
- Title（参考訳）: SynDy:誤情報処理のための動的データセット生成フレームワーク
- Authors: Michael Shliselberg, Ashkan Kazemi, Scott A. Hale, Shiri Dori-Hacohen,
- Abstract要約: ディアスポラのコミュニティは、違法な誤報によって不当に影響され、しばしば主流の事実チェックの努力によって無視される。
我々は、最も大きなフロンティア大言語モデルの能力を活用するための、Synthetic Dynamic dataset GenerationのためのフレームワークであるSynDyを紹介する。
SynDy は LLMs を利用した最初の論文であり、誤情報緩和に直接関連のあるタスクのためのきめ細かい合成ラベルを作成する。
我々は、一般的な誤情報トピックに関する高品質な説明者に対して、新しい誤情報クレームをマッチングするなどのファクトチェックツールをSynDyで実現することを期待している。
- 参考スコア（独自算出の注目度）: 11.51618067777228
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Diaspora communities are disproportionately impacted by off-the-radar misinformation and often neglected by mainstream fact-checking efforts, creating a critical need to scale-up efforts of nascent fact-checking initiatives. In this paper we present SynDy, a framework for Synthetic Dynamic Dataset Generation to leverage the capabilities of the largest frontier Large Language Models (LLMs) to train local, specialized language models. To the best of our knowledge, SynDy is the first paper utilizing LLMs to create fine-grained synthetic labels for tasks of direct relevance to misinformation mitigation, namely Claim Matching, Topical Clustering, and Claim Relationship Classification. SynDy utilizes LLMs and social media queries to automatically generate distantly-supervised, topically-focused datasets with synthetic labels on these three tasks, providing essential tools to scale up human-led fact-checking at a fraction of the cost of human-annotated data. Training on SynDy's generated labels shows improvement over a standard baseline and is not significantly worse compared to training on human labels (which may be infeasible to acquire). SynDy is being integrated into Meedan's chatbot tiplines that are used by over 50 organizations, serve over 230K users annually, and automatically distribute human-written fact-checks via messaging apps such as WhatsApp. SynDy will also be integrated into our deployed Co-Insights toolkit, enabling low-resource organizations to launch tiplines for their communities. Finally, we envision SynDy enabling additional fact-checking tools such as matching new misinformation claims to high-quality explainers on common misinformation topics.
- Abstract（参考訳）: ディアスポラのコミュニティは、オフザラダーの誤報によって不当に影響を受け、しばしば主流のファクトチェックの取り組みによって無視され、初期段階のファクトチェックのイニシアチブをスケールアップするための重要なニーズを生み出している。
本稿では,Large Language Models (LLMs) の能力を生かして,局所的な特化言語モデルを訓練する,Synthetic Dynamic Dataset Generation のフレームワークであるSynDyを提案する。
我々の知る限り、SynDyはLLMを利用した最初の論文であり、誤情報軽減、すなわち、クラムマッチング、トピカルクラスタリング、およびクラム関係分類に直接関連のあるタスクのためのきめ細かい合成ラベルを作成する。
SynDyは、LLMとソーシャルメディアクエリを使用して、これらの3つのタスクに合成ラベルを付けた、遠くに監督された、トポロジにフォーカスしたデータセットを自動的に生成し、人間によるファクトチェックを、人間による注釈付きデータのコストのごく一部でスケールアップするための重要なツールを提供する。
SynDyが生成したラベルのトレーニングは、標準的なベースラインよりも改善されており、人間ラベルのトレーニング(取得が不可能な可能性がある)に比べれば、それほど悪くはない。
SynDyはMeedanのチャットボットのチップラインに統合されており、50以上の組織が使用し、年間230万以上のユーザにサービスを提供し、WhatsAppなどのメッセージングアプリを通じて自動的に人書きのファクトチェックを配布する。
SynDyはデプロイされたCo-Insightsツールキットにも統合され、低リソースの組織がコミュニティにヒントを提供することができます。
最後に,SynDyにより,一般的な誤情報トピックに関する高品質な説明者に対して,新たな誤情報クレームをマッチングするなどのファクトチェックツールが利用可能になることを期待している。
関連論文リスト
- Little Giants: Synthesizing High-Quality Embedding Data at Scale [71.352883755806]
SPEEDは,オープンソースの小型モデルと協調して大規模な埋め込みデータを効率的に生成するフレームワークである。
SPEEDはGPT API呼び出しの1/10未満しか使用せず、両者が合成データのみに基づいてトレーニングされている場合、最先端の埋め込みモデルE5_mistralよりも優れている。
論文 参考訳（メタデータ） (2024-10-24T10:47:30Z) - ToolFlow: Boosting LLM Tool-Calling Through Natural and Coherent Dialogue Synthesis [80.34000499166648]
より関連性の高いツールの組み合わせをサンプリングするためのグラフベースのサンプリング戦略と、コヒーレントな対話の合成を導く計画を作成するための計画生成戦略を提案する。
ツールフローで生成した8000の合成対話を用いてLLaMA-3.1-8BにSFTを適用した。
その結果,GPT-4に匹敵するツールコール性能が得られた。
論文 参考訳（メタデータ） (2024-10-24T05:45:04Z) - Efficacy of Synthetic Data as a Benchmark [3.2968976262860408]
大規模言語モデル(LLM)による合成データ生成の有効性について検討する。
実験の結果, 単純なタスクに対して, 合成データは様々な手法の性能を効果的に捉えることができるが, 名前付きエンティティ認識のような複雑なタスクでは不十分であることがわかった。
我々は、ベンチマークデータの生成とタスクの実行の両方に同じLLMを使用した場合のバイアスを評価するバイアス係数と呼ばれる新しい指標を提案する。
論文 参考訳（メタデータ） (2024-09-18T13:20:23Z) - A Correlation- and Mean-Aware Loss Function and Benchmarking Framework to Improve GAN-based Tabular Data Synthesis [2.2451409468083114]
本稿では,GAN(Generative Adversarial Network)のための新しい相関と平均認識損失関数を提案する。
提案した損失関数は、真のデータ分布をキャプチャする既存の手法よりも統計的に有意な改善を示す。
ベンチマークフレームワークは、強化された合成データ品質により、下流の機械学習タスクのパフォーマンスが向上することを示している。
論文 参考訳（メタデータ） (2024-05-27T09:08:08Z) - A Multi-Faceted Evaluation Framework for Assessing Synthetic Data Generated by Large Language Models [3.672850225066168]
生成AIと大規模言語モデル(LLM)は、合成データを生成するための新たな道を開いた。
潜在的なメリットにもかかわらず、プライバシー漏洩に関する懸念が浮上している。
我々は,合成表データの忠実さ,有用性,およびプライバシー保護を評価するために設計されたオープンソースの評価フレームワークであるSynEvalを紹介する。
論文 参考訳（メタデータ） (2024-04-20T08:08:28Z) - Best Practices and Lessons Learned on Synthetic Data [83.63271573197026]
AIモデルの成功は、大規模で多様な、高品質なデータセットの可用性に依存している。
合成データは、現実世界のパターンを模倣する人工データを生成することによって、有望なソリューションとして現れてきた。
論文 参考訳（メタデータ） (2024-04-11T06:34:17Z) - Synthetic data, real errors: how (not) to publish and use synthetic data [86.65594304109567]
生成過程が下流MLタスクにどのように影響するかを示す。
本稿では、生成プロセスモデルパラメータの後方分布を近似するために、Deep Generative Ensemble (DGE)を導入する。
論文 参考訳（メタデータ） (2023-05-16T07:30:29Z) - Beyond Privacy: Navigating the Opportunities and Challenges of Synthetic
Data [91.52783572568214]
合成データは、機械学習の世界において支配的な力となり、データセットを個々のニーズに合わせて調整できる未来を約束する。
合成データのより広範な妥当性と適用のために,コミュニティが克服すべき根本的な課題について論じる。
論文 参考訳（メタデータ） (2023-04-07T16:38:40Z) - Synthcity: facilitating innovative use cases of synthetic data in
different data modalities [86.52703093858631]
Synthcityは、MLフェアネス、プライバシ、拡張における合成データの革新的なユースケースのための、オープンソースのソフトウェアパッケージである。
Synthcityは、実践者に対して、合成データにおける最先端の研究とツールへの単一のアクセスポイントを提供する。
論文 参考訳（メタデータ） (2023-01-18T14:49:54Z) - FedSyn: Synthetic Data Generation using Federated Learning [0.0]
現在の機械学習のプラクティスは、既存のデータセットから合成データを生成するために利用することができる。
データプライバシは、一部の機関が満足できないかもしれないことを懸念している。
本稿では,合成データを生成する新しい手法であるFedSynを提案する。
論文 参考訳（メタデータ） (2022-03-11T14:05:37Z) - Less is More: Learning from Synthetic Data with Fine-grained Attributes
for Person Re-Identification [16.107661617441327]
人物の再識別(re-ID)は、公共のセキュリティやビデオ監視などのアプリケーションにおいて重要な役割を果たす。
近年、合成データから学ぶことは、学術と公衆の目の両方から注目を集めている。
我々は,微粒な属性分布を持つファインGPRという大規模合成人データセットを構築し,ラベル付けする。
論文 参考訳（メタデータ） (2021-09-22T03:12:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。