論文の概要: Is it indeed bigger better? The comprehensive study of claim detection
LMs applied for disinformation tackling
- arxiv url: http://arxiv.org/abs/2311.06121v1
- Date: Fri, 10 Nov 2023 15:36:35 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-13 14:54:46.315289
- Title: Is it indeed bigger better? The comprehensive study of claim detection
LMs applied for disinformation tackling
- Title(参考訳): 本当にもっと大きいの?
情報処理に応用したクレーム検出用LMの総合的研究
- Authors: Martin Hyben, Sebastian Kula, Ivan Srba, Robert Moro, Jakub Simko
- Abstract要約: 本研究では,チェック価値のあるクレーム検出作業において,微調整モデルと極めて大きな言語モデルの性能を比較した。
様々なソースやスタイルのテキストからなる多言語・多言語データセットを構築した。
- 参考スコア(独自算出の注目度): 1.5856555660089906
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This study compares the performance of (1) fine-tuned models and (2)
extremely large language models on the task of check-worthy claim detection.
For the purpose of the comparison we composed a multilingual and multi-topical
dataset comprising texts of various sources and styles. Building on this, we
performed a benchmark analysis to determine the most general multilingual and
multi-topical claim detector.
We chose three state-of-the-art models in the check-worthy claim detection
task and fine-tuned them. Furthermore, we selected three state-of-the-art
extremely large language models without any fine-tuning. We made modifications
to the models to adapt them for multilingual settings and through extensive
experimentation and evaluation. We assessed the performance of all the models
in terms of accuracy, recall, and F1-score in in-domain and cross-domain
scenarios. Our results demonstrate that despite the technological progress in
the area of natural language processing, the models fine-tuned for the task of
check-worthy claim detection still outperform the zero-shot approaches in a
cross-domain settings.
- Abstract(参考訳): 本研究は,(1)微調整モデルと(2)チェック値クレーム検出タスクにおける超大規模言語モデルの性能を比較する。
比較のために,様々な情報源やスタイルのテキストからなる多言語・多言語データセットを構築した。
これに基づいて,最も一般的な多言語および多話題クレーム検出器を決定するためのベンチマーク解析を行った。
我々は、チェック価値のあるクレーム検出タスクで3つの最先端モデルを選択し、それらを微調整した。
さらに、3つの最先端の超大規模言語モデルを微調整なしで選択した。
我々は,多言語設定や広範囲な実験,評価を通じて,モデルの変更を行った。
ドメイン内およびクロスドメインシナリオにおける精度,リコール,F1スコアの観点から,すべてのモデルの性能を評価した。
以上の結果から,自然言語処理分野における技術進歩にもかかわらず,チェック価値の高いクレーム検出のタスク用に微調整されたモデルは,クロスドメイン設定におけるゼロショットアプローチよりも優れていた。
関連論文リスト
- Do We Need Language-Specific Fact-Checking Models? The Case of Chinese [17.55466402274949]
本稿では,中国語の事例に着目し,言語固有の事実チェックモデルの潜在的なメリットについて検討する。
まず、翻訳に基づく手法と多言語大言語モデルの限界を実証し、言語固有のシステムの必要性を強調した。
文脈情報を組み込んで文書から証拠をよりよく検索できる中国のファクトチェックシステムを提案する。
論文 参考訳(メタデータ) (2024-01-27T20:26:03Z) - Split and Rephrase with Large Language Models [2.7309692684728617]
Split and Rephrase (SPRP) タスクは、複雑な文を短い文法文の列に分割する。
タスク上の大きな言語モデルを評価し、主要なメトリクスに基づいて、技術の現状を大幅に改善できることを示します。
論文 参考訳(メタデータ) (2023-12-18T10:16:37Z) - Understanding Calibration for Multilingual Question Answering Models [62.59193996769162]
本研究では,様々な質問応答タスクにおいて,事前学習した多言語大言語モデルの校正特性について検討する。
本研究では,分布内,分布外,言語間移動設定におけるキャリブレーションの異なる次元について検討する。
モデルキャリブレーションを改善するための高効率な手法として,自動翻訳データ拡張を実演する。
論文 参考訳(メタデータ) (2023-11-15T03:29:02Z) - On the Analysis of Cross-Lingual Prompt Tuning for Decoder-based
Multilingual Model [49.81429697921861]
多言語自己回帰モデルにおけるパラメータ効率細調整(PEFT)と言語間タスクの相互作用について検討する。
高速チューニングは、微調整よりも低リソース言語の性能向上に有効であることを示す。
論文 参考訳(メタデータ) (2023-11-14T00:43:33Z) - A Comprehensive Evaluation and Analysis Study for Chinese Spelling Check [53.152011258252315]
音声とグラフィックの情報を合理的に使用することは,中国語のスペルチェックに有効であることを示す。
モデルはテストセットのエラー分布に敏感であり、モデルの欠点を反映している。
一般的なベンチマークであるSIGHANは、モデルの性能を確実に評価できない。
論文 参考訳(メタデータ) (2023-07-25T17:02:38Z) - ELEVATER: A Benchmark and Toolkit for Evaluating Language-Augmented
Visual Models [102.63817106363597]
ELEVATERは、事前訓練された言語拡張ビジュアルモデルの比較と評価を行う最初のベンチマークである。
20の画像分類データセットと35のオブジェクト検出データセットで構成され、それぞれが外部知識で拡張されている。
研究コミュニティ向けのツールキットと評価プラットフォームをリリースします。
論文 参考訳(メタデータ) (2022-04-19T10:23:42Z) - An Application of Pseudo-Log-Likelihoods to Natural Language Scoring [5.382454613390483]
比較的少ないパラメータとトレーニングステップを持つ言語モデルは、最近の大規模なデータセットでそれを上回るパフォーマンスを得ることができる。
二項選択タスクにおける常識推論のための絶対的最先端結果を生成する。
より小さなモデルの堅牢性は、構成性の観点から理解されるべきである。
論文 参考訳(メタデータ) (2022-01-23T22:00:54Z) - Unsupervised Domain Adaptation of a Pretrained Cross-Lingual Language
Model [58.27176041092891]
最近の研究は、大規模未ラベルテキストに対する言語間言語モデルの事前学習が、大幅な性能向上をもたらすことを示唆している。
本稿では,絡み合った事前学習した言語間表現からドメイン固有の特徴を自動的に抽出する,教師なし特徴分解手法を提案する。
提案モデルでは、相互情報推定を利用して、言語間モデルによって計算された表現をドメイン不変部分とドメイン固有部分に分解する。
論文 参考訳(メタデータ) (2020-11-23T16:00:42Z) - Comparison of Interactive Knowledge Base Spelling Correction Models for
Low-Resource Languages [81.90356787324481]
低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。
この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。
我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
論文 参考訳(メタデータ) (2020-10-20T17:31:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。