論文の概要: IAI Group at CheckThat! 2024: Transformer Models and Data Augmentation for Checkworthy Claim Detection
- arxiv url: http://arxiv.org/abs/2408.01118v1
- Date: Fri, 2 Aug 2024 08:59:09 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-05 13:57:23.542716
- Title: IAI Group at CheckThat! 2024: Transformer Models and Data Augmentation for Checkworthy Claim Detection
- Title（参考訳）: IAI Group at CheckThat! 2024: Transformer Models and Data Augmentation for Checkworthy Claim Detection
- Authors: Peter Røysland Aarnes, Vinay Setty, Petra Galuščáková,
- Abstract要約: 本稿では,IAIグループによるクレームの自動チェックハーネス評価への参加について述べる。
このタスクには、英語、オランダ語、アラビア語の政治討論やTwitterのデータで、チェック価値のあるクレームを自動的に検出することが含まれる。
我々は、様々な事前学習された生成デコーダとエンコーダ変換モデルを利用し、少数ショットチェーンオブ思考推論のような手法を用いる。
- 参考スコア（独自算出の注目度）: 1.3686993145787067
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: This paper describes IAI group's participation for automated check-worthiness estimation for claims, within the framework of the 2024 CheckThat! Lab "Task 1: Check-Worthiness Estimation". The task involves the automated detection of check-worthy claims in English, Dutch, and Arabic political debates and Twitter data. We utilized various pre-trained generative decoder and encoder transformer models, employing methods such as few-shot chain-of-thought reasoning, fine-tuning, data augmentation, and transfer learning from one language to another. Despite variable success in terms of performance, our models achieved notable placements on the organizer's leaderboard: ninth-best in English, third-best in Dutch, and the top placement in Arabic, utilizing multilingual datasets for enhancing the generalizability of check-worthiness detection. Despite a significant drop in performance on the unlabeled test dataset compared to the development test dataset, our findings contribute to the ongoing efforts in claim detection research, highlighting the challenges and potential of language-specific adaptations in claim verification systems.
- Abstract（参考訳）: 本稿は,2024 CheckThat! の枠組みの中で,IAIグループによるクレームの自動チェックハーネス評価への参加について述べる。
Task 1: Check-Worthiness Estimation」に収録。
このタスクには、英語、オランダ語、アラビア語の政治討論やTwitterのデータで、チェック価値のあるクレームを自動的に検出することが含まれる。
事前訓練された生成デコーダとエンコーダトランスフォーマモデルを用いて、少数ショット連鎖推論、微調整、データ拡張、言語から別の言語への変換学習などの手法を用いた。
パフォーマンス面では様々な成功を収めたにもかかわらず、我々のモデルは主催者のリーダーボードに顕著な配置を達成しました。英語では9位、オランダ語では3位、アラビア語では最高位です。
開発テストデータセットと比較してラベル付きテストデータセットの性能は著しく低下しているものの、クレーム検出研究における継続的な取り組みに寄与し、クレーム検証システムにおける言語固有の適応の課題と可能性を強調した。
関連論文リスト
- OV-DINO: Unified Open-Vocabulary Detection with Language-Aware Selective Fusion [88.59397418187226]
我々はOV-DINOと呼ばれる新しいオープン語彙検出手法を提案する。
言語対応の選択的融合を統一フレームワークに組み込んだ、さまざまな大規模データセットで事前トレーニングされている。
提案するOV-DINOのオープン語彙検出ベンチマークにおける性能評価を行った。
論文 参考訳（メタデータ） (2024-07-10T17:05:49Z) - The Power of Question Translation Training in Multilingual Reasoning: Broadened Scope and Deepened Insights [108.40766216456413]
大規模言語モデルの英語と非英語のパフォーマンスのギャップを埋めるための質問アライメントフレームワークを提案する。
実験結果から、さまざまな推論シナリオ、モデルファミリー、サイズにわたって、多言語のパフォーマンスを向上できることが示された。
我々は、表現空間、生成された応答とデータスケールを分析し、質問翻訳訓練がLLM内の言語アライメントをどのように強化するかを明らかにする。
論文 参考訳（メタデータ） (2024-05-02T14:49:50Z) - Machine Translation Meta Evaluation through Translation Accuracy
Challenge Sets [92.38654521870444]
ACESは146の言語ペアにまたがる対照的な課題セットです。
このデータセットは、メトリクスが68の翻訳精度の誤差を識別できるかどうかを調べることを目的としている。
我々は、WMT2022および2023のメトリクス共有タスクに提出された50のメトリクスに対して、ACESをベンチマークすることで、大規模な研究を行う。
論文 参考訳（メタデータ） (2024-01-29T17:17:42Z) - Multilingual and Multi-topical Benchmark of Fine-tuned Language models and Large Language Models for Check-Worthy Claim Detection [1.4779899760345434]
本研究では,(1)微調整言語モデルと(2)チェック価値のあるクレーム検出タスクにおける大規模言語モデルの性能を比較した。
様々なソースやスタイルのテキストからなる多言語・多言語データセットを構築した。
論文 参考訳（メタデータ） (2023-11-10T15:36:35Z) - A deep Natural Language Inference predictor without language-specific
training data [44.26507854087991]
本研究では,言語固有の訓練データセットを使わずに,目的言語における文のペア間の推論関係(NLI)に対処するためのNLP手法を提案する。
我々は、同じトレーニング済みモデルの2つのインスタンスとともに、手動で翻訳される汎用翻訳データセットを利用する。
このモデルは、機械翻訳Stanford NLIテストデータセット、機械翻訳Multi-Genre NLIテストデータセット、手動翻訳RTE3-ITAテストデータセットで評価されている。
論文 参考訳（メタデータ） (2023-09-06T10:20:59Z) - Check-worthy Claim Detection across Topics for Automated Fact-checking [21.723689314962233]
我々は、新しい、目に見えないトピックのチェック価値のあるクレームを検出するという課題を評価し、定量化する。
AraCWAモデルを提案し,トピック間のチェック値のクレームを検出する際の性能劣化を緩和する。
論文 参考訳（メタデータ） (2022-12-16T14:54:56Z) - No Language Left Behind: Scaling Human-Centered Machine Translation [69.28110770760506]
低レベルの言語と高レベルの言語のパフォーマンスギャップを狭めるためのデータセットとモデルを作成します。
何千ものタスクをトレーニングしながらオーバーフィッティングに対処するために,複数のアーキテクチャとトレーニングの改善を提案する。
本モデルでは,従来の最先端技術と比較して,BLEUの44%の改善を実現している。
論文 参考訳（メタデータ） (2022-07-11T07:33:36Z) - IGLUE: A Benchmark for Transfer Learning across Modalities, Tasks, and
Languages [87.5457337866383]
画像認識言語理解評価ベンチマークについて紹介する。
IGLUEは、視覚的質問応答、クロスモーダル検索、グラウンドド推論、20言語にわたるグラウンドドエンターテイメントタスクをまとめて提供する。
翻訳-テストの転送はゼロショットの転送よりも優れており、少数ショットの学習は多くのタスクに役立てることが難しい。
論文 参考訳（メタデータ） (2022-01-27T18:53:22Z) - UPV at CheckThat! 2021: Mitigating Cultural Differences for Identifying
Multilingual Check-worthy Claims [6.167830237917659]
本稿では,意図しないバイアスを軽減するための補助課題として,言語識別タスクを提案する。
その結果,言語識別とチェックアワーなクレーム検出タスクを併用することで,選択した言語の性能向上が期待できることがわかった。
論文 参考訳（メタデータ） (2021-09-19T21:46:16Z) - Accenture at CheckThat! 2021: Interesting claim identification and
ranking with contextually sensitive lexical training data augmentation [0.0]
本稿では,CLEF2021 CheckThat! Lab, Task 1におけるAccenture Teamのアプローチについて論じる。
ソーシャルメディア上での主張が、幅広い読者にとって興味深いものなのか、事実確認されるべきなのかを特定できる。
Twitterのトレーニングとテストデータは、英語、アラビア語、スペイン語、トルコ語、ブルガリア語で提供されている。
論文 参考訳（メタデータ） (2021-07-12T18:46:47Z) - Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。
提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。
提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
論文 参考訳（メタデータ） (2020-10-24T11:55:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。