論文の概要: AKCIT-FN at CheckThat! 2025: Switching Fine-Tuned SLMs and LLM Prompting for Multilingual Claim Normalization
- arxiv url: http://arxiv.org/abs/2509.11496v1
- Date: Mon, 15 Sep 2025 01:19:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-16 17:26:23.111308
- Title: AKCIT-FN at CheckThat! 2025: Switching Fine-Tuned SLMs and LLM Prompting for Multilingual Claim Normalization
- Title(参考訳): AKCIT-FN at CheckThat! 2025: Switching Fine-Tuned SLMs and LLM Prompting for Multilingual Claim Normalization (英語)
- Authors: Fabrycio Leite Nakano Almada, Kauan Divino Pouso Mariano, Maykon Adriell Dutra, Victor Emanuel da Silva Monteiro, Juliana Resplande Sant'Anna Gomes, Arlindo Rodrigues Galvão Filho, Anderson da Silva Soares,
- Abstract要約: クレームの正規化は、自動ファクトチェックパイプラインにおける重要なステップである。
CLEF-2025 CheckThat! Task2は20言語にわたるクレーム正規化を行うシステムに挑戦する。
- 参考スコア(独自算出の注目度): 0.5274891943689054
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Claim normalization, the transformation of informal social media posts into concise, self-contained statements, is a crucial step in automated fact-checking pipelines. This paper details our submission to the CLEF-2025 CheckThat! Task~2, which challenges systems to perform claim normalization across twenty languages, divided into thirteen supervised (high-resource) and seven zero-shot (no training data) tracks. Our approach, leveraging fine-tuned Small Language Models (SLMs) for supervised languages and Large Language Model (LLM) prompting for zero-shot scenarios, achieved podium positions (top three) in fifteen of the twenty languages. Notably, this included second-place rankings in eight languages, five of which were among the seven designated zero-shot languages, underscoring the effectiveness of our LLM-based zero-shot strategy. For Portuguese, our initial development language, our system achieved an average METEOR score of 0.5290, ranking third. All implementation artifacts, including inference, training, evaluation scripts, and prompt configurations, are publicly available at https://github.com/ju-resplande/checkthat2025_normalization.
- Abstract(参考訳): 非公式なソーシャルメディア投稿を簡潔で自己完結したステートメントに変換するクレーム正規化は、自動ファクトチェックパイプラインにおける重要なステップである。
CLEF-2025 CheckThat!
タスク~2は、20言語にわたるクレーム正規化を行うシステムに挑戦し、13の教師付き(高リソース)と7つのゼロショット(トレーニングデータなし)のトラックに分けられる。
我々のアプローチは、教師付き言語に微調整された小言語モデル(SLM)とゼロショットシナリオに拍車をかける大言語モデル(LLM)を活用し、20言語中15言語で表彰台位(トップ3)を達成した。
中でも注目すべきは、8つの言語で2位にランクインしたことです。そのうち5つは7つの指定されたゼロショット言語のうちの1つで、LLMベースのゼロショット戦略の有効性を裏付けています。
私たちの初期の開発言語であるポルトガル語では、システムの平均METEORスコアは0.5290で、第3位でした。
推論、トレーニング、評価スクリプト、プロンプト設定を含むすべての実装成果物は、https://github.com/ju-resplande/checkthat2025_normalizationで公開されている。
関連論文リスト
- DS@GT at CheckThat! 2025: A Simple Retrieval-First, LLM-Backed Framework for Claim Normalization [41.99844472131922]
クレーム正規化は、任意の自動ファクトチェックシステムにおいて不可欠な部分である。
CheckThat! 2025 Task 2はクレームの正規化に特化しており、20言語にまたがっている。
提案手法は,LLM支援パイプラインを軽量に構築する。
論文 参考訳(メタデータ) (2025-08-24T15:19:58Z) - SLRTP2025 Sign Language Production Challenge: Methodology, Results, and Future Work [87.9341538630949]
第1回手話生産チャレンジはCVPR 2025で第3回SLRTPワークショップの一環として開催された。
コンペティションの目的は、音声言語文からスケルトンポーズのシーケンスに変換するアーキテクチャを評価することである。
本稿では,挑戦設計と入賞方法について述べる。
論文 参考訳(メタデータ) (2025-08-09T11:57:33Z) - PolyPrompt: Automating Knowledge Extraction from Multilingual Language Models with Dynamic Prompt Generation [0.0]
大規模言語モデル(LLM)の多言語機能を強化するための新しいパラメータ効率フレームワークであるPolyPromptを紹介する。
提案手法では,各言語に対するトリガトークンの集合を勾配に基づく探索により学習し,入力クエリの言語を識別し,推論中にプロンプトにプリコンパイルされた対応するトリガトークンを選択する。
我々は20億のパラメータモデルで実験を行い、15の類型的および資源的多様言語にわたる世界MMLUベンチマークで評価を行い、ナイーブおよびトランスレーショナル・ピペリンベースラインと比較して3.7%-19.9%の精度向上を示した。
論文 参考訳(メタデータ) (2025-02-27T04:41:22Z) - Franken-Adapter: Cross-Lingual Adaptation of LLMs by Embedding Surgery [31.516243610548635]
我々は,デコーダのみの大規模言語モデルに対するモジュール型言語適応アプローチであるtextitFranken-Adapter$を提示する。
提案手法は,対象言語用にカスタマイズされた語彙を作成し,多言語データへの組込みによる言語適応を行うことから始める。
最大27Bパラメータを持つ$ttGemma2$モデルの実験では、96言語で最大20%の改善が示され、識別的タスクと生成的タスクの両方にまたがっている。
論文 参考訳(メタデータ) (2025-02-12T00:38:11Z) - Multi-IF: Benchmarking LLMs on Multi-Turn and Multilingual Instructions Following [51.18383180774354]
Multi-IFは,大規模言語モデルの習熟度を多元的および多言語的指示に従って評価するための新しいベンチマークである。
Multi-IF 上での14の最先端 LLM の評価結果から,既存のベンチマークよりもはるかに難しい課題であることが判明した。
非ラテン文字(ヒンディー語、ロシア語、中国語)を持つ言語は一般的に高いエラー率を示し、モデルの多言語能力の潜在的な制限を示唆している。
論文 参考訳(メタデータ) (2024-10-21T00:59:47Z) - Efficiently Aligned Cross-Lingual Transfer Learning for Conversational
Tasks using Prompt-Tuning [98.60739735409243]
英語のような高リソース言語で訓練された言語モデルの言語間移動は、多くのNLPタスクのために広く研究されている。
並列および大規模多言語会話データセットである言語間アライメント事前学習のためのXSGDを導入する。
協調的な言語間表現を容易にするために,アライメントプロンプトを学習するための効率的なプロンプトチューニング手法を開発した。
論文 参考訳(メタデータ) (2023-04-03T18:46:01Z) - ANDES at SemEval-2020 Task 12: A jointly-trained BERT multilingual model
for offensive language detection [0.6445605125467572]
我々は,提案言語にまたがる課題に対処するために,多言語BERTを微調整した単一モデルを共同で訓練した。
私たちの単一モデルは、最高のパフォーマンスシステムに近いパフォーマンスで、競争力のある結果を得ました。
論文 参考訳(メタデータ) (2020-08-13T16:07:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。