論文の概要: When Scale Meets Diversity: Evaluating Language Models on Fine-Grained Multilingual Claim Verification
- arxiv url: http://arxiv.org/abs/2507.20700v1
- Date: Mon, 28 Jul 2025 10:49:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-29 16:23:58.082144
- Title: When Scale Meets Diversity: Evaluating Language Models on Fine-Grained Multilingual Claim Verification
- Title（参考訳）: 多様性に直面する時--細粒度多言語クレーム検証に基づく言語モデルの評価
- Authors: Hanna Shcharbakova, Tatiana Anikina, Natalia Skachkova, Josef van Genabith,
- Abstract要約: 大規模言語モデルは、多くのNLPタスクにまたがる顕著な能力を持つが、ニュアンス付き分類スキームを用いた多言語クレーム検証の有効性は、まだ検討されていない。
X-Factデータセットでは、7つの異なる精度カテゴリを持つ25言語にまたがる5つの最先端言語モデルを評価する。
驚くべきことに、XLM-R は全試験 LLM よりかなり優れており、57.7% のマクロF1 を 16.9% の最高の LLM 性能と比較すると達成している。
- 参考スコア（独自算出の注目度）: 14.187153195380668
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The rapid spread of multilingual misinformation requires robust automated fact verification systems capable of handling fine-grained veracity assessments across diverse languages. While large language models have shown remarkable capabilities across many NLP tasks, their effectiveness for multilingual claim verification with nuanced classification schemes remains understudied. We conduct a comprehensive evaluation of five state-of-the-art language models on the X-Fact dataset, which spans 25 languages with seven distinct veracity categories. Our experiments compare small language models (encoder-based XLM-R and mT5) with recent decoder-only LLMs (Llama 3.1, Qwen 2.5, Mistral Nemo) using both prompting and fine-tuning approaches. Surprisingly, we find that XLM-R (270M parameters) substantially outperforms all tested LLMs (7-12B parameters), achieving 57.7% macro-F1 compared to the best LLM performance of 16.9%. This represents a 15.8% improvement over the previous state-of-the-art (41.9%), establishing new performance benchmarks for multilingual fact verification. Our analysis reveals problematic patterns in LLM behavior, including systematic difficulties in leveraging evidence and pronounced biases toward frequent categories in imbalanced data settings. These findings suggest that for fine-grained multilingual fact verification, smaller specialized models may be more effective than general-purpose large models, with important implications for practical deployment of fact-checking systems.
- Abstract（参考訳）: 多言語誤報の急速な拡散は、多言語にわたるきめ細かい精度評価を処理できる堅牢な自動事実検証システムを必要とする。
大規模言語モデルは、多くのNLPタスクにおいて顕著な能力を示してきたが、ニュアンス付き分類スキームを用いた多言語クレーム検証の有効性はいまだ検討されていない。
X-Factデータセットでは、7つの異なるカテゴリを持つ25言語にまたがる5つの最先端言語モデルを包括的に評価する。
実験では,小言語モデル (エンコーダベースXLM-R, mT5) と最近のデコーダ専用LLM (Llama 3.1, Qwen 2.5, Mistral Nemo) を比較した。
驚くべきことに、XLM-R (270Mパラメータ) は試験済みのLLM(7-12Bパラメータ)をほぼ上回り、最高のLLM性能の16.9%と比較して57.7%のマクロF1を達成している。
これは、過去の最先端(41.9%)よりも15.8%改善され、多言語事実検証のための新しいパフォーマンスベンチマークが確立されたことを意味する。
分析の結果,不均衡なデータ設定において,証拠の活用や頻繁なカテゴリに対する偏見の顕在化など,LCM行動の問題点が明らかになった。
これらの結果から, より詳細な多言語事実検証では, より小型の専門モデルの方が汎用的な大規模モデルよりも有効であり, ファクトチェックシステムの実践的展開に重要な意味があることが示唆された。
関連論文リスト
- Facts are Harder Than Opinions -- A Multilingual, Comparative Analysis of LLM-Based Fact-Checking Reliability [1.1135113962297134]
本稿では,複数の言語やトピックに61,514のクレームを含む新しい動的データセットを導入し,既存のデータセットを2024年まで拡張する。
GPT-4o, GPT-3.5 Turbo, LLaMA 3.1, Mixtral 8x7B の5つの主要言語モデル(LLM)を評価した。
すべてのモデルにおいて、事実に耳を傾ける主張は意見よりもしばしば誤分類され、重要な脆弱性が明らかになる。
論文 参考訳（メタデータ） (2025-06-04T07:47:21Z) - Cross-Lingual Pitfalls: Automatic Probing Cross-Lingual Weakness of Multilingual Large Language Models [55.14276067678253]
本稿では,Large Language Models (LLMs) における言語間関係の弱点を効率的に同定するための新しい手法を提案する。
この手法を用いて16言語で6,000以上のバイリンガルペアからなる新しいデータセットを構築し、最先端のモデルにおいても弱点を明らかにする効果を実証した。
さらに,言語的類似性と言語間の弱点との関係について検討し,言語的関連言語が類似した演奏パターンを共有することを明らかにした。
論文 参考訳（メタデータ） (2025-05-24T12:31:27Z) - Out of Style: RAG's Fragility to Linguistic Variation [29.59506089890902]
ユーザクエリは言語的なバリエーションが大きく、依存するRAGコンポーネント間のカスケードエラーを引き起こす可能性がある。
我々は,4つの言語的次元(形式性,可読性,丁寧性,文法的正しさ)がRAG性能に与える影響を分析する。
論文 参考訳（メタデータ） (2025-04-11T03:30:26Z) - M-Prometheus: A Suite of Open Multilingual LLM Judges [64.22940792713713]
M-Prometheusは,多言語出力の直接評価とペア比較フィードバックを両立できるオープンウェイトLLM判定器のスイートである。
M-Prometheusモデルは、20以上の言語にまたがる多言語報酬ベンチマークや、4つの言語対をカバーする文語機械翻訳(MT)評価において、最先端のLLM判事より優れている。
論文 参考訳（メタデータ） (2025-04-07T11:37:26Z) - Multi-IF: Benchmarking LLMs on Multi-Turn and Multilingual Instructions Following [51.18383180774354]
Multi-IFは,大規模言語モデルの習熟度を多元的および多言語的指示に従って評価するための新しいベンチマークである。
Multi-IF 上での14の最先端 LLM の評価結果から,既存のベンチマークよりもはるかに難しい課題であることが判明した。
非ラテン文字(ヒンディー語、ロシア語、中国語)を持つ言語は一般的に高いエラー率を示し、モデルの多言語能力の潜在的な制限を示唆している。
論文 参考訳（メタデータ） (2024-10-21T00:59:47Z) - The Power of Question Translation Training in Multilingual Reasoning: Broadened Scope and Deepened Insights [108.40766216456413]
大規模言語モデルの英語と非英語のパフォーマンスのギャップを埋めるための質問アライメントフレームワークを提案する。
実験結果から、さまざまな推論シナリオ、モデルファミリー、サイズにわたって、多言語のパフォーマンスを向上できることが示された。
我々は、表現空間、生成された応答とデータスケールを分析し、質問翻訳訓練がLLM内の言語アライメントをどのように強化するかを明らかにする。
論文 参考訳（メタデータ） (2024-05-02T14:49:50Z) - MAPLE: Multilingual Evaluation of Parameter Efficient Finetuning of Large Language Models [7.321459642283822]
ファインチューニングは、膨大なリソースと計算を必要とせずに、言語モデルの性能を向上させることができる。
LLama-2-7B モデルと Mistral-7B モデルを2つの合成多言語命令チューニングデータセット上で微調整し、モデル性能に与える影響を判定する。
小型のオープンソースモデルのPEFTは、これらのモデルとより大きなモデルの間のギャップを埋めることがあるが、英語のパフォーマンスは打撃を受ける可能性がある。
論文 参考訳（メタデータ） (2024-01-15T11:06:43Z) - MEGAVERSE: Benchmarking Large Language Models Across Languages, Modalities, Models and Tasks [12.665447518524187]
本研究の目的は、同一の多言語データセットで比較することで、SoTA LLMの非英語能力の徹底的な評価を行うことである。
私たちのベンチマークは、低リソースのアフリカ言語を含む83の言語をカバーする22のデータセットで構成されています。
また、データ汚染に関する研究を行い、複数のモデルが多言語評価ベンチマークで汚染される可能性が示唆された。
論文 参考訳（メタデータ） (2023-11-13T16:45:37Z) - Breaking Language Barriers in Multilingual Mathematical Reasoning: Insights and Observations [59.056367787688146]
本稿では, マルチリンガル数学推論 (xMR) LLM の探索と学習の先駆者である。
我々は10の異なる言語を含む最初の多言語数学推論命令データセットMGSM8KInstructを構築した。
翻訳を利用して、10個の異なる言語を含む最初の多言語数学推論命令データセットMGSM8KInstructを構築した。
論文 参考訳（メタデータ） (2023-10-31T08:09:20Z) - mFACE: Multilingual Summarization with Factual Consistency Evaluation [79.60172087719356]
抽象的な要約は、事前訓練された言語モデルと大規模データセットの可用性のおかげで、近年で新たな関心を集めている。
有望な結果にもかかわらず、現在のモデルはいまだに現実的に矛盾した要約を生み出すことに苦しむ。
事実整合性評価モデルを利用して、多言語要約を改善する。
論文 参考訳（メタデータ） (2022-12-20T19:52:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。