論文の概要: CCL-XCoT: An Efficient Cross-Lingual Knowledge Transfer Method for Mitigating Hallucination Generation

• arxiv url: http://arxiv.org/abs/2507.14239v1
• Date: Thu, 17 Jul 2025 14:25:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-22 20:51:31.794565
• Title: CCL-XCoT: An Efficient Cross-Lingual Knowledge Transfer Method for Mitigating Hallucination Generation
• Title（参考訳）: CCL-XCoT:幻覚発生の軽減のための効率的な言語間知識伝達手法
• Authors: Weihua Zheng, Roy Ka-Wei Lee, Zhengyuan Liu, Kui Wu, AiTi Aw, Bowei Zou,
• Abstract要約: MLLM(Large Language Models)は、言語全体にわたる強力な一般化を示すが、特に低リソース言語では幻覚の傾向にある。 MLLMにおける幻覚を緩和するための2段階の微調整フレームワークであるCCL-XCoTを提案する。 実験の結果,CCL-XCoTは幻覚率を最大62%削減し,言語ペア間の知識伝達を大幅に改善した。
• 参考スコア（独自算出の注目度）: 23.610002725335313
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multilingual Large Language Models(MLLMs) demonstrate strong generalization across languages, yet they remain prone to hallucinations, especially in low-resource languages, due to training data imbalances. These hallucinations, which include inaccurate or fabricated outputs, are particularly problematic in domain-specific generation tasks (Chataigner et al., 2024). To address this challenge, we propose CCL-XCoT(Curriculum-based Contrastive Learning-based Cross-lingual Chain-of-Thought), a two-stage fine-tuning framework for mitigating hallucination in MLLMs. Our approach first enhances cross-lingual semantic alignment through curriculum-based contrastive learning combined with next-token prediction during continued pre-training. Building on this foundation, we then introduce a cross-lingual Chain-of-Thought (XCoT) prompting strategy during instruction fine-tuning, which guides the model to reason in a high-resource language before generating answers in the target low-resource language. Experimental results show that CCL-XCoT reduces hallucination rates by up to 62% and substantially improves factual knowledge transfer across language pairs, without relying on external retrieval or multi-model ensembles.
• Abstract（参考訳）: MLLM(Multilingual Large Language Models)は、言語間の強力な一般化を示すが、訓練データの不均衡のため、特に低リソース言語では幻覚の傾向にある。 これらの幻覚は、不正確または製造された出力を含むが、特にドメイン固有の生成タスク(Chataigner et al , 2024)で問題となる。 この課題に対処するために,MLLMにおける幻覚を緩和するための2段階の微調整フレームワークであるCCL-XCoT(Curriculum-based Contrastive Learning-based Cross-lingual Chain-of-ought)を提案する。 提案手法は,カリキュラムに基づくコントラスト学習と,継続した事前学習中の次トーケン予測を併用することにより,言語間セマンティックアライメントを向上する。 この基盤を基盤として,命令の微調整中に,対象とする低リソース言語での回答を生成する前に,高リソース言語での推論をモデルに導出する,言語横断型Chain-of-Thought(XCoT)を導入している。 実験結果から,CCL-XCoTは幻覚率を最大62%削減し,外部検索やマルチモデルアンサンブルに頼ることなく,言語ペア間の知識伝達を大幅に改善することが示された。

関連論文リスト

• CLAIM: Mitigating Multilingual Object Hallucination in Large Vision-Language Models with Cross-Lingual Attention Intervention [56.08815340137881]
  LVLM(Large Vision-Language Models)は、印象的なマルチモーダル能力を示したが、多言語オブジェクト幻覚の傾向は残っていない。 LVLMにおける多言語オブジェクト幻覚(CLAIM)の緩和のための言語横断的注意介入を提案する。
  論文  参考訳（メタデータ） (2025-06-03T11:17:16Z)
• Cross-Lingual Pitfalls: Automatic Probing Cross-Lingual Weakness of Multilingual Large Language Models [55.14276067678253]
  本稿では,Large Language Models (LLMs) における言語間関係の弱点を効率的に同定するための新しい手法を提案する。 この手法を用いて16言語で6,000以上のバイリンガルペアからなる新しいデータセットを構築し、最先端のモデルにおいても弱点を明らかにする効果を実証した。 さらに,言語的類似性と言語間の弱点との関係について検討し,言語的関連言語が類似した演奏パターンを共有することを明らかにした。
  論文  参考訳（メタデータ） (2025-05-24T12:31:27Z)
• Understanding LLMs' Cross-Lingual Context Retrieval: How Good It Is And Where It Comes From [61.63091726904068]
  12言語にわたる40以上の大言語モデル(LLM)の言語間コンテキスト検索能力を評価する。 いくつかの小さな訓練後のオープンLLMは、強い言語間コンテキスト検索能力を示している。 また, 大規模プレトレーニングでは, xMRCの性能が向上することが示唆された。
  論文  参考訳（メタデータ） (2025-04-15T06:35:27Z)
• Adapting Mental Health Prediction Tasks for Cross-lingual Learning via Meta-Training and In-context Learning with Large Language Model [3.3590922002216193]
  モデルに依存しないメタラーニングと,このギャップに対処するために大規模言語モデル(LLM)を活用する。 まず,自己超越型メタラーニングモデルを適用し,迅速な適応と言語間移動のためのモデル初期化を改良する。 並行して、LLMのインコンテキスト学習機能を用いて、スワヒリのメンタルヘルス予測タスクにおけるパフォーマンスの精度を評価する。
  論文  参考訳（メタデータ） (2024-04-13T17:11:35Z)
• Bridging the Gap between Language Models and Cross-Lingual Sequence Labeling [101.74165219364264]
  大規模言語間事前学習言語モデル (xPLM) は、言語間シーケンスラベリングタスクにおいて有効であることを示す。 大きな成功にもかかわらず、事前学習と微調整の段階の間には訓練対象のギャップがあるという経験的観察を描いている。 本稿では,まず,言語間インフォーマティブ・スパン・マスキング(CLISM)と呼ばれるxSLのための事前学習タスクを設計し,目的のギャップを解消する。 第2に、コントラスト学習を利用して入力並列表現間の一貫性を促進するContrAstive-Consistency Regularization (CACR)を提案する。
  論文  参考訳（メタデータ） (2022-04-11T15:55:20Z)
• Improving the Lexical Ability of Pretrained Language Models for Unsupervised Neural Machine Translation [127.81351683335143]
  クロスリンガルプリトレーニングは、2つの言語の語彙的表現と高レベル表現を整列させるモデルを必要とする。 これまでの研究では、これは表現が十分に整合していないためです。 本稿では,語彙レベルの情報で事前学習するバイリンガルマスク言語モデルを,型レベルのクロスリンガルサブワード埋め込みを用いて強化する。
  論文  参考訳（メタデータ） (2021-03-18T21:17:58Z)
• Mixed-Lingual Pre-training for Cross-lingual Summarization [54.4823498438831]
  言語間の要約は、ソース言語の記事に対する対象言語の要約を作成することを目的としている。 本稿では,翻訳のような言語間タスクと,マスク付き言語モデルのようなモノリンガルタスクの両方を活用する混合言語事前学習に基づくソリューションを提案する。 本モデルでは,2.82(中国語)と1.15(中国語,英語)のROUGE-1スコアを最先端の結果に対して改善する。
  論文  参考訳（メタデータ） (2020-10-18T00:21:53Z)
• On Learning Universal Representations Across Languages [37.555675157198145]
  文レベルの表現を学習するための既存のアプローチを拡張し、言語間理解と生成の有効性を示す。 具体的には,複数の言語に分散した並列文の普遍表現を学習するための階層型コントラスト学習(HiCTL)手法を提案する。 我々は、XTREMEと機械翻訳という2つの難解な言語間タスクについて評価を行う。
  論文  参考訳（メタデータ） (2020-07-31T10:58:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。