論文の概要: CCHall: A Novel Benchmark for Joint Cross-Lingual and Cross-Modal Hallucinations Detection in Large Language Models

• arxiv url: http://arxiv.org/abs/2505.19108v1
• Date: Sun, 25 May 2025 11:54:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:42.911381
• Title: CCHall: A Novel Benchmark for Joint Cross-Lingual and Cross-Modal Hallucinations Detection in Large Language Models
• Title（参考訳）: CCHall:大規模言語モデルにおける言語間・言語間共同幻覚検出のための新しいベンチマーク
• Authors: Yongheng Zhang, Xu Liu, Ruoxi Zhou, Qiguang Chen, Hao Fei, Wenpeng Lu, Libo Qin,
• Abstract要約: 本稿では,このギャップを埋めるために,新たな言語間およびモダクティブ・ハロシンクス・ベンチマーク (CCHall) を導入する。 具体的には、CCHallは言語横断とモーダル横断の両方の幻覚シナリオを同時に組み込んでいる。 我々はCCHallについて包括的な評価を行い、主要なオープンソースLLMとクローズドソースLLMの両方を探索する。
• 参考スコア（独自算出の注目度）: 20.692539273614763
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Investigating hallucination issues in large language models (LLMs) within cross-lingual and cross-modal scenarios can greatly advance the large-scale deployment in real-world applications. Nevertheless, the current studies are limited to a single scenario, either cross-lingual or cross-modal, leaving a gap in the exploration of hallucinations in the joint cross-lingual and cross-modal scenarios. Motivated by this, we introduce a novel joint Cross-lingual and Cross-modal Hallucinations benchmark (CCHall) to fill this gap. Specifically, CCHall simultaneously incorporates both cross-lingual and cross-modal hallucination scenarios, which can be used to assess the cross-lingual and cross-modal capabilities of LLMs. Furthermore, we conduct a comprehensive evaluation on CCHall, exploring both mainstream open-source and closed-source LLMs. The experimental results highlight that current LLMs still struggle with CCHall. We hope CCHall can serve as a valuable resource to assess LLMs in joint cross-lingual and cross-modal scenarios.
• Abstract（参考訳）: 大規模言語モデル(LLM)の言語間およびモジュール間シナリオにおける幻覚の問題を調査することは、現実世界のアプリケーションにおける大規模展開を大幅に前進させる可能性がある。 しかしながら、現在の研究は1つのシナリオに限られており、言語横断かモダル横断かのどちらかであり、共同の言語横断とモダル横断のシナリオにおける幻覚の探索のギャップを残している。 そこで我々は,このギャップを埋めるために,クロス言語とクロスモーダル・ハロシンクス・ベンチマーク(CCHall)を新たに導入する。 具体的には、CCHallは、LLMのクロスランガルおよびクロスモーダル能力を評価するために使用できる、クロスランガルとクロスモーダルの両方の幻覚シナリオを同時に組み込んでいる。 さらに、我々はCCHallについて包括的な評価を行い、主要なオープンソースLLMとクローズドソースLLMの両方を探索する。 実験の結果は、現在のLLMが依然としてCCHallと戦っていることを示している。 我々は、CCHallが、共同言語間および相互モーダルシナリオにおけるLLMを評価するための貴重なリソースとなることを願っている。

関連論文リスト

• Understanding LLMs' Cross-Lingual Context Retrieval: How Good It Is And Where It Comes From [61.63091726904068]
  12言語にわたる40以上の大言語モデル(LLM)の言語間コンテキスト検索能力を評価する。 いくつかの小さな訓練後のオープンLLMは、強い言語間コンテキスト検索能力を示している。 また, 大規模プレトレーニングでは, xMRCの性能が向上することが示唆された。
  論文  参考訳（メタデータ） (2025-04-15T06:35:27Z)
• Exploring Cross-lingual Latent Transplantation: Mutual Opportunities and Open Challenges [48.96952594416528]
  現在の大規模言語モデル(LLM)は多言語能力と文化的適応性に不均衡を示すことが多い。 XTransplantフレームワークは、言語間で潜在的なアクティベーションを移植することで、英語と非英語のリソースの相補的な長所を利用することができる。
  論文  参考訳（メタデータ） (2024-12-17T09:05:30Z)
• Crosslingual Capabilities and Knowledge Barriers in Multilingual Large Language Models [62.91524967852552]
  大規模言語モデル(LLM)は、多言語コーパスの事前訓練のため、一般的に多言語である。 しかし、これらのモデルは言語間の対応する概念、すなわち言語を横断的に関連付けることができるだろうか? 本研究は,言語横断的タスクにおける最先端LLMの評価である。
  論文  参考訳（メタデータ） (2024-06-23T15:15:17Z)
• Unveiling Linguistic Regions in Large Language Models [49.298360366468934]
  大規模言語モデル (LLM) は言語間アライメントと一般化能力を示す。 本稿では,LLMの言語能力に関するいくつかの調査を行う。
  論文  参考訳（メタデータ） (2024-02-22T16:56:13Z)
• Cross-lingual QA: A Key to Unlocking In-context Cross-lingual Performance [2.371686365695081]
  クロスランガルQAは、質問と回答の部分のみを翻訳し、翻訳コストを削減できる言語間プロンプト手法である。 4つのタイプ的多言語ベンチマークの実験により、クロスランガルQAはモデルに効果的に刺激を与え、クロスランガルの知識を引き出すことを示した。 本研究は,言語間実例を用いたオープンソースMLLMの高速化により,モデルスケールの増大に伴い,性能が向上することを示す。
  論文  参考訳（メタデータ） (2023-05-24T15:14:49Z)
• Multilingual LLMs are Better Cross-lingual In-context Learners with Alignment [24.742581572364124]
  インコンテキスト学習(ICL)は、大規模言語モデルが勾配更新なしでいくつかのラベル付きサンプルに条件付きテストラベルを推測できるようになり、展開される。 言語間テキスト分類のためのICLの詳細な分析を行う。 我々は新しいプロンプト・コンストラクション・ストラテジ--クロスランガルなインコンテキスト・ソース・ターゲットアライメント(X-InSTA)を提案する。
  論文  参考訳（メタデータ） (2023-05-10T07:24:36Z)
• Zero-Shot Cross-Lingual Summarization via Large Language Models [108.30673793281987]
  言語間要約(CLS)は、異なる対象言語で要約を生成する。 近年のLarge Language Models (LLMs) の出現は、計算言語学コミュニティから広く注目を集めている。 本稿では,異なるパラダイムからゼロショットCLSを実行するために,LSMを誘導するために様々なプロンプトを経験的に使用した。
  論文  参考訳（メタデータ） (2023-02-28T01:27:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。