論文の概要: CCNU at SemEval-2025 Task 3: Leveraging Internal and External Knowledge of Large Language Models for Multilingual Hallucination Annotation

• arxiv url: http://arxiv.org/abs/2505.11965v1
• Date: Sat, 17 May 2025 11:41:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:10.962835
• Title: CCNU at SemEval-2025 Task 3: Leveraging Internal and External Knowledge of Large Language Models for Multilingual Hallucination Annotation
• Title（参考訳）: CCNU at SemEval-2025 Task 3: Leveraging internal and external Knowledge of Large Language Models for Multilingual Hallucination Annotation
• Authors: Xu Liu, Guanyi Chen,
• Abstract要約: 本稿では,中央中国師範大学(CCNU)チームがMu-SHROOM共有タスクのために開発したシステムについて述べる。 提案手法では,異なる専門分野の複数の大規模言語モデルを用いて,幻覚の注釈付けに並列に活用する。 オープンソースのLLM DeepSeek-V3を用いて,ヒンディー語データのトップランキング(#1)を達成し,他の7言語でトップ5の地位を確保した。
• 参考スコア（独自算出の注目度）: 7.398064094295361
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present the system developed by the Central China Normal University (CCNU) team for the Mu-SHROOM shared task, which focuses on identifying hallucinations in question-answering systems across 14 different languages. Our approach leverages multiple Large Language Models (LLMs) with distinct areas of expertise, employing them in parallel to annotate hallucinations, effectively simulating a crowdsourcing annotation process. Furthermore, each LLM-based annotator integrates both internal and external knowledge related to the input during the annotation process. Using the open-source LLM DeepSeek-V3, our system achieves the top ranking (\#1) for Hindi data and secures a Top-5 position in seven other languages. In this paper, we also discuss unsuccessful approaches explored during our development process and share key insights gained from participating in this shared task.
• Abstract（参考訳）: そこで本研究では,中央中国師範大学(CCNU)チームが開発したMu-SHROOM共有タスクを,14言語にわたる質問応答システムにおける幻覚の同定に焦点をあてる。 提案手法では,複数の言語モデル(LLM)を専門知識の異なる分野に活用し,幻覚の注釈付けに並列に活用し,クラウドソーシングのアノテーションプロセスを効果的にシミュレートする。 さらに、各LDMベースのアノテータは、アノテーションプロセス中に入力に関連する内部知識と外部知識の両方を統合する。 オープンソースのLLM DeepSeek-V3を用いて,ヒンディー語データのトップランキング(\#1)を達成し,他の7言語でトップ5の地位を確保した。 本稿では,開発プロセスにおけるアプローチの失敗と,この共有タスクへの参加から得られた重要な洞察の共有についても論じる。

関連論文リスト

• UCSC at SemEval-2025 Task 3: Context, Models and Prompt Optimization for Automated Hallucination Detection in LLM Output [7.121378498209948]
  SemEval 2025 Task 3, Mu-SHROOM: Shared-task on Hallucinations and Related Observable Overgeneration misstakes, is a recent efforts in this direction。 本稿では,UCSC システムを共有 Mu-SHROOM タスクに適用する。 まず、関連するコンテキストを検索し、次に回答から偽のコンテンツを特定し、最終的にLLM出力のスパンにマップするフレームワークを導入する。
  論文  参考訳（メタデータ） (2025-05-05T21:15:40Z)
• How LLMs Learn: Tracing Internal Representations with Sparse Autoencoders [30.36521888592164]
  大規模言語モデル(LLM)は、目覚ましい多言語機能と幅広い知識を示している。 LLMの内部表現にエンコードされた情報が、トレーニングプロセス中にどのように進化するかを分析する。
  論文  参考訳（メタデータ） (2025-03-09T02:13:44Z)
• Open-Source Large Language Models as Multilingual Crowdworkers: Synthesizing Open-Domain Dialogues in Several Languages With No Examples in Targets and No Machine Translation [1.7436854281619139]
  大規模言語モデルを用いて複数のターゲット言語でオープンドメイン対話データを生成するパイプラインを提案する。 生成した対話の開放性を高め,実生活を模倣するために,話者が関与する会話の種類に応じた発話イベントの概念を追加した。
  論文  参考訳（メタデータ） (2025-03-05T12:52:14Z)
• Enhancing Entertainment Translation for Indian Languages using Adaptive Context, Style and LLMs [3.55026004901472]
  本稿では,現在のセッションの文脈とスタイルを推定するアルゴリズムを導入し,これらの推定値を用いてLLM(Large Language Model)を誘導し,高品質な翻訳を生成するプロンプトを生成する。 本手法はLLMに依存しない言語であり,汎用ツールである。
  論文  参考訳（メタデータ） (2024-12-29T11:33:51Z)
• How Do Multilingual Language Models Remember Facts? [50.13632788453612]
  これまでに同定された英語のリコール機構が多言語文脈に適用可能であることを示す。 我々は、リコール中の言語の役割をローカライズし、エンリッチメントが言語に依存しないことを発見した。 デコーダのみのLLMでは、FVは2つの異なる段階でこれらの2つの情報を構成する。
  論文  参考訳（メタデータ） (2024-10-18T11:39:34Z)
• Crosslingual Capabilities and Knowledge Barriers in Multilingual Large Language Models [62.91524967852552]
  大規模言語モデル(LLM)は、多言語コーパスの事前訓練のため、一般的に多言語である。 しかし、これらのモデルは言語間の対応する概念、すなわち言語を横断的に関連付けることができるだろうか? 本研究は,言語横断的タスクにおける最先端LLMの評価である。
  論文  参考訳（メタデータ） (2024-06-23T15:15:17Z)
• Project MOSLA: Recording Every Moment of Second Language Acquisition [0.03683202928838613]
  第二言語習得は複雑で動的なプロセスである。 Project MOSLAは参加者に対して,2年間にわたって3つのターゲット言語のうちの1つをスクラッチから学ぶように求めている。 データセットには、人間のアノテータと細調整された最先端の音声モデルの両方によって、話者/言語IDと転写文が半自動アノテートされる。
  論文  参考訳（メタデータ） (2024-03-26T01:52:59Z)
• UltraLink: An Open-Source Knowledge-Enhanced Multilingual Supervised Fine-tuning Dataset [69.33424532827608]
  オープンソースの大規模言語モデル(LLM)は、様々な分野において大きな強みを持っている。 本研究では,オープンソースの多言語教師付き微調整データセットを構築する。 結果として得られたUltraLinkデータセットは、5つの言語にわたる約100万のサンプルで構成されている。
  論文  参考訳（メタデータ） (2024-02-07T05:05:53Z)
• Efficiently Aligned Cross-Lingual Transfer Learning for Conversational Tasks using Prompt-Tuning [98.60739735409243]
  英語のような高リソース言語で訓練された言語モデルの言語間移動は、多くのNLPタスクのために広く研究されている。 並列および大規模多言語会話データセットである言語間アライメント事前学習のためのXSGDを導入する。 協調的な言語間表現を容易にするために,アライメントプロンプトを学習するための効率的なプロンプトチューニング手法を開発した。
  論文  参考訳（メタデータ） (2023-04-03T18:46:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。