Fugu-MT 論文翻訳(概要): Halluscoring 2026: The first shared task on llms hallucination detection and answer verification

論文の概要: Halluscoring 2026: The first shared task on llms hallucination detection and answer verification

arxiv url: http://arxiv.org/abs/2609.38355v2
Date: Thu, 01 Oct 2026 03:25:27 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-03 01:19:23.53388
Title: Halluscoring 2026: The first shared task on llms hallucination detection and answer verification
Title（参考訳）: Halluscoring 2026: The first shared task on llms hallucination detection and answer verification
Abstract要約: 本稿では,アラビア語質問応答における幻覚検出と事実検証の共有タスクを提案する。第1タスクの結果、幻覚検出は依然として困難であることが示されている。
参考スコア（独自算出の注目度）: 22.324900951362366
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We present HalluScoring 2026, a shared task for evaluating hallucination detection and factual verification in Arabic question answering under challenging generalization settings. Its four subtasks are organized into two tasks. Task~1 evaluates binary hallucination detection, considering generalization to unseen questions (Subtask 1.1) and responses generated by unseen LLMs (Subtask 1.2). Task 2 extends the evaluation beyond detection by requiring the systems to additionally identify the correct factual answer from six related candidates, covering Islamic knowledge (Subtask 2.1) and general knowledge (Subtask 2.2). The shared task is based on two Arabic datasets: HalluScore and HalluTruthQA. A total of 13 teams participated in the shared task, ten of which submitted system description papers. The results of Task 1 demonstrate that hallucination detection remains challenging. On the Task 1 test sets, the top-ranked systems achieved AUC-ROC scores of 0.7717 for Subtask 1.1 (REGLAT) and 0.7670 for Subtask 1.2 (NAMAA). Under assisted evaluation, the highest combined detection and answer-selection scores for Subtasks 2.1 and 2.2 were 0.8824 and 0.8565, respectively.
Abstract（参考訳）: 本稿では,アラビア語の質問応答における幻覚検出と事実検証の共有タスクであるHaluScoring 2026を,難解な一般化設定の下で提示する。 4つのサブタスクは2つのタスクに分けられる。 Task~1は、未確認の質問への一般化(Subtask 1.1)と未確認のLLMによる応答(Subtask 1.2)を考慮して、バイナリ幻覚検出を評価する。タスク2は、イスラム知識(Subtask 2.1)と一般知識(Subtask 2.2)をカバーし、関連する6つの候補者から正しい事実回答を付加的に特定することを要求することにより、検知を超えて評価を拡大する。共有タスクは、HauScoreとHauTruthQAの2つのアラビアデータセットに基づいている。合計13チームが共有タスクに参加し、そのうち10チームがシステム説明書を提出した。第1タスクの結果、幻覚検出は依然として困難であることが示されている。 Task 1のテストセットでは、トップランクのシステムはSubtask 1.1(REGLAT)のAUC-ROCスコアが0.7717、Subtask 1.2(NAMAA)の0.7670に達した。補助評価では, サブタスク2.1と2.2の回答選択スコアは0.8824と0.8565であった。

関連論文リスト

NADI 2026: The Second Multidialectal Arabic Speech Processing Shared Task [58.96707725438922]
自動音声認識(ASR)、音声対話識別(SDID)、テキスト音声翻訳(TTS)、音声言語翻訳(SLT)、音声言語理解(SLU)の5つのタスクと8つのサブタスクからなる。 Nadir 2026は、低帯域幅、混合ダイアレクト、コードスイッチ、アウト・オブ・ドメイン、ゼロショット設定による現実的な評価を強調している。
論文参考訳（メタデータ） (2026-09-22T21:37:54Z)
AlexandriaX 2026: The First Shared Task on Dialectal Arabic Machine Translation [65.18574662565511]
アレクサンドリアX 2026 アラビア語 MT の共有タスクは、3つのサブタスクを通じて課題に対処する。 Subtask 1の最良のシステムは、制約のないトラックで30.42 spBLEU、制約のないトラックで33.49 spBLEUを達成した。その結果、明示的な方言モデリング、文脈認識生成、検索と再ランク付け、およびMT誤り解析のための特殊なアプローチの利点が浮き彫りになった。
論文参考訳（メタデータ） (2026-09-19T05:59:30Z)
GenAI Content Detection Task 1: English and Multilingual Machine-Generated Text Detection: AI vs. Human [71.42669028683741]
我々は,Coling 2025におけるGenAIワークショップの一環として,バイナリマシン生成テキスト検出における共有タスクを提案する。このタスクは、モノリンガル(英: Monolingual)とマルチリンガル(英: Multilingual)の2つのサブタスクから構成される。本稿では,データの包括的概要,結果の概要,参加システムの詳細な説明,提出内容の詳細な分析について述べる。
論文参考訳（メタデータ） (2025-01-19T11:11:55Z)
SemEval 2024 -- Task 10: Emotion Discovery and Reasoning its Flip in Conversation (EDiReF) [61.49972925493912]
SemEval-2024 Task 10は、コードミキシングされた対話における感情の識別に焦点を当てた共有タスクである。このタスクは3つの異なるサブタスクから構成される - コードミックス対話のための会話における感情認識、コードミックス対話のための感情フリップ推論、および英語対話のための感情フリップ推論である。このタスクには84人の参加者が参加し、各サブタスクのF1スコアは0.70、0.79、0.76に達した。
論文参考訳（メタデータ） (2024-02-29T08:20:06Z)
Overview of the 2023 ICON Shared Task on Gendered Abuse Detection in Indic Languages [7.869644160487393]
Indic Language における Gendered Abuse Detection に関する ICON 2023 の調査結果を報告する。共有されたタスクは、ヒンディー語、タミル語、インドの英語方言における新しいデータセットに基づいて行われた。この論文には、そのトピックによる憎しみのあるコンテンツの例が含まれている。
論文参考訳（メタデータ） (2024-01-08T05:54:26Z)
Mavericks at ArAIEval Shared Task: Towards a Safer Digital Space -- Transformer Ensemble Models Tackling Deception and Persuasion [0.0]
本稿では,各課題のタスク1-Aとタスク2-Aのアプローチについて述べる。タスクは、与えられたバイナリ分類問題に対して、ツイートとニュース記事のマルチジャンルスニペットを使用する。タスク1-A(8位)では0.742、タスク2-A(7位)では0.901のマイクロF1スコアを達成した。
論文参考訳（メタデータ） (2023-11-30T17:26:57Z)
ArAIEval Shared Task: Persuasion Techniques and Disinformation Detection in Arabic Text [41.3267575540348]
本稿では, EMNLP 2023と共同で開催される第1回アラビア2023会議の一環として組織されたArAIEval共有タスクの概要を紹介する。 ArAIEvalは、アラビア文字上の2つのタスクを提供する: (i) 説得テクニックの検出、ツイートやニュース記事における説得テクニックの識別、および (ii) ツイート上のバイナリとマルチクラスの設定における偽情報検出。最終評価フェーズには合計20チームが参加し、タスク1と2には14チームと16チームが参加した。
論文参考訳（メタデータ） (2023-11-06T15:21:19Z)
Event Causality Identification with Causal News Corpus -- Shared Task 3, CASE 2022 [3.0775142635531685]
事象因果同定 2022 症例の共有タスクには2つのサブタスクが含まれていた。サブタスク1は、ある文が因果関係を含むか否かを予測するために参加者に要求する。サブタスク2では、参加者は因果文ごとに原因、効果、信号のスパンを特定する必要があった。
論文参考訳（メタデータ） (2022-11-22T10:34:09Z)
Overview of Abusive and Threatening Language Detection in Urdu at FIRE 2021 [50.591267188664666]
我々は、ウルドゥー語に対する虐待と脅しの2つの共通タスクを提示する。本研究では, (i) 乱用と非乱用というラベル付きツイートを含む手動注釈付きデータセットと, (ii) 脅威と非脅威の2つを提示する。両方のサブタスクに対して、m-Bertベースのトランスモデルは最高の性能を示した。
論文参考訳（メタデータ） (2022-07-14T07:38:13Z)
NADI 2020: The First Nuanced Arabic Dialect Identification Shared Task [18.23153068720659]
第1回Nuanced Arabic Dialect Identification Shared Task(NADI)の結果と結果について述べる。共有タスクのデータは、アラブ21カ国から合計100か国をカバーし、Twitterドメインから収集されている。 NADIは、サブカントリーレベルで自然に発生する粒度の細かい方言テキストをターゲットにした最初の共有タスクである。
論文参考訳（メタデータ） (2020-10-21T22:14:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。