論文の概要: Turk-LettuceDetect: A Hallucination Detection Models for Turkish RAG Applications

• arxiv url: http://arxiv.org/abs/2509.17671v1
• Date: Mon, 22 Sep 2025 12:14:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-23 18:58:16.366778
• Title: Turk-LettuceDetect: A Hallucination Detection Models for Turkish RAG Applications
• Title（参考訳）: Turk-LettuceDetect:トルコのRAG応用のための幻覚検出モデル
• Authors: Selva Taş, Mahmut El Huseyni, Özay Ezerceli, Reyhan Bayraktar, Fatma Betül Terzioğlu,
• Abstract要約: 本稿では,トルコのRAGアプリケーションに特化して設計された幻覚検出モデルの最初のスイートであるTurk-LettuceDetectを紹介する。 これらのモデルは、質問応答、データ・トゥ・テキスト生成、要約タスクを含む17,790のインスタンスを含むRAGTruthベンチマークデータセットの機械翻訳バージョンでトレーニングされた。 実験の結果,ModernBERTをベースとしたモデルでは,F1スコアの0.7266が完全なテストセットで達成され,特に構造化タスクにおいて高い性能が得られた。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The widespread adoption of Large Language Models (LLMs) has been hindered by their tendency to hallucinate, generating plausible but factually incorrect information. While Retrieval-Augmented Generation (RAG) systems attempt to address this issue by grounding responses in external knowledge, hallucination remains a persistent challenge, particularly for morphologically complex, low-resource languages like Turkish. This paper introduces Turk-LettuceDetect, the first suite of hallucination detection models specifically designed for Turkish RAG applications. Building on the LettuceDetect framework, we formulate hallucination detection as a token-level classification task and fine-tune three distinct encoder architectures: a Turkish-specific ModernBERT, TurkEmbed4STS, and multilingual EuroBERT. These models were trained on a machine-translated version of the RAGTruth benchmark dataset containing 17,790 instances across question answering, data-to-text generation, and summarization tasks. Our experimental results show that the ModernBERT-based model achieves an F1-score of 0.7266 on the complete test set, with particularly strong performance on structured tasks. The models maintain computational efficiency while supporting long contexts up to 8,192 tokens, making them suitable for real-time deployment. Comparative analysis reveals that while state-of-the-art LLMs demonstrate high recall, they suffer from low precision due to over-generation of hallucinated content, underscoring the necessity of specialized detection mechanisms. By releasing our models and translated dataset, this work addresses a critical gap in multilingual NLP and establishes a foundation for developing more reliable and trustworthy AI applications for Turkish and other languages.
• Abstract（参考訳）: LLM(Large Language Models)の普及は、幻覚の傾向によって妨げられ、妥当だが事実的に誤った情報を生み出している。 Retrieval-Augmented Generation (RAG) システムは、外部知識の応答を基盤としてこの問題に対処しようとするが、特にトルコ語のような形態的に複雑で低リソースの言語では、幻覚は永続的な課題である。 本稿では,トルコのRAGアプリケーションに特化して設計された幻覚検出モデルの最初のスイートであるTurk-LettuceDetectを紹介する。 LettuceDetectフレームワークをベースとして,トークンレベルの分類タスクとして幻覚検出を定式化し,トルコ固有のModernBERT,TurqEmbed4STS,多言語EuroBERTの3つの異なるエンコーダアーキテクチャを微調整する。 これらのモデルは、質問応答、データ・トゥ・テキスト生成、要約タスクを含む17,790のインスタンスを含むRAGTruthベンチマークデータセットの機械翻訳バージョンでトレーニングされた。 実験の結果,ModernBERTをベースとしたモデルでは,F1スコアの0.7266が完全なテストセットで達成され,特に構造化タスクにおいて高い性能が得られた。 モデルは8,192トークンまでの長いコンテキストをサポートしながら計算効率を保ち、リアルタイムデプロイメントに適している。 比較分析により、最先端のLCMは高いリコールを示すが、幻覚成分の過剰な生成による低い精度で、特殊な検出機構の必要性を裏付けることが明らかとなった。 我々のモデルと翻訳データセットをリリースすることによって、多言語NLPにおける重要なギャップに対処し、トルコや他の言語のためのより信頼性が高く信頼性の高いAIアプリケーションを開発する基盤を確立する。

関連論文リスト

• Ask a Local: Detecting Hallucinations With Specialized Model Divergence [0.16874375111244325]
  本研究では,大規模言語モデルに対する新しい幻覚検出手法であるAsk a Localを紹介する。 提案手法は,言語特化モデルのパープレキシティ分布のばらつきを計算し,ハロゲン化の可能性のあるスパンを同定する。 そこで本研究では,14言語にまたがる人間による質問応答データセットについて,一貫した性能を示す。
  論文  参考訳（メタデータ） (2025-06-03T20:00:49Z)
• Towards Typologically Aware Rescoring to Mitigate Unfaithfulness in Lower-Resource Languages [9.426642998924724]
  多言語大言語モデルは、資源制約言語で非忠実な出力を生成する。 このような設定における不誠実さを軽減するため、我々は計算学的に軽量な補助モデルを用いて、より大きなアーキテクチャの出力を再評価する。 我々は,700MB未満のデータに対して,スクラッチから事前訓練した単言語4層BERTモデルにより,忠実な要約を88.33%の平均精度で識別可能であることを示した。
  論文  参考訳（メタデータ） (2025-02-24T21:22:19Z)
• Fine-tuning Transformer-based Encoder for Turkish Language Understanding Tasks [0.0]
  トルコ語のためのTransformerベースのモデルとベースラインベンチマークを提供する。 我々は、トルコのBERTモデル、BERTurkを多くの下流タスクに微調整し、トルコのベンチマークデータセットで評価した。
  論文  参考訳（メタデータ） (2024-01-30T19:27:04Z)
• AutoHall: Automated Hallucination Dataset Generation for Large Language Models [56.92068213969036]
  本稿では,AutoHallと呼ばれる既存のファクトチェックデータセットに基づいて,モデル固有の幻覚データセットを自動的に構築する手法を提案する。 また,自己コントラディションに基づくゼロリソース・ブラックボックス幻覚検出手法を提案する。
  論文  参考訳（メタデータ） (2023-09-30T05:20:02Z)
• Improving Massively Multilingual ASR With Auxiliary CTC Objectives [40.10307386370194]
  FLEURSは102言語によるオープンASRベンチマークである。 我々は,最近のコネクショニスト時間分類(CTC)研究から着想を得た手法を考察し,モデルが多数の言語を扱えるようにした。 コンバータアーキテクチャを用いた自己教師型モデルを用いた最先端システムでは,相対28.4%CERによるFLEURSの先行研究よりも改善されている。
  論文  参考訳（メタデータ） (2023-02-24T18:59:51Z)
• mFACE: Multilingual Summarization with Factual Consistency Evaluation [79.60172087719356]
  抽象的な要約は、事前訓練された言語モデルと大規模データセットの可用性のおかげで、近年で新たな関心を集めている。 有望な結果にもかかわらず、現在のモデルはいまだに現実的に矛盾した要約を生み出すことに苦しむ。 事実整合性評価モデルを利用して、多言語要約を改善する。
  論文  参考訳（メタデータ） (2022-12-20T19:52:41Z)
• Evaluating Multilingual Text Encoders for Unsupervised Cross-Lingual Retrieval [51.60862829942932]
  本稿では,言語間文書・文検索タスクにおける最先端多言語エンコーダの適合性に着目した体系的実証研究を行う。 文レベルのCLIRでは、最先端のパフォーマンスが達成できることを実証する。 しかし、ピーク性能は、汎用の多言語テキストエンコーダをオフ・ザ・シェルフで使うのではなく、文の理解タスクにさらに特化したバリエーションに依存している。
  論文  参考訳（メタデータ） (2021-01-21T00:15:38Z)
• InfoBERT: Improving Robustness of Language Models from An Information Theoretic Perspective [84.78604733927887]
  BERTのような大規模言語モデルは、幅広いNLPタスクで最先端のパフォーマンスを実現している。 近年の研究では、このようなBERTベースのモデルが、テキストの敵対的攻撃の脅威に直面していることが示されている。 本稿では,事前学習した言語モデルの堅牢な微調整のための新しい学習フレームワークであるInfoBERTを提案する。
  論文  参考訳（メタデータ） (2020-10-05T20:49:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。