論文の概要: Fact over Fiction: Detection of Pathological Hallucinations in Sinhala-to-English Neural Machine Translation
- arxiv url: http://arxiv.org/abs/2610.11389v1
- Date: Thu, 08 Oct 2026 07:19:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 02:36:53.858618
- Title: Fact over Fiction: Detection of Pathological Hallucinations in Sinhala-to-English Neural Machine Translation
- Title（参考訳）: Fact over Fiction: Sinhala-to- English Neural Machine Translationにおける病理学的幻覚の検出
- Abstract要約: 本稿では,シンハラ語から英語への参照なし幻覚検出のための枠組みを提案する。
トークンレベルの配列ラベルにはmDeBERTa-v3を微調整し,3種の種に対して0.841 +/- 0.001のトークンレベルのF1に到達した。
我々は、5つのモデルファミリにまたがる8つのNMTシステムをベンチマークし、検知器の発火が建築全体にわたって桁違いに変化することを発見した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural Machine Translation (NMT) models, while capable of producing highly fluent outputs, remain vulnerable to hallucinations, which are translations that are natural yet semantically unrelated to the source. This vulnerability is acute in low-resource settings like Sinhala-to-English, where weak cross-lingual alignment leads to hallucinations. This paper introduces a framework for reference-free hallucination detection in this language pair. We present a 45,000-sample synthetic dataset generated through a probabilistic chain of five linguistically motivated corruption strategies, with a semantic rescue mechanism that uses character-level similarity to distinguish hallucinations from morphological variants. We fine-tune mDeBERTa-v3 for token-level sequence labelling, reaching a token-level F1 of 0.841 +/- 0.001 over three seeds on a source-disjoint test set, and study a three-signal ensemble integrating neural risk scores, sequence log-probabilities, and cross-lingual semantic embeddings (LaBSE). A source-ablation control shows that the detector relies on the Sinhala source rather than on surface artefacts of the corruption process: shuffling or removing the source reduces sentence-level AUROC from 0.970 to chance. We benchmark eight NMT systems spanning five model families and find that detector firings vary by an order of magnitude across architectures.
- Abstract（参考訳）: ニューラルネットワーク翻訳(NMT)モデルは、高度に流動的な出力を生成できるが、ソースとは自然なが意味論的には無関係な翻訳である幻覚に弱いままである。
この脆弱性は、Sinhala-to- Englishのような低リソース設定では、言語間のアライメントが弱いため幻覚を引き起こす。
本稿では,この言語対における参照なし幻覚検出のためのフレームワークを提案する。
言語的に動機付けられた5つの汚職戦略の確率的連鎖から生成される45,000サンプルの合成データセットについて,形態学的変異と幻覚を区別するために,文字レベルの類似性を用いた意味的救済機構について述べる。
我々は、トークンレベルのシーケンスラベリングのためのmDeBERTa-v3を微調整し、ソース非結合テストセット上の3つのシードに対して、トークンレベルのF1の0.841 +/- 0.001に到達し、ニューラルリスクスコア、シーケンスログ確率、言語間セマンティック埋め込み(LaBSE)を統合した3信号アンサンブルを研究した。
ソースアブレーション制御は、検出器が汚染プロセスの表面の人工物ではなくシンハラ源に依存していることを示している:ソースをシャッフルまたは除去することで、文レベルのAUROCを0.970から0に減らす。
我々は、5つのモデルファミリにまたがる8つのNMTシステムをベンチマークし、検知器の発火が建築全体にわたって桁違いに変化することを発見した。
関連論文リスト
- Lost in Speech: Trilingual Spoken Hallucination Detection Across Audio and Transcripts [3.9934208032439495]
英語,ロシア語,カザフ語にまたがる12,013のニュースサンプルからなる,最初の多言語音声幻覚ベンチマークを示す。
合成コーパスをロシア語(225件)とカザフ語(65件)で収集した290件の偽ニュースを補完し、他の言語に翻訳し、同じTS-ASRパイプラインを通してレンダリングする。
我々は、微調整された多言語エンコーダと、ゼロショットのインコンテキスト設定において、書き起こしベースと直接オーディオ処理によるマルチモーダルデコーダモデルを評価する。
論文 参考訳（メタデータ） (2026-08-25T15:24:48Z) - Now You (Still) See Me: Detecting Evasive Steganographic Payloads in LLMs [52.149036302760386]
大規模な言語モデルは、プロンプトによって引き起こされるシークレットを、流動的で良心的な出力にエンコードするように微調整することができる。
近年の研究では、内部の活性化から秘密を回収する線形プローブによる検出を提案する。
この防御は体系的に回避できるが,対象とするデータレベルの介入によって検出性が回復可能であることを示す。
論文 参考訳（メタデータ） (2026-06-08T12:27:11Z) - HalluScan: A Systematic Benchmark for Detecting and Mitigating Hallucinations in Instruction-Following LLMs [0.0]
大規模言語モデル(LLM)は、様々な自然言語処理タスクにまたがる顕著な機能を示している。
しかし、それらは幻覚に影響を受けやすい - 事実的に不正確で、提供されたコンテキストに反するコンテンツを生成したり、ユーザ指示に反する。
本稿では,72構成の幻覚検出と緩和を体系的に評価する総合ベンチマークフレームワークであるHaluScanを紹介する。
論文 参考訳（メタデータ） (2026-05-04T10:43:27Z) - Phonological Subspace Collapse Is Aetiology-Specific and Cross-Lingually Stable: Evidence from 3,374 Speakers [0.0]
HuBERTをベースとした5言語890話者を対象にした音韻的特徴部分空間に基づく難聴度評価のためのトレーニングフリーフレームワーク。
12言語および5言語にまたがる25言語話者の分析(パーキンソン病、脳性麻痺、ALSダウン症候群、脳卒中)
代表標本における言語間プロファイル形状と安定性のクロスバックボーン
論文 参考訳（メタデータ） (2026-04-23T14:12:27Z) - NOSE: Neural Olfactory-Semantic Embedding with Tri-Modal Orthogonal Contrastive Learning [10.537140540596491]
オルフアクションは化学構造、ニューラルエンコーディング、言語知覚の交差点に位置する。
嗅覚経路に沿って3つのモーダルを整列させる表現学習フレームワークであるNOSE(Neural Olfactory-Semantic Embedding)を提案する。
論文 参考訳（メタデータ） (2026-04-12T04:31:14Z) - The Semantic Illusion: Certified Limits of Embedding-Based Hallucination Detection in RAG Systems [0.0]
幻覚予測をRAG検出に適用し、スコアを有限サンプルカバレッジ保証付き決定セットに変換する。
分布尾レンズを用いてこの障害を分析し,NLIモデルが許容可能なAUC(0.81)を達成する一方で,「最も厳しい」幻覚は,忠実な応答と意味的に区別できないことを示した。
論文 参考訳（メタデータ） (2025-12-17T04:22:28Z) - Information Locality as an Inductive Bias for Neural Language Models [52.92279412466086]
本稿では,Transformer と LSTM LM の言語学習において,$m$local entropy は困難であることを示す。
これらの結果は、ニューラルネットワークが言語の統計構造に非常に敏感であることを示唆している。
論文 参考訳（メタデータ） (2025-06-05T15:21:05Z) - A New Benchmark and Reverse Validation Method for Passage-level
Hallucination Detection [63.56136319976554]
大きな言語モデル(LLM)は幻覚を発生させ、ミッションクリティカルなタスクにデプロイすると大きなダメージを与える可能性がある。
本稿では,逆検証に基づく自己チェック手法を提案し,ゼロリソース方式で事実誤りを自動的に検出する。
提案手法と既存のゼロリソース検出手法を2つのデータセット上で実証的に評価した。
論文 参考訳（メタデータ） (2023-10-10T10:14:59Z) - Reducing Hallucinations in Neural Machine Translation with Feature
Attribution [54.46113444757899]
本研究は,NMTにおける幻覚の軽減を目的としたモデル理解と正規化に着目したケーススタディである。
まず,幻覚を発生させるNMTモデルの振る舞いを研究するために,特徴帰属法を用いる。
次に、これらの手法を利用して、幻覚の低減に大きく貢献し、ゼロからモデルを再訓練する必要のない新しい損失関数を提案する。
論文 参考訳（メタデータ） (2022-11-17T20:33:56Z) - Detecting Hallucinated Content in Conditional Neural Sequence Generation [165.68948078624499]
出力シーケンスの各トークンが(入力に含まれていない)幻覚化されているかどうかを予測するタスクを提案する。
また、合成データに微調整された事前学習言語モデルを用いて幻覚を検出する方法についても紹介する。
論文 参考訳（メタデータ） (2020-11-05T00:18:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。