論文の概要: Progressive Training for Explainable Citation-Grounded Dialogue: Reducing Hallucination to Zero in English-Hindi LLMs

• arxiv url: http://arxiv.org/abs/2603.18911v1
• Date: Thu, 19 Mar 2026 13:48:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-20 17:19:06.177827
• Title: Progressive Training for Explainable Citation-Grounded Dialogue: Reducing Hallucination to Zero in English-Hindi LLMs
• Title（参考訳）: 説明可能なCitation-Grounded Dialogueのプログレッシブトレーニング : 英語・ヒンディー語LLMにおける幻覚のゼロ化
• Authors: Vedant Pandya,
• Abstract要約: XKD-Dialは、バイリンガル(英ヒンディー語)設定で説明可能な知識ベース対話生成のための4段階の訓練パイプラインである。 パイプライン毎に,エンコーダ・デコーダ (250M-3B) とデコーダ・オンリー (1B-7B) アーキテクチャにまたがる6つのモデルを評価した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Knowledge-grounded dialogue systems aim to generate informative, contextually relevant responses by conditioning on external knowledge sources. However, most existing approaches focus exclusively on English, lack explicit citation mechanisms for verifying factual claims, and offer limited transparency into model decision-making. We present XKD-Dial, a progressive four-stage training pipeline for explainable, knowledge-grounded dialogue generation in a bilingual (English-Hindi) setting, comprising: (1) multilingual adaptation, (2) English dialogue SFT with citation grounding, (3) bilingual dialogue SFT, and (4) GRPO alignment with citation-aware rewards. We evaluate six models spanning encoder-decoder (250M-3B) and decoder-only (1B-7B) architectures at every pipeline stage. Our key contributions are: (i) three post-hoc explainability analyses - cross-attention alignment, Integrated Gradients attribution, and occlusion-based causal grounding - applied systematically across the training trajectory to reveal how citation behaviour is learned, not only whether it is learned; (ii) citation-grounded SFT reduces hallucination to 0.0% for encoder-decoder models from Stage 2 onward; (iii) the progressive pipeline prevents catastrophic forgetting while improving Hindi capabilities; (iv) smaller models match larger models on English after SFT; and (v) GRPO provides marginal improvement over well-designed SFT for structured citation tasks. We evaluate across six automatic metrics (BLEU, ROUGE, BERTScore, FactScore, Citation-F1, and hallucination rate).
• Abstract（参考訳）: 知識接地対話システムは,外部の知識ソースに条件付けすることで,情報的,文脈的に関係のある応答を生成することを目的としている。 しかし、既存のほとんどのアプローチは英語のみに焦点を絞っており、事実的主張を検証するための明示的な引用機構が欠如しており、モデル決定に限られた透明性を提供する。 XKD-Dialは,(1)多言語適応,(2)引用接頭辞付き英語対話SFT,(3)バイリンガル対話SFT,(4)引用認識報酬によるGRPOアライメントを含む,二言語(ヒンディー語)設定で説明可能な知識接頭辞を生成するための4段階訓練パイプラインである。 パイプライン毎に,エンコーダ・デコーダ (250M-3B) とデコーダ・オンリー (1B-7B) アーキテクチャにまたがる6つのモデルを評価した。 私たちの主な貢献は次のとおりです。 一 学習するに限らず、引用行動がどのように学習されるかを明らかにするために、訓練軌跡を体系的に適用する、三つのポストホック説明可能性分析(クロスアテンションアライメント、統合グラディエント属性、オクルージョンに基づく因果的接地) (ii)SFTによるエンコーダデコーダモデルの幻覚をステージ2以降から0.0%まで低減する。 三 進行パイプラインは、ヒンディー語能力を改善しつつ、破滅的な忘れを予防する。 (四)より小型のモデルは、SFT以降の英語のより大きなモデルと一致する。 (v)GRPOは、構造化励振タスクに対して、よく設計されたSFTよりも限界的な改善を提供する。 6つの自動測定値(BLEU, ROUGE, BERTScore, FactScore, Citation-F1, 幻覚率)を評価した。

関連論文リスト

• Making Large Language Models Speak Tulu: Structured Prompting for an Extremely Low-Resource Language [1.0742675209112622]
  制御プロンプト下では,構造化プロンプトだけで基本的な会話能力を引き出すことができるかを検討する。 我々は、明示的な文法文書、関連する言語からの高確率トークンの抑制のための負の制約、ロマン化標準化、そして自己再生による品質制御された合成データ生成を組み合わせる。 本手法は,85%の精度で語彙汚染を80%から5%に低減する。
  論文  参考訳（メタデータ） (2026-02-17T06:20:09Z)
• LLMs for Low-Resource Dialect Translation Using Context-Aware Prompting: A Case Study on Sylheti [0.568041607842355]
  本研究は,バングラ語の方言であるSylhetiに対する機械翻訳(MT)に関する最初の体系的な研究である。 Sylheti-CAP(Context-Aware Prompting)は、言語規則書、辞書、イディオムをプロンプトに埋め込むフレームワークである。 大規模な実験により、Sylheti-CAPはモデル間の翻訳品質を一貫して改善し、戦略を推進している。
  論文  参考訳（メタデータ） (2025-11-24T20:34:18Z)
• CS3-Bench: Evaluating and Enhancing Speech-to-Speech LLMs for Mandarin-English Code-Switching [31.584937435966253]
  我々はCS3-Bench(Code-Switching Speech-to-Speech Benchmark)を提案する。 7つの主流モデルに関する実験は、知識集約的な質問応答の相対的なパフォーマンス低下を66%まで示している。 提案手法は, 知識の精度を25.14%から46.13%に改善し, オープンエンド理解率を64.5%から86.5%に改善し, 第二言語における発音誤りを大幅に低減する。
  論文  参考訳（メタデータ） (2025-10-09T07:34:23Z)
• Automatic Proficiency Assessment in L2 English Learners [51.652753736780205]
  英語の第二言語習熟度(L2)は通常、英語の教師や専門家の評価者によって知覚的に評価される。 本稿では, 音声信号と対応文字の双方に対処し, 総合的なL2習熟度評価のための深層学習手法について検討する。
  論文  参考訳（メタデータ） (2025-05-05T12:36:03Z)
• SLAM: Towards Efficient Multilingual Reasoning via Selective Language Alignment [78.4550589538805]
  本稿では,多言語性を扱うレイヤを正確に識別し,微調整する,効率的な多言語推論アライメント手法を提案する。 実験の結果, SLAM法は7Bおよび13BLLMのパラメータの6.5-8%を含む6層のフィードフォワードサブ層のみをチューニングできることがわかった。
  論文  参考訳（メタデータ） (2025-01-07T10:29:43Z)
• Looking Beyond Text: Reducing Language bias in Large Vision-Language Models via Multimodal Dual-Attention and Soft-Image Guidance [67.26434607115392]
  大規模視覚言語モデル(LVLM)は様々な視覚言語タスクにおいて印象的な成果を上げている。 LVLMは言語バイアスによる幻覚に悩まされ、画像や非効果的な視覚的理解に焦点が当てられなくなった。 MDA (Multimodal duAl-attention meChanIsm) aNd soft-image Guidance (IFG) を用いたLVLMの言語バイアスに対処するためのLACingを提案する。
  論文  参考訳（メタデータ） (2024-11-21T16:33:30Z)
• DEPTH: Discourse Education through Pre-Training Hierarchically [33.89893399779713]
  DEPTHは、談話指向の事前学習目標を用いて文の潜在表現を学習するエンコーダ・デコーダモデルである。 我々のアプローチは、他の自然言語理解能力(NLU)に最小限の影響を与えながら、T5の談話能力を拡張する。
  論文  参考訳（メタデータ） (2024-05-13T14:35:30Z)
• Prosody in Cascade and Direct Speech-to-Text Translation: a case study on Korean Wh-Phrases [79.07111754406841]
  本研究は,韻律が重要な役割を果たす発話を明瞭にするための直接S2TTシステムの能力を評価するために,コントラスト評価を用いることを提案する。 本結果は,カスケード翻訳モデルよりも直接翻訳システムの価値を明確に示すものである。
  論文  参考訳（メタデータ） (2024-02-01T14:46:35Z)
• Document-Level Machine Translation with Large Language Models [91.03359121149595]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクに対して、一貫性、凝集性、関連性、流動性のある回答を生成することができる。 本稿では,LLMの談話モデルにおける能力について詳細に評価する。
  論文  参考訳（メタデータ） (2023-04-05T03:49:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。