論文の概要: Hallucination-R1: Robustness-Oriented Paraphrase Generation for Factual Consistency
- arxiv url: http://arxiv.org/abs/2609.21227v1
- Date: Fri, 18 Sep 2026 02:16:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-21 18:40:16.830434
- Title: Hallucination-R1: Robustness-Oriented Paraphrase Generation for Factual Consistency
- Title（参考訳）: Hallucination-R1:Factual Consistencyのためのロバストネス指向のパラフレーズ生成
- Abstract要約: そこで,本研究では,意味論的に等価な言い回しの下で,モデルが実際の質問を正解するのに対して,誤答を発生させるという,パラフレーズ誘発幻覚設定について検討する。
HALLUCINATION-R1は、意味論的に忠実だが、現実的な一貫性のために挑戦的なパラフレーズを生成することを学ぶ堅牢性指向のパラフレーズ生成フレームワークである。
- 参考スコア（独自算出の注目度）: 11.975471456170444
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Factual hallucination is commonly defined by incorrect factual outputs. We study a paraphrase-induced hallucination setting, where a model answers a factual question correctly in its original form but generates an incorrect answer under a semantically equivalent paraphrase. Such inconsistencies expose latent factual instability under semantic invariance. However, general-purpose paraphrases are often insufficient as robustness-oriented supervision: near-copy paraphrases provide weak signals, while overly diverse paraphrases may break semantic equivalence. In this paper, we propose HALLUCINATION-R1, a robustness-oriented paraphrase generation framework that learns to produce semantically faithful yet robustness-challenging paraphrases for factual consistency. Through two-stage optimization, it first stabilizes meaning-preserving and diverse paraphrasing, then rewards paraphrases that reveal factual consistency degradation in downstream QA models. Experiments on SimpleQuestions, PopQA, and TruthfulQA show that HALLUCINATION-R1 achieves a strong consistency--diversity trade-off and exposes robustness failures across multiple model families and datasets. Further analyses indicate that these failures are not reducible to surface-level artifacts or semantic drift, but reveal non-trivial factual instability under meaning-preserving variation. A lightweight fine-tuning study also shows that HALLUCINATION-R1-generated data improves robust accuracy under paraphrase variations, suggesting its utility for robustness-oriented training. Our code and models are publicly available at https://github.com/yuwenhan07/Hallucination-R1.
- Abstract（参考訳）: 事実幻覚は一般に誤った事実出力によって定義される。
そこで,本研究では,意味論的に等価な言い回しの下で,モデルが実際の質問を正解するのに対して,誤答を発生させるという,パラフレーズ誘発幻覚設定について検討する。
このような矛盾は、意味的不変性の下での潜在的な事実的不安定を露呈する。
近コピーパラフレーズは弱い信号を与えるが、過度に多様なパラフレーズは意味的等価性を損なう。
本稿では,HALLUCINATION-R1を提案する。HALLUCINATION-R1は,意味論的に忠実だが頑健な言い回しを現実の一貫性のために生成する,ロバスト性指向の言い回し生成フレームワークである。
2段階の最適化により、まず意味保存と多様なパラフレーズを安定化し、その後、下流QAモデルにおける事実整合性の劣化を示すパラフレーズを報いる。
SimpleQuestions、PopQA、TruthfulQAの実験は、HALLUCINATION-R1が強い一貫性-多様性のトレードオフを実現し、複数のモデルファミリやデータセットにまたがる堅牢性障害を明らかにしていることを示している。
さらに分析したところ、これらの失敗は表面レベルのアーティファクトやセマンティックドリフトには再現できないが、意味保存の変化の下では非自明な事実不安定が明らかである。
HALLUCINATION-R1が生成するデータは、パラフレーズ変動の下で頑健な精度を向上し、ロバストネス指向トレーニングに有用であることを示唆している。
私たちのコードとモデルはhttps://github.com/yuwenhan07/Hallucination-R1.comで公開されています。
関連論文リスト
- The Illusion of Robustness: Aggregate Accuracy Hides Prediction Flips under Task-Irrelevant Context [76.36635039699112]
大規模言語モデル(LLM)は、タスク入力に長く、部分的には関係のないコンテキストが伴うような、コンテキストに富んだ環境にますますデプロイされる。
現状のモデルはしばしば、集合レベルでのタスク非関連コンテキストに対して頑健に見える。
しかし、この集合安定性は、指数当たりの不安定性を著しくマスクする。
論文 参考訳（メタデータ） (2026-07-14T17:01:12Z) - Constrained Paraphrase Consistency for LLM Hallucination Detection [11.075787335043238]
大規模言語モデル(LLM)は、正確でスケーラブルな幻覚検出装置を動機付け、現実的に矛盾するクレームを生成することができる。
制約付き最適化問題としてトレーニングを定式化するCCHD(Consistency-Constrained Hallucination Detector)を提案する。
論文 参考訳（メタデータ） (2026-06-06T13:14:10Z) - Same Question, Different Answers: Evaluating LLM Reliability Beyond Accuracy [41.17236645999555]
本研究では,現実的な質問応答や数学的推論タスクにおいて,意味保存的言い回しの下でモデル解がどう変化するかを検討する。
4つのベンチマークと13のモデルで、モデル出力はプロンプトの正確な表現に依存することが多い。
多くの質問に対して、モデルはフレーズによって正しい答えと間違った答えを交互に行い、ミスマッチ率は23%以上に達する。
論文 参考訳（メタデータ） (2026-05-18T16:45:13Z) - The Energy of Falsehood: Detecting Hallucinations via Diffusion Model Likelihoods [0.9877005520976847]
LLM(Large Language Models)は、しばしばもっともらしいが誤った主張を幻覚させる。
非平衡熱力学による事実検証を再現する,教師なしのフレームワークであるDiffuTruthを提案する。
論文 参考訳（メタデータ） (2026-02-11T20:52:16Z) - Hallucinations Live in Variance [0.0]
ベンチマークは、モデルが正しいかどうかを測定する。
幻覚は、意味論的に等価なプロンプトが一貫性のない内部経路を活性化し、発散した出力を生成するときに生じる。
我々はこれを,パラフレーズ一貫性 (PC@k) によって測定されたセマンティック安定性 (SS) で定式化し,kパラフレーズを生成し,それぞれをgreedyデコードし,計算モード合意する。
密度の高いQwen3-0.6Bは23.8%に留まり、32%の間隔で55.9%に上昇する。
論文 参考訳（メタデータ） (2026-01-11T20:41:51Z) - Latent Veracity Inference for Identifying Errors in Stepwise Reasoning [78.29317733206643]
本稿では、精度割当てに対する離散探索アルゴリズムであるVeracity Search(VS)を紹介する。
その他の方法では、後続の精度値よりも後続の分布において難解な推論を行う。
VSを一般化し、新しいコンテキストで正確なゼロショットの精度推論を可能にする。
論文 参考訳（メタデータ） (2025-05-17T04:16:36Z) - Calibrating Verbal Uncertainty as a Linear Feature to Reduce Hallucinations [51.92795774118647]
LLMの表現空間における1つの線形特徴によって「動詞の不確実性」が支配されることがわかった。
これはモデルの実際の意味的不確実性と適度な相関しか持たないことを示す。
論文 参考訳（メタデータ） (2025-03-18T17:51:04Z) - How often are errors in natural language reasoning due to paraphrastic variability? [29.079188032623605]
本稿では,自然言語推論モデルのパラフラスティック一貫性を評価するための指標を提案する。
我々は、この計量をパラフレーズ化に起因するモデルの正しさの分散の比率に数学的に結合する。
そこで我々は,7,782人の人間による記述・検証された推論問題のデータセットであるParaNLUを収集した。
論文 参考訳（メタデータ） (2024-04-17T20:11:32Z) - Towards preserving word order importance through Forced Invalidation [80.33036864442182]
事前学習された言語モデルは単語の順序に敏感であることを示す。
我々は,単語順序の重要性を維持するために強制的無効化を提案する。
実験の結果,強制的無効化は単語順に対するモデルの感度を著しく向上させることがわかった。
論文 参考訳（メタデータ） (2023-04-11T13:42:10Z) - MASKER: Masked Keyword Regularization for Reliable Text Classification [73.90326322794803]
文脈に基づく予測を容易にする微調整手法であるマスク付きキーワード正規化(MASKER)を提案する。
maskerはモデルを規則化し、他の単語からキーワードを再構築し、十分な文脈なしに低信頼の予測を行う。
分類精度を低下させることなくOOD検出とクロスドメインの一般化を改善したMASKERを提案する。
論文 参考訳（メタデータ） (2020-12-17T04:54:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。