Fugu-MT 論文翻訳(概要): Target-Aware Curation of Hallucination Stress Tests for Large Language Models

論文の概要: Target-Aware Curation of Hallucination Stress Tests for Large Language Models

arxiv url: http://arxiv.org/abs/2610.27247v1
Date: Mon, 19 Oct 2026 20:20:00 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-21 21:58:47.492205
Title: Target-Aware Curation of Hallucination Stress Tests for Large Language Models
Title（参考訳）: 大規模言語モデルに対するハロシン化ストレステストのターゲットアウェア・キュレーション
Abstract要約: 幻覚ストレステストは、各モデルで異なる刺激が幻覚を誘発する場合でも、言語モデル全体で同様の平均スコアを得ることができる。本研究では,ターゲットモデルに幻覚を露呈するために,ソースグラウンドのシードプロンプトを反復的に編集する手法を開発した。
参考スコア（独自算出の注目度）: 34.81908139166387
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Hallucination stress tests can yield similar average scores across language models even when different prompts elicit hallucinations in each model. We develop a procedure that iteratively edits source-grounded seed prompts to expose hallucinations in a target model. An LLM editor revises each prompt in response to the target's answer and a judge's category-specific score and explanation. In the main setting, the target also receives feedback on its previous response. Experiments cover 500 seeds from seven datasets and ten topics, with intrinsic and extrinsic hallucinations evaluated across open-weight and closed-source models. Editing substantially increases judge-rated severity over the seeds. In the baseline configuration, retained responses fall in the judge's strong-hallucination bin in 77.2% of runs targeting extrinsic hallucination and 74.2% targeting intrinsic hallucination. Later editing rounds account for more than half of the mean score increase. Among 219 prompts that pass model-assisted source-validity checks, 89 elicit responses containing unsupported claims. Across five models, 200 curated prompts yield similar average severity scores, although pairwise Spearman correlations between prompt-level scores are only $ρ=0.0387$ to $0.1897$. Curated prompts can be reused across models, but their diagnostic value depends on source validity and the failures they expose in each model.
Abstract（参考訳）: 幻覚ストレステストは、各モデルで異なる刺激が幻覚を誘発する場合でも、言語モデル全体で同様の平均スコアを得ることができる。本研究では,ターゲットモデルに幻覚を露呈するために,ソースグラウンドのシードプロンプトを反復的に編集する手法を開発した。 LLMエディタは、対象者の回答と、審査員のカテゴリー別スコアと説明に応じて、各プロンプトを更新する。メイン設定では、ターゲットは以前の応答に対するフィードバックを受け取る。実験では、7つのデータセットと10のトピックから500の種をカバーし、内在性および外因性幻覚はオープンソースモデルとクローズドソースモデルで評価されている。編集は、種子に対する判定基準の厳しさを大幅に高める。ベースライン構成では、内因性幻覚をターゲットとするランの77.2%、内因性幻覚をターゲットとするランの74.2%において、裁判官の強い幻覚ビンに保持された応答が減少する。その後の編集ラウンドは平均得点の半数以上を占める。モデル支援ソース価チェックをパスする219のプロンプトのうち、89の応答は、サポート対象のクレームを含む。 5つのモデル全体で、200のキュレートされたプロンプトは、同様の平均重大度スコアを得るが、プロンプトレベルのスコア間のペアワイドのスピアマン相関は、わずか$ρ=0.0387$から$0.1897$である。キュレートされたプロンプトはモデル間で再利用できるが、その診断値は、ソースの有効性と各モデルで公開する失敗に依存する。

論文の概要: Target-Aware Curation of Hallucination Stress Tests for Large Language Models

関連論文リスト