論文の概要: PhantomBench: Benchmarking the Non-existential Threat of Language Models
- arxiv url: http://arxiv.org/abs/2606.11105v1
- Date: Tue, 09 Jun 2026 17:03:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-10 15:40:58.627047
- Title: PhantomBench: Benchmarking the Non-existential Threat of Language Models
- Title（参考訳）: PhantomBench: 言語モデルの存在しない脅威をベンチマークする
- Authors: Haeji Jung, Hila Gonen,
- Abstract要約: PhantomBenchは、このタイプの最初の大規模ベンチマークであり、60万以上の非存在用語とエンティティから構成される。
我々は、ボード全体で停滞する幻覚率を示し、場合によっては86.7%まで上昇する。
そこで, PhantomBenchは, 幻覚の傾向が強い稀な概念において, モデル行動を研究するためのプロキシとして機能することを示す。
- 参考スコア（独自算出の注目度）: 10.283753340044042
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Hallucinations, where language models (LMs) generate factually ungrounded responses, pose serious risks, as users tend to blindly rely on them. This is particularly concerning in high-stakes domains, where consequences of such model behavior can lead to significant harms. Despite notable progress in understanding hallucinations, it remains unclear how reliably these models can recognize the limits of their knowledge. We introduce PhantomBench, the first large-scale benchmark of its kind, comprising more than 60K non-existent terms and entities derived from real concepts across diverse domains. Using our benchmark, we evaluate a total of 21 models of various types and sizes. We show staggering hallucination rates across the board (with average rates as high as 86.7% in some cases), and note that even frontier models surprisingly fail to abstain on non-existent concepts, especially when the input presumes their existence. We then show that PhantomBench can serve as a proxy for studying model behavior on rare concepts for which models are more prone to hallucinate. We also provide a pipeline to construct PhantomBench, enabling scalable generation of non-existent concepts tailored to the specific needs of researchers and practitioners.
- Abstract（参考訳）: 言語モデル(LM)が実際に根拠のない応答を生成する幻覚は、ユーザが盲目的にそれらに依存する傾向があるため、深刻なリスクを引き起こす。
これは特に、そのようなモデル行動の結果が重大な害をもたらすような、ハイテイクな領域に関係している。
幻覚の理解の顕著な進歩にもかかわらず、これらのモデルがその知識の限界を確実に認識できるかどうかは不明である。
PhantomBenchはこの種の最初の大規模ベンチマークであり、様々な領域にまたがる実概念から派生した60万以上の非存在語と実体から構成される。
ベンチマークを用いて、さまざまなタイプとサイズの合計21のモデルを評価した。
ボード全体で停滞する幻覚率を示す(いくつかのケースでは平均86.7%)が、フロンティアモデルでさえ、特に入力が存在を前提とした場合、既存の概念を無視することができないことに留意する。
そこで, PhantomBenchは, 幻覚の傾向が強い稀な概念において, モデル行動を研究するためのプロキシとして機能することを示す。
また、PhantomBenchを構築するためのパイプラインを提供し、研究者や実践者の特定のニーズに合わせて、既存の概念をスケーラブルに生成することを可能にする。
関連論文リスト
- Seeing Is Believing? A Benchmark for Multimodal Large Language Models on Visual Illusions and Anomalies [40.03295633717008]
視覚錯覚と異常のモデル性能を探索するベンチマークであるVIA-Benchを紹介する。
我々は1K以上の高品質な問合せ対を構築し、微妙な視覚的推論を必要とする。
以上の結果から,知覚的ボトルネックの解消が人工知能の進歩に不可欠であることが示唆された。
論文 参考訳（メタデータ） (2026-02-02T08:48:03Z) - Feeling the Strength but Not the Source: Partial Introspection in LLMs [0.0]
人類学的な主張では、フロンティアモデルは時々、活性化方向として表される「概念」を検知し、名前を付けることができる。
われわれは、Meta-Llama-3.1-8B-Instruct上で、Arthropicのマルチターン「エマージェントイントロスペクション」の結果を再現する。
イントロスペクションは、非常に大きなモデルや有能なモデルに限らない。
論文 参考訳（メタデータ） (2025-12-13T17:51:13Z) - Test-Time Scaling in Reasoning Models Is Not Effective for Knowledge-Intensive Tasks Yet [93.00109641811788]
テストタイムスケーリングは、モデルが長い推論チェーンを生成することによって、推論時間計算を増加させる。
本手法は,知識集約型タスクにおいて,高い事実的精度と低幻覚率が不可欠である場合において,まだ有効ではないことを示す。
以上の結果から,テスト時間計算の増大は必ずしも精度の向上には至らず,多くの場合において幻覚の増大につながることが示唆された。
論文 参考訳（メタデータ） (2025-09-08T16:28:25Z) - HEAL: An Empirical Study on Hallucinations in Embodied Agents Driven by Large Language Models [27.72821031361892]
本研究では,大規模な言語モデルにおいて,シーン・タスクの不整合下での長時間の作業を行う幻覚に関する最初の体系的研究について述べる。
私たちのゴールは、幻覚の発生範囲、どのような不整合が引き起こされるか、現在のモデルがどのように反応するかを理解することです。
論文 参考訳（メタデータ） (2025-06-18T02:13:41Z) - HALoGEN: Fantastic LLM Hallucinations and Where to Find Them [39.678012380996854]
9つの領域にまたがる生成モデルに対する10,923のプロンプトからなる包括的な幻覚ベンチマークであるHALoGENをリリースする。
このフレームワークを使って14の言語モデルから15万世代を評価し、最高のパフォーマンスのモデルでさえ幻覚に満ちていることに気付きました。
論文 参考訳（メタデータ） (2025-01-14T18:13:08Z) - Unfamiliar Finetuning Examples Control How Language Models Hallucinate [75.03210107477157]
大規模な言語モデルは、馴染みのないクエリに直面した時に幻覚化することが知られている。
モデルの微調整データの見慣れない例は、これらのエラーを形作るのに不可欠である。
本研究は,RLファインタニング戦略をさらに研究し,長大なモデル生成の現実性を改善することを目的とする。
論文 参考訳（メタデータ） (2024-03-08T18:28:13Z) - Quantity Matters: Towards Assessing and Mitigating Number Hallucination in Large Vision-Language Models [57.42800112251644]
本研究では,画像中の特定の物体の数を誤って識別するモデルを参照しながら,特定の種類の幻覚数幻覚に焦点を当てた。
そこで,本研究では,数幻覚を減らすための一貫性向上を目的としたトレーニング手法を考案し,直接微調整法よりも8%の性能向上を図った。
論文 参考訳（メタデータ） (2024-03-03T02:31:11Z) - Mutual Information Alleviates Hallucinations in Abstractive
Summarization [73.48162198041884]
モデルが生成中の幻覚コンテンツにより多くの確率を割り当てる可能性が著しく高いという単純な基準を見いだす。
この発見は幻覚の潜在的な説明を提供する:モデルは、継続について不確実な場合には、高い限界確率のテキストを好むことをデフォルトとする。
そこで本研究では,ターゲットトークンの正当性ではなく,ソースとターゲットトークンのポイントワイドな相互情報の最適化に切り替える復号手法を提案する。
論文 参考訳（メタデータ） (2022-10-24T13:30:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。