論文の概要: UHGEval: Benchmarking the Hallucination of Chinese Large Language Models via Unconstrained Generation
- arxiv url: http://arxiv.org/abs/2311.15296v3
- Date: Fri, 24 May 2024 03:29:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-27 23:46:28.504753
- Title: UHGEval: Benchmarking the Hallucination of Chinese Large Language Models via Unconstrained Generation
- Title（参考訳）: UHGEval: 制約なし生成による中国語大言語モデルの幻覚のベンチマーク
- Authors: Xun Liang, Shichao Song, Simin Niu, Zhiyu Li, Feiyu Xiong, Bo Tang, Yezhaohui Wang, Dawei He, Peng Cheng, Zhonghao Wang, Haiying Deng,
- Abstract要約: 大規模言語モデル (LLM) は、現代の自然言語処理において重要な貢献者となっている。
LLMは幻覚テキストをしばしば生成し、その実用性を専門的な文脈で実現している。
最小限の制約で生成した出力をコンパイルするアンコントラスト型幻覚生成評価ベンチマークを開発した。
- 参考スコア（独自算出の注目度）: 18.22773343923806
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) have emerged as pivotal contributors in contemporary natural language processing and are increasingly being applied across a diverse range of industries. However, these large-scale probabilistic statistical models cannot currently ensure the requisite quality in professional content generation. These models often produce hallucinated text, compromising their practical utility in professional contexts. To assess the authentic reliability of LLMs in text generation, numerous initiatives have developed benchmark evaluations for hallucination phenomena. Nevertheless, these benchmarks frequently utilize constrained generation techniques due to cost and temporal constraints. These techniques encompass the use of directed hallucination induction and strategies that deliberately alter authentic text to produce hallucinations. These approaches are not congruent with the unrestricted text generation demanded by real-world applications. Furthermore, a well-established Chinese-language dataset dedicated to the evaluation of hallucinations in text generation is presently lacking. Consequently, we have developed an Unconstrained Hallucination Generation Evaluation (UHGEval) benchmark, designed to compile outputs produced with minimal restrictions by LLMs. Concurrently, we have established a comprehensive benchmark evaluation framework to aid subsequent researchers in undertaking scalable and reproducible experiments. We have also executed extensive experiments, evaluating prominent Chinese language models and the GPT series models to derive professional performance insights regarding hallucination challenges.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、現代の自然言語処理において重要な貢献者として登場し、多種多様な産業に適用されつつある。
しかし、これらの大規模確率論的統計モデルは、現在、プロのコンテンツ生成に必要な品質を保証できない。
これらのモデルは、しばしば幻覚テキストを生成し、その実用性を専門的な文脈で実現している。
テキスト生成におけるLCMの信頼性を評価するために,幻覚現象のベンチマーク評価を開発した。
しかしながら、これらのベンチマークはコストと時間的制約のため、しばしば制約付き生成技術を利用する。
これらの技術は、指示幻覚誘導と、幻覚を生み出すための真正のテキストを意図的に変更する戦略の使用を含んでいる。
これらのアプローチは、現実世界のアプリケーションによって要求される制限なしのテキスト生成と一致しない。
さらに, テキスト生成における幻覚評価専用の中国語データセットも現在, 欠落している。
その結果,LLMによる最小限の制約で生成した出力をコンパイルするUnconstrained Hallucination Generation Evaluation (UHGEval) ベンチマークを開発した。
同時に、我々は、拡張性および再現性のある実験を行う研究者を支援するための総合的なベンチマーク評価フレームワークを構築した。
我々はまた、幻覚の課題に関する専門的なパフォーマンスの洞察を得るために、著名な中国語モデルとGPTシリーズモデルを評価する広範な実験も行ってきた。
関連論文リスト
- Investigating the Role of Prompting and External Tools in Hallucination Rates of Large Language Models [0.0]
LLM(Large Language Models)は、人間の可読テキストの広範なコーパスに基づいて訓練された強力な計算モデルであり、汎用的な言語理解と生成を可能にする。
これらの成功にもかかわらず、LLMは幻覚と呼ばれる不正確さをしばしば生み出す。
本稿では,LLMにおける幻覚の低減を目的とした,異なるプロンプト戦略とフレームワークの実証評価を行う。
論文 参考訳（メタデータ） (2024-10-25T08:34:53Z) - THaMES: An End-to-End Tool for Hallucination Mitigation and Evaluation in Large Language Models [0.0]
事実的に誤ったコンテンツの生成である幻覚は、大規模言語モデルにおいてますます困難になっている。
本稿では,このギャップに対処する統合フレームワークとライブラリであるTHaMESを紹介する。
THaMES は LLM における幻覚の評価と緩和のためのエンドツーエンドのソリューションを提供する。
論文 参考訳（メタデータ） (2024-09-17T16:55:25Z) - Understanding Privacy Risks of Embeddings Induced by Large Language Models [75.96257812857554]
大きな言語モデルは、人工知能の初期の兆候を示すが、幻覚に苦しむ。
1つの有望な解決策は、外部知識を埋め込みとして保存し、LLMを検索強化世代に支援することである。
近年の研究では、事前学習された言語モデルによるテキスト埋め込みから、元のテキストを部分的に再構築できることが実験的に示されている。
論文 参考訳（メタデータ） (2024-04-25T13:10:48Z) - VALOR-EVAL: Holistic Coverage and Faithfulness Evaluation of Large Vision-Language Models [57.43276586087863]
LVLM(Large Vision-Language Models)は幻覚に悩まされ、このモデルでは可聴音を発生させるが、実際には誤出力を発生させる。
既存のベンチマークはスコープに限られており、主にオブジェクト幻覚に焦点を当てている。
対象,属性,関係を多次元のベンチマークで表現し,連想バイアスに基づいて画像を選択する。
論文 参考訳（メタデータ） (2024-04-22T04:49:22Z) - Exploring Precision and Recall to assess the quality and diversity of LLMs [82.21278402856079]
我々はtextscLlama-2 や textscMistral のような大規模言語モデル (LLM) のための新しい評価フレームワークを提案する。
このアプローチにより、コーパスの整合を必要とせず、生成したテキストの品質と多様性を微妙に評価できる。
論文 参考訳（メタデータ） (2024-02-16T13:53:26Z) - LM-Polygraph: Uncertainty Estimation for Language Models [71.21409522341482]
不確実性推定(UE)手法は、大規模言語モデル(LLM)の安全性、責任性、効果的な利用のための1つの経路である。
テキスト生成タスクにおけるLLMの最先端UEメソッドのバッテリを実装したフレームワークであるLM-PolygraphをPythonで統一したプログラムインタフェースで導入する。
研究者によるUEテクニックの一貫した評価のための拡張可能なベンチマークと、信頼スコア付き標準チャットダイアログを強化するデモWebアプリケーションを導入している。
論文 参考訳（メタデータ） (2023-11-13T15:08:59Z) - Evaluating, Understanding, and Improving Constrained Text Generation for Large Language Models [49.74036826946397]
本研究では,大言語モデル(LLM)の制約付きテキスト生成について検討する。
本研究は主に,制約を語彙型,構造型,関係型に分類するオープンソース LLM に重点を置いている。
その結果、LLMの能力と不足を照らし、制約を取り入れ、制約付きテキスト生成における将来の発展に対する洞察を提供する。
論文 参考訳（メタデータ） (2023-10-25T03:58:49Z) - AutoHall: Automated Hallucination Dataset Generation for Large Language Models [56.92068213969036]
本稿では,AutoHallと呼ばれる既存のファクトチェックデータセットに基づいて,モデル固有の幻覚データセットを自動的に構築する手法を提案する。
また,自己コントラディションに基づくゼロリソース・ブラックボックス幻覚検出手法を提案する。
論文 参考訳（メタデータ） (2023-09-30T05:20:02Z) - Zero-Resource Hallucination Prevention for Large Language Models [45.4155729393135]
ハロシン化(Hallucination)とは、大規模言語モデル(LLM)が事実的に不正確な情報を生成する事例を指す。
本稿では,SELF-FAMILIARITYと呼ばれる,入力命令に含まれる概念に対するモデルの親しみ度を評価する新しい自己評価手法を提案する。
4つの異なる大言語モデルでSELF-FAMILIARITYを検証し、既存の手法と比較して一貫して優れた性能を示す。
論文 参考訳（メタデータ） (2023-09-06T01:57:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。