論文の概要: FFT: Towards Harmlessness Evaluation and Analysis for LLMs with Factuality, Fairness, Toxicity

• arxiv url: http://arxiv.org/abs/2311.18580v1
• Date: Thu, 30 Nov 2023 14:18:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-01 16:21:33.873620
• Title: FFT: Towards Harmlessness Evaluation and Analysis for LLMs with Factuality, Fairness, Toxicity
• Title（参考訳）: FFT: 現実性, 公正性, 毒性を有するLCMの無害性評価と解析に向けて
• Authors: Shiyao Cui, Zhenyu Zhang, Yilong Chen, Wenyuan Zhang, Tianyun Liu, Siqi Wang, Tingwen Liu
• Abstract要約: 生成的人工知能の普及により、AI生成テキストによる潜在的な害に対する懸念が高まっている。 これまでの研究者は、生成言語モデルの無害性を評価するために多くの努力を払ってきた。
• 参考スコア（独自算出の注目度）: 21.539026782010573
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The widespread of generative artificial intelligence has heightened concerns about the potential harms posed by AI-generated texts, primarily stemming from factoid, unfair, and toxic content. Previous researchers have invested much effort in assessing the harmlessness of generative language models. However, existing benchmarks are struggling in the era of large language models (LLMs), due to the stronger language generation and instruction following capabilities, as well as wider applications. In this paper, we propose FFT, a new benchmark with 2116 elaborated-designed instances, for LLM harmlessness evaluation with factuality, fairness, and toxicity. To investigate the potential harms of LLMs, we evaluate 9 representative LLMs covering various parameter scales, training stages, and creators. Experiments show that the harmlessness of LLMs is still under-satisfactory, and extensive analysis derives some insightful findings that could inspire future research for harmless LLM research.
• Abstract（参考訳）: 生成型人工知能の普及は、aiが生成するテキストによって引き起こされる潜在的な有害性に対する懸念を高め、主に事実的、不公平、有害なコンテンツから引き起こされている。 これまでの研究者は、生成言語モデルの無害性を評価することに多大な努力を払ってきた。 しかし、既存のベンチマークは、より強力な言語生成と命令追従能力と、より広範なアプリケーションのために、大規模言語モデル(LLM)の時代に苦戦している。 本稿では, 事実性, 公平性, 毒性を伴うllm無害性評価のための, 2116 の設計例を用いた新しいベンチマークである fft を提案する。 LLMの潜在的な害について検討するため、様々なパラメータスケール、トレーニングステージ、クリエーターをカバーする9つの代表LSMを評価した。 実験により、LLMの無害性はまだ不十分であることが示され、広範囲な分析により、将来の無害LSM研究に刺激を与える可能性のある洞察力のある発見が導かれる。

関連論文リスト

• A Survey on Uncertainty Quantification of Large Language Models: Taxonomy, Open Research Challenges, and Future Directions [9.045698110081686]
  大規模言語モデル (LLMs) は、信頼性を高く表現した、妥当で、事実的に正しくない応答を生成する。 従来の研究では、LLMが生み出す幻覚やその他の非現実的な反応は、関連するプロンプトに対するLLMの不確実性を調べることによって検出できることが示されている。 本調査は, LLMの健全な特徴と強度, 弱点を識別し, 既存の不確実性定量化手法を幅広く検討することを目的としている。
  論文  参考訳（メタデータ） (2024-12-07T06:56:01Z)
• Truth or Mirage? Towards End-to-End Factuality Evaluation with LLM-Oasis [78.07225438556203]
  LLM-Oasisは、エンド・ツー・エンドの事実性評価をトレーニングするための最大のリソースである。 ウィキペディアからクレームを抽出し、これらのクレームのサブセットを偽造し、事実と非事実のテキストのペアを生成することで構築される。 次に、データセットの品質を検証し、事実性評価システムのための金の標準テストセットを作成するために、人間のアノテータに依存します。
  論文  参考訳（メタデータ） (2024-11-29T12:21:15Z)
• Testing and Evaluation of Large Language Models: Correctness, Non-Toxicity, and Fairness [30.632260870411177]
  大規模言語モデル(LLM)は、過去数年間、人々の仕事や日常生活に急速に浸透してきた。 この論文は、ソフトウェアテストと自然言語処理の両方の観点から、LSMの正当性、非毒性、公平性に焦点を当てている。
  論文  参考訳（メタデータ） (2024-08-31T22:21:04Z)
• Understanding Privacy Risks of Embeddings Induced by Large Language Models [75.96257812857554]
  大きな言語モデルは、人工知能の初期の兆候を示すが、幻覚に苦しむ。 1つの有望な解決策は、外部知識を埋め込みとして保存し、LLMを検索強化世代に支援することである。 近年の研究では、事前学習された言語モデルによるテキスト埋め込みから、元のテキストを部分的に再構築できることが実験的に示されている。
  論文  参考訳（メタデータ） (2024-04-25T13:10:48Z)
• Rethinking Interpretability in the Era of Large Language Models [76.1947554386879]
  大規模言語モデル(LLM)は、幅広いタスクにまたがる顕著な機能を示している。 自然言語で説明できる能力により、LLMは人間に与えられるパターンのスケールと複雑さを拡大することができる。 これらの新しい機能は、幻覚的な説明や膨大な計算コストなど、新しい課題を提起する。
  論文  参考訳（メタデータ） (2024-01-30T17:38:54Z)
• Survey on Factuality in Large Language Models: Knowledge, Retrieval and Domain-Specificity [61.54815512469125]
  本調査は,大規模言語モデル(LLM)における事実性の重要課題に対処する。 LLMが様々な領域にまたがる応用を見出すにつれ、その出力の信頼性と正確性は重要となる。
  論文  参考訳（メタデータ） (2023-10-11T14:18:03Z)
• FELM: Benchmarking Factuality Evaluation of Large Language Models [40.78878196872095]
  本稿では,Felmと呼ばれる大規模言語モデルのファクチュアリティ評価のためのベンチマークを紹介する。 我々は,大規模言語モデルから生成された応答を収集し,微粒な方法で事実ラベルを注釈付けする。 その結果,検索は事実性評価に役立つが,現在のLCMは事実の誤りを忠実に検出するには不十分であることがわかった。
  論文  参考訳（メタデータ） (2023-10-01T17:37:31Z)
• Are Large Language Models Really Robust to Word-Level Perturbations? [68.60618778027694]
  本稿では,事前学習した報酬モデルを診断ツールとして活用する,新たな合理的評価手法を提案する。 より長い会話は、質問を理解する能力の観点から言語モデルの包括的把握を示す。 この結果から,LLMは日常言語でよく使われる単語レベルの摂動に対する脆弱性をしばしば示している。
  論文  参考訳（メタデータ） (2023-09-20T09:23:46Z)
• Sentiment Analysis in the Era of Large Language Models: A Reality Check [69.97942065617664]
  本稿では,大規模言語モデル(LLM)の様々な感情分析タスクの実行能力について検討する。 26のデータセット上の13のタスクのパフォーマンスを評価し、ドメイン固有のデータセットに基づいて訓練された小言語モデル(SLM)と比較した。
  論文  参考訳（メタデータ） (2023-05-24T10:45:25Z)
• Red teaming ChatGPT via Jailbreaking: Bias, Robustness, Reliability and Toxicity [19.94836502156002]
  大規模言語モデル(LLM)は社会的偏見と毒性を示し、無責任から生じる倫理的および社会的危険を呈する。 複数のサンプルデータセット上でChatGPTを実証的にベンチマークする。 既存のベンチマークでは、かなりの数の倫理的リスクに対処できないことが分かっています。
  論文  参考訳（メタデータ） (2023-01-30T13:20:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。