Fugu-MT 論文翻訳(概要): Towards Trustable Language Models: Investigating Information Quality of Large Language Models

論文の概要: Towards Trustable Language Models: Investigating Information Quality of Large Language Models

arxiv url: http://arxiv.org/abs/2401.13086v1
Date: Tue, 23 Jan 2024 20:55:49 GMT
ステータス: 処理完了
システム内更新日: 2024-01-25 16:05:01.511168
Title: Towards Trustable Language Models: Investigating Information Quality of Large Language Models
Title（参考訳）: 信頼できる言語モデルに向けて:大規模言語モデルの情報品質を探る
Authors: Rick Rejeleene, Xiaowei Xu, John Talburt
Abstract要約: 大規模言語モデル(LLM)は、ユーザがますます信頼し、信頼する必要のある情報を急速に生成している。 LLMの顕著な進歩にもかかわらず、LLMが生成した情報は、情報品質の課題のため、完全に信頼できるものではない。
参考スコア（独自算出の注目度）: 2.681558084723648
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Large language models (LLM) are generating information at a rapid pace, requiring users to increasingly rely and trust the data. Despite remarkable advances of LLM, Information generated by LLM is not completely trustworthy, due to challenges in information quality. Specifically, integrity of Information quality decreases due to unreliable, biased, tokenization during pre-training of LLM. Moreover, due to decreased information quality issues, has led towards hallucination, fabricated information. Unreliable information can lead towards flawed decisions in businesses, which impacts economic activity. In this work, we introduce novel mathematical information quality evaluation of LLM, we furthermore analyze and highlight information quality challenges, scaling laws to systematically scale language models.
Abstract（参考訳）: 大規模言語モデル(LLM)は、ユーザがますます信頼し、信頼する必要のある情報を急速に生成している。 LLMの顕著な進歩にもかかわらず、LLMが生成した情報は、情報品質の課題のため、完全に信頼できるものではない。具体的には、LCMの事前トレーニング中に信頼性の低い、バイアスのあるトークン化によって、情報品質の整合性が低下する。さらに, 情報品質の問題が減り, 幻覚化, 偽情報化が進んでいる。信頼できない情報は、ビジネスの欠陥のある決定につながる可能性がある。本研究では,LLMの数学的品質評価を新たに導入し,さらに情報品質の課題を解析・強調し,言語モデルを体系的に拡張するための法則をスケーリングする。

関連論文リスト

Quantifying Qualitative Insights: Leveraging LLMs to Market Predict [0.0]
本研究は、証券会社からの日々の報告を活用して高品質な文脈情報を作成することによる課題に対処する。レポートはテキストベースのキーファクタにセグメント化され、価格情報などの数値データと組み合わせてコンテキストセットを形成する。工芸的なプロンプトは重要な要素にスコアを割り当て、質的な洞察を定量的な結果に変換するように設計されている。
論文参考訳（メタデータ） (2024-11-13T07:45:40Z)
Evaluating Large Language Model Capability in Vietnamese Fact-Checking Data Generation [1.0173628293062005]
大規模言語モデル(LLM)は、様々な複雑な言語タスクに適用されている。本稿では,ベトナムのファクトチェックタスクにおけるLPMを用いた自動データ生成について検討する。簡単なプロンプト技術を用いて自動データ構築プロセスを開発し、生成したデータの品質を改善するためにいくつかの手法を探索する。
論文参考訳（メタデータ） (2024-11-08T15:35:43Z)
LLM-PBE: Assessing Data Privacy in Large Language Models [111.58198436835036]
大規模言語モデル(LLM)は多くのドメインに不可欠なものとなり、データ管理、マイニング、分析におけるアプリケーションを大幅に進歩させた。この問題の批判的な性質にもかかわらず、LLMにおけるデータプライバシのリスクを総合的に評価する文献は存在しない。本稿では,LLMにおけるデータプライバシリスクの体系的評価を目的としたツールキットであるLLM-PBEを紹介する。
論文参考訳（メタデータ） (2024-08-23T01:37:29Z)
CLAMBER: A Benchmark of Identifying and Clarifying Ambiguous Information Needs in Large Language Models [60.59638232596912]
大規模言語モデル(LLM)を評価するベンチマークであるCLAMBERを紹介する。分類を基盤として12Kの高品質なデータを構築し, 市販のLCMの強度, 弱点, 潜在的なリスクを評価する。本研究は, あいまいなユーザクエリの特定と明確化において, 現在のLCMの実用性に限界があることを示唆する。
論文参考訳（メタデータ） (2024-05-20T14:34:01Z)
Small Models, Big Insights: Leveraging Slim Proxy Models To Decide When and What to Retrieve for LLMs [60.40396361115776]
本稿では,スリムプロキシモデルを用いた大規模言語モデル (LLM) における知識不足を検知する新しい協調手法であるSlimPLMを提案する。パラメータがはるかに少ないプロキシモデルを採用し、回答を回答としています。ヒューリスティックな回答は、LLM内の既知の未知の知識と同様に、ユーザの質問に答えるために必要な知識を予測するのに使用される。
論文参考訳（メタデータ） (2024-02-19T11:11:08Z)
Factuality of Large Language Models: A Survey [29.557596701431827]
我々は、主要な課題とその原因を特定することを目的として、既存の研究を批判的に分析する。オープンエンドテキスト生成における事実自動評価の障害を解析する。
論文参考訳（メタデータ） (2024-02-04T09:36:31Z)
Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
論文参考訳（メタデータ） (2023-12-26T07:24:46Z)
RECALL: A Benchmark for LLMs Robustness against External Counterfactual Knowledge [69.79676144482792]
本研究の目的は,LLMが外部知識から信頼できる情報を識別する能力を評価することである。本ベンチマークは,質問応答とテキスト生成という2つのタスクから構成される。
論文参考訳（メタデータ） (2023-11-14T13:24:19Z)
Challenges and Contributing Factors in the Utilization of Large Language Models (LLMs) [10.039589841455136]
本稿では,大規模言語モデル (LLM) がニッチ分野における専門的な質問に対して正確な回答を提供するのに苦慮する領域特異性の問題について考察する。トレーニングデータを多様化し、きめ細かいモデルを作成し、透明性と解釈可能性を高め、倫理と公正なトレーニングを取り入れることが推奨されている。
論文参考訳（メタデータ） (2023-10-20T08:13:36Z)
CARE-MI: Chinese Benchmark for Misinformation Evaluation in Maternity and Infant Care [14.326936563564171]
大規模言語モデル(LLM)における誤情報評価のためのベンチマークCARE-MIを提案する。提案するベンチマークは,LLMの広範利用と,これらのモデルが生成した誤情報を評価するためのデータセットの欠如とのギャップを埋めるものである。ベンチマークの結果,母子関係や乳幼児ケアの分野では,現在の中国のLSMは完璧とは程遠いことが判明した。
論文参考訳（メタデータ） (2023-07-04T03:34:19Z)
On the Risk of Misinformation Pollution with Large Language Models [127.1107824751703]
本稿では,現代大規模言語モデル (LLM) の誤用の可能性について検討する。本研究は, LLMが効果的な誤情報発生器として機能し, DOQAシステムの性能が著しく低下することを明らかにする。
論文参考訳（メタデータ） (2023-05-23T04:10:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。