Fugu-MT 論文翻訳(概要): Knowledge-based Consistency Testing of Large Language Models

論文の概要: Knowledge-based Consistency Testing of Large Language Models

arxiv url: http://arxiv.org/abs/2407.12830v2
Date: Sat, 5 Oct 2024 14:12:11 GMT
ステータス: 処理完了
システム内更新日: 2024-11-08 20:25:29.650265
Title: Knowledge-based Consistency Testing of Large Language Models
Title（参考訳）: 知識に基づく大規模言語モデルの一貫性テスト
Authors: Sai Sathiesh Rajan, Ezekiel Soremekun, Sudipta Chattopadhyay,
Abstract要約: 我々は,大規模言語モデル(LLM)の不整合性と知識ギャップを系統的に公開し,測定する。テストケースを構築するために知識グラフを活用する自動テストフレームワーク(KonTest)を提案する。さらに, GPT3.5は知識構築において60%-68%しか有効ではないため, 知識ベース一貫性試験には適さないことを示した。
参考スコア（独自算出の注目度）: 2.9699290794642366
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: In this work, we systematically expose and measure the inconsistency and knowledge gaps of Large Language Models (LLMs). Specifically, we propose an automated testing framework (called KonTest) which leverages a knowledge graph to construct test cases. KonTest probes and measures the inconsistencies in the LLM's knowledge of the world via a combination of semantically-equivalent queries and test oracles (metamorphic or ontological oracle). KonTest further mitigates knowledge gaps via a weighted LLM model ensemble. Using four state-of-the-art LLMs (Falcon, Gemini, GPT3.5, and Llama2), we show that KonTest generates 19.2% error inducing inputs (1917 errors from 9979 test inputs). It also reveals a 16.5% knowledge gap across all tested LLMs. A mitigation method informed by KonTest's test suite reduces LLM knowledge gap by 32.48%. Our ablation study further shows that GPT3.5 is not suitable for knowledge-based consistency testing because it is only 60%-68% effective in knowledge construction.
Abstract（参考訳）: 本研究では,大規模言語モデル(LLM)の不整合性と知識ギャップを系統的に明らかにし,評価する。具体的には、知識グラフを利用してテストケースを構築する自動テストフレームワーク(KonTest)を提案する。 KonTestは、意味論的に等価なクエリとテストオラクル(メタモルフィックまたはオントロジ的オラクル)の組み合わせによって、LLMの世界の知識の不整合を調査し、測定する。 KonTestはさらに、重み付きLLMモデルのアンサンブルを通じて、知識ギャップを緩和する。最先端の4つのLLM(Falcon, Gemini, GPT3.5, Llama2)を用いて、KonTestは19.2%のエラーインジェクション(9979のテストインプットから1917のエラー)を生成することを示した。また、全試験LLMの16.5%の知識ギャップも明らかにしている。 KonTestのテストスイートによって通知される緩和方法は、LLMの知識ギャップを32.48%削減する。さらに, GPT3.5は知識構築において60%-68%しか有効ではないため, 知識ベース一貫性試験には適さないことを示した。

関連論文リスト

Test smells in LLM-Generated Unit Tests [11.517293765116307]
本研究では,大規模言語モデルの生成した単体テストスイートにおけるテストの匂いの拡散について検討する。 5つのプロンプトエンジニアリング技術で4つのモデルで生成された20,500 LLM生成テストスイートのベンチマークを解析した。我々は,LLM生成テストスイートと筆記テストスイートの両方において,種々のテスト匂いの出現頻度と発生頻度を同定し,解析する。
論文参考訳（メタデータ） (2024-10-14T15:35:44Z)
On the Effectiveness of LLMs for Manual Test Verifications [1.920300814128832]
本研究の目的は,手動テストの検証にLarge Language Models (LLMs) を用いることである。オープンソースモデル Mistral-7B と Phi-3-mini-4k は、クローズドソースモデルと同等の有効性と一貫性を示した。 AI幻覚にも懸念があり、検証は期待から著しく逸脱した。
論文参考訳（メタデータ） (2024-09-19T02:03:04Z)
Rethinking the Influence of Source Code on Test Case Generation [22.168699378889148]
大規模言語モデル(LLM)は、コンテキストとして提供されるテスト対象のソースコードでテスト生成を支援するために広く応用されている。テスト中のソースコードが間違っていれば、LLMはテストの生成時に誤用されるだろうか? 評価結果から, 誤りコードは, 正しい, 高いカバレッジ, バグ修正テストを生成する際に, LLMを著しく誤解させる可能性が示唆された。
論文参考訳（メタデータ） (2024-09-14T15:17:34Z)
Improving LLM-based Unit test generation via Template-based Repair [8.22619177301814]
単体テストは個々のプログラムユニットのバグを検出するのに不可欠だが、時間と労力を消費する。大規模言語モデル(LLM)は、顕著な推論と生成能力を示している。本稿では,新しい単体テスト生成法であるTestARTを提案する。
論文参考訳（メタデータ） (2024-08-06T10:52:41Z)
Constrained C-Test Generation via Mixed-Integer Programming [55.28927994487036]
本研究は,単語の最後の部分のみをギャップに変換する,クローズテスト(ギャップ充足運動)の形式であるC-テストを生成する新しい手法を提案する。局所最適解を実現するために, ギャップサイズやギャップ配置の変化のみを考慮する従来の研究とは対照的に, 混合整数プログラミング(MIP)アプローチを提案する。当社のコード、モデル、収集したデータは32の英語のC-Testで、それぞれ20のギャップ(3,200の個別のギャップ応答)をオープンソースライセンスで公開しています。
論文参考訳（メタデータ） (2024-04-12T21:35:21Z)
KnowTuning: Knowledge-aware Fine-tuning for Large Language Models [83.5849717262019]
本研究では,LLMの微粒で粗粒な知識認識を改善するための知識認識ファインタニング(KnowTuning)手法を提案する。 KnowTuningは、きめ細かい事実評価の下で、より少ない事実エラー率で多くの事実を生成する。
論文参考訳（メタデータ） (2024-02-17T02:54:32Z)
The Earth is Flat? Unveiling Factual Errors in Large Language Models [89.94270049334479]
ChatGPTのような大規模言語モデル(LLM)は、事前学習や微調整の知識が豊富にあるため、様々な応用がある。それにもかかわらず、医療、ジャーナリズム、教育といった重要な分野に懸念を抱き、事実と常識の誤りを引き起こす傾向にある。 LLMにおける事実不正確な事実を明らかにすることを目的とした,新しい自動テストフレームワークであるFactCheckerを紹介する。
論文参考訳（メタデータ） (2024-01-01T14:02:27Z)
An empirical study of testing machine learning in the wild [35.13282520395855]
機械学習(ML/DL)アルゴリズムは多くのソフトウェアシステムで採用されている。インダクティブな性質のため、これらのシステムの品質を保証することは、研究コミュニティにとって重要な課題である。 ML/DLの品質保証に関する最近の研究は、信頼性を向上させるために、突然変異テストのような従来のソフトウェアテストの概念を適用している。
論文参考訳（メタデータ） (2023-12-19T21:18:14Z)
Assessing the Reliability of Large Language Model Knowledge [78.38870272050106]
大規模言語モデル(LLM)は、知識探索タスクにおける高い性能のため、知識ベースとして扱われてきた。 LLMが実際に正しい答えを連続的に生成する能力をどのように評価するか。 LLMの信頼性を直接測定するための新しい指標であるMOdel kNowledge relIabiliTy score (MONITOR)を提案する。
論文参考訳（メタデータ） (2023-10-15T12:40:30Z)
Statistical Knowledge Assessment for Large Language Models [79.07989821512128]
ファクトイドの問題に関する様々なプロンプトを考慮すれば、大きな言語モデル(LLM)は事実的に正しい答えを確実に生成できるだろうか? LLMの事実知識を評価する統計的手法であるKaRRを提案する。この結果から,同じバックボーン構造を持つLLMの知識はスケーリング法則に則っており,命令追従データに基づくチューニングは,実際に正しいテキストを確実に生成するモデルの能力を損なう場合があることがわかった。
論文参考訳（メタデータ） (2023-05-17T18:54:37Z)
Knowledge Rumination for Pre-trained Language Models [77.55888291165462]
本稿では,学習前の言語モデルが外部コーパスから検索することなく,関連する潜在知識を活用できるようにするための,Knowledge Ruminationと呼ばれる新しいパラダイムを提案する。本稿では,RoBERTa,DeBERTa,GPT-3などの言語モデルに適用する。
論文参考訳（メタデータ） (2023-05-15T15:47:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。