論文の概要: Challenges in Testing Large Language Model Based Software: A Faceted Taxonomy

• arxiv url: http://arxiv.org/abs/2503.00481v1
• Date: Sat, 01 Mar 2025 13:15:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:25:56.646373
• Title: Challenges in Testing Large Language Model Based Software: A Faceted Taxonomy
• Title（参考訳）: 大規模言語モデルベースのソフトウェアをテストする上での課題 - 顔付き分類学
• Authors: Felix Dobslaw, Robert Feldt, Juyeon Yoon, Shin Yoo,
• Abstract要約: LLM(Large Language Models)とMulti-Agent LLM(MALLMs)は、従来の機械学習ソフトウェアとは異なり、非決定性を導入している。 本稿では, LLMテストケース設計の分類について, 研究文献, 経験, 実践状況を表すオープンソースツールの両面から報告する。
• 参考スコア（独自算出の注目度）: 14.041979999979166
• License:
• Abstract: Large Language Models (LLMs) and Multi-Agent LLMs (MALLMs) introduce non-determinism unlike traditional or machine learning software, requiring new approaches to verifying correctness beyond simple output comparisons or statistical accuracy over test datasets. This paper presents a taxonomy for LLM test case design, informed by both the research literature, our experience, and open-source tools that represent the state of practice. We identify key variation points that impact test correctness and highlight open challenges that the research, industry, and open-source communities must address as LLMs become integral to software systems. Our taxonomy defines four facets of LLM test case design, addressing ambiguity in both inputs and outputs while establishing best practices. It distinguishes variability in goals, the system under test, and inputs, and introduces two key oracle types: atomic and aggregated. Our mapping indicates that current tools insufficiently account for these variability points, highlighting the need for closer collaboration between academia and practitioners to improve the reliability and reproducibility of LLM testing.
• Abstract（参考訳）: LLM(Large Language Models)とMulti-Agent LLM(MALLMs)は、従来の機械学習ソフトウェアと異なり非決定性を導入し、単純な出力比較やテストデータセットの統計的精度を超えた正確性を検証する新しいアプローチを必要とする。 本稿では, LLMテストケース設計の分類について, 研究文献, 経験, 実践状況を表すオープンソースツールの両面から報告する。 我々は、LLMがソフトウェアシステムに不可欠なものになるにつれて、テストの正しさに影響を及ぼす重要な変化点を特定し、研究、産業、オープンソースコミュニティが対処しなければならないオープンな課題を強調します。 我々の分類学は、LLMテストケース設計の4つの側面を定義し、ベストプラクティスを確立しながら、入力と出力のあいまいさに対処する。 目標、テスト中のシステム、入力の多様性を区別し、原子と集約という2つの重要なオラクルタイプを導入します。 我々の地図からは、現在のツールがこれらの変動点を十分に考慮していないことが示され、LCMテストの信頼性と再現性を改善するために、学界と実践者の緊密な連携の必要性が浮き彫りにされている。

関連論文リスト

• RETAIN: Interactive Tool for Regression Testing Guided LLM Migration [8.378294455013284]
  RETAIN(Regression Testing Guided LLM migrAtIoN)は、LLMマイグレーションにおける回帰テスト用に明示的に設計されたツールである。 自動評価と経験的ユーザスタディにより、RETAINは手動による評価と比較して、参加者が2倍のエラーを識別し、75%以上のプロンプトで実験し、与えられた時間枠で12%高いスコアを得ることができた。
  論文  参考訳（メタデータ） (2024-09-05T22:22:57Z)
• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• On the Evaluation of Large Language Models in Unit Test Generation [16.447000441006814]
  単体テストは、ソフトウェアコンポーネントの正しさを検証するために、ソフトウェア開発において不可欠な活動である。 LLM(Large Language Models)の出現は、ユニットテスト生成を自動化するための新しい方向性を提供する。
  論文  参考訳（メタデータ） (2024-06-26T08:57:03Z)
• A Software Engineering Perspective on Testing Large Language Models: Research, Practice, Tools and Benchmarks [2.8061460833143346]
  大規模言語モデル(LLM)は、スタンドアロンツールとしても、現在および将来のソフトウェアシステムのコンポーネントとしても、急速に普及しています。 LLMを2030年のハイテイクシステムや安全クリティカルシステムで使用するためには、厳格なテストを実施する必要がある。
  論文  参考訳（メタデータ） (2024-06-12T13:45:45Z)
• Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
  異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。 トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。 広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
  論文  参考訳（メタデータ） (2024-06-07T11:37:45Z)
• Tasks People Prompt: A Taxonomy of LLM Downstream Tasks in Software Verification and Falsification Approaches [2.687757575672707]
  我々は、分類、マッピング、分析を行うための新しい下流タスク分類法を開発した。 主な分類基準は、タスクタイプの変動点を示しながら、共通点を強調することである。
  論文  参考訳（メタデータ） (2024-04-14T23:45:23Z)
• Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
  大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。 自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。 本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
  論文  参考訳（メタデータ） (2023-12-26T07:24:46Z)
• CLOMO: Counterfactual Logical Modification with Large Language Models [109.60793869938534]
  本稿では,新しいタスク,CLOMO(Counterfactual Logical Modification)と高品質な人間アノテーションベンチマークを紹介する。 このタスクでは、LLMは所定の論理的関係を維持するために、与えられた議論的テキストを順応的に変更しなければなりません。 LLMの自然言語出力を直接評価する革新的な評価指標である自己評価スコア(SES)を提案する。
  論文  参考訳（メタデータ） (2023-11-29T08:29:54Z)
• From Quantity to Quality: Boosting LLM Performance with Self-Guided Data Selection for Instruction Tuning [52.257422715393574]
  本稿では,Large Language Models (LLMs) の自己誘導手法を導入し,オープンソースデータセットからサクラサンプルを自動識別し,選択する。 我々の重要な革新である命令追従困難度(IFD)メトリックは、モデルが期待する応答と本質的な生成能力の相違を識別するための重要な指標として現れます。
  論文  参考訳（メタデータ） (2023-08-23T09:45:29Z)
• How Effective are Large Language Models in Generating Software Specifications? [14.170320751508502]
  大規模言語モデル(LLM)は多くのソフトウェア工学(SE)タスクにうまく適用されている。 ソフトウェアコメントやドキュメンテーションからソフトウェア仕様を生成するためのLCMの能力を評価するための、最初の実証的研究を行う。
  論文  参考訳（メタデータ） (2023-06-06T00:28:39Z)
• Self-Checker: Plug-and-Play Modules for Fact-Checking with Large Language Models [75.75038268227554]
  Self-Checkerはファクトチェックを容易にするプラグインとプレイモジュールからなるフレームワークである。 このフレームワークは、低リソース環境でファクトチェックシステムを構築するための、高速で効率的な方法を提供する。
  論文  参考訳（メタデータ） (2023-05-24T01:46:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。