論文の概要: Optimizing Case-Based Reasoning System for Functional Test Script Generation with Large Language Models

• arxiv url: http://arxiv.org/abs/2503.20576v1
• Date: Wed, 26 Mar 2025 14:23:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-27 13:22:30.227909
• Title: Optimizing Case-Based Reasoning System for Functional Test Script Generation with Large Language Models
• Title（参考訳）: 大規模言語モデルを用いた関数型テストスクリプト生成のためのケースベース推論システムの最適化
• Authors: Siyuan Guo, Huiwu Liu, Xiaolong Chen, Yuming Xie, Liang Zhang, Tao Han, Hechang Chen, Yi Chang, Jun Wang,
• Abstract要約: テスト意図記述とそれに対応するテストスクリプトのケースバンクを保守し活用するケースベース推論(CBR)システムを提案する。 ユーザエクスペリエンスをさらに向上するために,再ランクベースの検索微調整と再利用微調整を併用したCBRシステムの最適化手法であるRe4を導入する。
• 参考スコア（独自算出の注目度）: 18.24326624696047
• License:
• Abstract: In this work, we explore the potential of large language models (LLMs) for generating functional test scripts, which necessitates understanding the dynamically evolving code structure of the target software. To achieve this, we propose a case-based reasoning (CBR) system utilizing a 4R cycle (i.e., retrieve, reuse, revise, and retain), which maintains and leverages a case bank of test intent descriptions and corresponding test scripts to facilitate LLMs for test script generation. To improve user experience further, we introduce Re4, an optimization method for the CBR system, comprising reranking-based retrieval finetuning and reinforced reuse finetuning. Specifically, we first identify positive examples with high semantic and script similarity, providing reliable pseudo-labels for finetuning the retriever model without costly labeling. Then, we apply supervised finetuning, followed by a reinforcement learning finetuning stage, to align LLMs with our production scenarios, ensuring the faithful reuse of retrieved cases. Extensive experimental results on two product development units from Huawei Datacom demonstrate the superiority of the proposed CBR+Re4. Notably, we also show that the proposed Re4 method can help alleviate the repetitive generation issues with LLMs.
• Abstract（参考訳）: 本研究では,対象ソフトウェアの動的に進化するコード構造を理解する必要がある機能テストスクリプトを生成するために,大規模言語モデル(LLM)の可能性を検討する。 そこで本研究では、4Rサイクル(すなわち、回収、再利用、修正、保持)を利用したケースベース推論(CBR)システムを提案する。 ユーザエクスペリエンスをさらに向上するために,再ランクベースの検索微調整と再利用微調整を併用したCBRシステムの最適化手法であるRe4を導入する。 具体的には、まず、高いセマンティクスとスクリプトの類似性を持つ陽性例を特定し、コストのかかるラベル付けを伴わずに、検索モデルを微調整するための信頼性の高い擬似ラベルを提供する。 次に, 教師付きファインタニング, 強化学習ファインタニングを応用し, LLMと生産シナリオの整合を図り, 回収されたケースの忠実な再利用を確実にする。 Huawei Datacomの2つの製品開発ユニットの大規模な実験結果は、提案されたCBR+Re4の優位性を示している。 また,提案手法は,LLMの繰り返し発生問題を緩和する上で有効であることを示す。

関連論文リスト

• Optimizing Knowledge Integration in Retrieval-Augmented Generation with Self-Selection [72.92366526004464]
  Retrieval-Augmented Generation (RAG) は、Large Language Models (LLM) がより正確で信頼性の高い応答を生成するのに有効であることが証明されている。 本稿では,自己選択型RAGフレームワークを提案する。このフレームワークでは,内部パラメトリック知識のみで生成されたペアの応答からLLMを選択できる。
  論文  参考訳（メタデータ） (2025-02-10T04:29:36Z)
• A Systematic Approach for Assessing Large Language Models' Test Case Generation Capability [0.8287206589886879]
  大規模言語モデル (LLM) を評価するために,制御フロー構造と可変利用構成 (GBCV) から生成したベンチマークを提案する。 基本的な制御フロー構造と変数使用量を活用することで、GBCVは、単純なプログラムから複雑なプログラムの範囲を作成する柔軟なフレームワークを提供する。 以上の結果から,GPT-4oは複雑なプログラム構造において優れた性能を示し,全てのモデルが単純な条件下で境界値を効果的に検出するが,算術計算では問題に直面することが示唆された。
  論文  参考訳（メタデータ） (2025-02-05T03:51:44Z)
• Automated Refactoring of Non-Idiomatic Python Code: A Differentiated Replication with LLMs [54.309127753635366]
  本研究は, GPT-4の有効性について検討し, 慣用行動の推奨と示唆について検討した。 この結果から,従来は複雑なコード解析に基づくレコメンデータの実装が求められていた,LCMの課題達成の可能性が浮き彫りになった。
  論文  参考訳（メタデータ） (2025-01-28T15:41:54Z)
• Unleashing the Power of Large Language Models in Zero-shot Relation Extraction via Self-Prompting [21.04933334040135]
  本稿では,大規模言語モデルに組み込まれたRE知識を十分に活用する新しい手法であるSelf-Promptingフレームワークを紹介する。 我々のフレームワークは3段階の多様性アプローチを用いてLSMを誘導し、スクラッチから特定の関係をカプセル化する複数の合成サンプルを生成する。 ベンチマークデータセットを用いた実験により,既存のLCMベースのゼロショットRE法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2024-10-02T01:12:54Z)
• DS-Agent: Automated Data Science by Empowering Large Language Models with Case-Based Reasoning [56.887047551101574]
  大規模言語モデル(LLM)エージェントとケースベース推論(CBR)を利用した新しいフレームワークであるDS-Agentを提案する。 開発段階では、DS-AgentはCBRフレームワークに従い、自動イテレーションパイプラインを構築する。 デプロイメントの段階では、DS-Agentは、シンプルなCBRパラダイムで低リソースのデプロイメントステージを実装し、LCMの基本能力に対する需要を大幅に削減する。
  論文  参考訳（メタデータ） (2024-02-27T12:26:07Z)
• StepCoder: Improve Code Generation with Reinforcement Learning from Compiler Feedback [58.20547418182074]
  2つの主要コンポーネントからなるコード生成の新しいフレームワークであるStepCoderを紹介します。 CCCSは、長いシーケンスのコード生成タスクをCurriculum of Code Completion Subtaskに分割することで、探索課題に対処する。 FGOは、未実行のコードセグメントをマスクすることでのみモデルを最適化し、Fine-Grained Optimizationを提供する。 提案手法は,出力空間を探索し,対応するベンチマークにおいて最先端の手法より優れた性能を発揮する。
  論文  参考訳（メタデータ） (2024-02-02T13:14:31Z)
• Continual Referring Expression Comprehension via Dual Modular Memorization [133.46886428655426]
  Referring Expression (REC) は、自然言語で記述された対象のイメージ領域をローカライズすることを目的としている。 既存のRECアルゴリズムは、モデルへのデータ供給のトレーニングを前もって行うと強く仮定する。 本稿では、入ってくるタスクのストリーム上でモデルが学習するRECの新しい設定である連続参照表現(CREC)を提案する。 学習済みの知識を忘れずに,スクラッチから繰り返し再学習することなく,逐次的タスクのモデルを継続的に改善するために,デュアルモジュール記憶法という効果的なベースライン手法を提案する。
  論文  参考訳（メタデータ） (2023-11-25T02:58:51Z)
• LLM4DV: Using Large Language Models for Hardware Test Stimuli Generation [4.9931630484957585]
  ハードウェアデザイン検証(ハードウェアデザイン検証、英: hardware design verification、DV)は、ハードウェア設計の仕様に対する機能的等価性をチェックするプロセスである。 DVプロセスにおける重要なタスクは、テスト刺激生成であり、テストのための一連の条件や入力を生成する。 自動ハードウェアテスト刺激発生のためのLCMを効率的にオーケストレーションするLLM4DVというオープンソースのベンチマークフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-06T19:02:04Z)
• ReLLa: Retrieval-enhanced Large Language Models for Lifelong Sequential Behavior Comprehension in Recommendation [43.270424225285105]
  ゼロショットと少数ショットのレコメンデーションタスクのために、純粋に大きな言語モデルを適応し、強化することに重点を置いています。 ゼロショット設定と少数ショット設定の両方でレコメンデーションタスクを行うRetrieval-enhanced Large Language Model (ReLLa)を提案する。
  論文  参考訳（メタデータ） (2023-08-22T02:25:04Z)
• Guiding Large Language Models via Directional Stimulus Prompting [114.84930073977672]
  我々は,特定の所望の出力に対して,ブラックボックス大言語モデル(LLM)を導くための新しいフレームワークであるDirectional Stimulus Promptingを紹介する。 LLMを直接調整するのではなく、小さな調整可能なポリシーモデルを用いて各入力インスタンスに対して補助的な指向性刺激プロンプトを生成する。
  論文  参考訳（メタデータ） (2023-02-22T17:44:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。