論文の概要: Ensuring Reproducibility in Generative AI Systems for General Use Cases: A Framework for Regression Testing and Open Datasets

• arxiv url: http://arxiv.org/abs/2505.02854v1
• Date: Fri, 02 May 2025 12:31:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-07 18:50:11.036496
• Title: Ensuring Reproducibility in Generative AI Systems for General Use Cases: A Framework for Regression Testing and Open Datasets
• Title（参考訳）: 汎用ユースケースのための生成AIシステムの再現性を保証する:回帰テストとオープンデータセットのためのフレームワーク
• Authors: Masumi Morishige, Ryo Koshihara,
• Abstract要約: 汎用ユースケースの回帰テストを実行するベンチマークであるGPR-benchを紹介する。 より新しいモデルは一般的に正確性を改善するが、違いは控えめで統計的に有意ではない。 対照的に、簡潔な命令は簡潔さを著しく向上させ、迅速なエンジニアリングの有効性を実証する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Reproducibility and reliability remain pressing challenges for generative AI systems whose behavior can drift with each model update or prompt revision. We introduce GPR-bench, a lightweight, extensible benchmark that operationalizes regression testing for general purpose use cases. GPR-bench couples an open, bilingual (English and Japanese) dataset covering eight task categories (e.g., text generation, code generation, and information retrieval) and 10 scenarios in each task categories (80 total test cases for each language) with an automated evaluation pipeline that employs "LLM-as-a-Judge" scoring of correctness and conciseness. Experiments across three recent model versions - gpt-4o-mini, o3-mini, and o4-mini - and two prompt configurations (default versus concise-writing instruction) reveal heterogeneous quality. Our results show that newer models generally improve correctness, but the differences are modest and not statistically significant, suggesting that GPR-bench may not be sufficiently challenging to differentiate between recent model versions. In contrast, the concise-writing instruction significantly enhances conciseness (+12.37 pp, Mann-Whitney U test: p < 0.001, effect size r = 0.2995) with minimal degradations on accuracy (-1.7 pp), demonstrating the effectiveness of prompt engineering. Released under the MIT License, GPR- bench lowers the barrier to initiating reproducibility monitoring and provides a foundation for community-driven extensions, while also raising important considerations about benchmark design for rapidly evolving language models.
• Abstract（参考訳）: 再現性と信頼性は、モデル更新やプロンプトリビジョンによって振る舞いを漂うことができる生成AIシステムにとって、依然として課題である。 汎用ユースケースの回帰テストを実行する軽量で拡張可能なベンチマークであるGPR-benchを紹介する。 GPR-benchは8つのタスクカテゴリ(例えば、テキスト生成、コード生成、情報検索)をカバーするオープンでバイリンガル(英語と日本語)のデータセットと、各タスクカテゴリ(言語毎の80のテストケース)の10のシナリオと、"LLM-as-a-Judge"スコアと簡潔さを自動評価パイプラインとを結合する。 最新の3つのモデルバージョン(gpt-4o-mini、o3-mini、o4-mini)と2つのプロンプト構成(デフォルトと簡潔な命令)が異質な品質を示している。 以上の結果から,新しいモデルでは精度が向上するが,その差は比較的小さく,統計的に有意ではないことが示唆された。 対照的に、簡潔な書き起こし命令は簡潔さ(+12.37 pp, Mann-Whitney U test: p < 0.001, effect size r = 0.2995)を大幅に向上させ、精度(-1.7 pp)を最小限に抑える。 MITライセンス下でリリースされたGPR-は、再現性監視を開始するための障壁を低くし、コミュニティ主導の拡張機能の基礎を提供すると同時に、急速に進化する言語モデルのためのベンチマーク設計に関する重要な考慮を提起する。

関連論文リスト

• Out of Style: RAG's Fragility to Linguistic Variation [29.59506089890902]
  ユーザクエリは言語的なバリエーションが大きく、依存するRAGコンポーネント間のカスケードエラーを引き起こす可能性がある。 我々は,4つの言語的次元(形式性,可読性,丁寧性,文法的正しさ)がRAG性能に与える影響を分析する。
  論文  参考訳（メタデータ） (2025-04-11T03:30:26Z)
• SFR-RAG: Towards Contextually Faithful LLMs [57.666165819196486]
  Retrieval Augmented Generation (RAG) は、外部コンテキスト情報を大言語モデル(LLM)と統合し、事実の精度と妥当性を高めるパラダイムである。 SFR-RAG(SFR-RAG)について述べる。 また、複数の人気かつ多様なRAGベンチマークをコンパイルする新しい評価フレームワークであるConBenchについても紹介する。
  論文  参考訳（メタデータ） (2024-09-16T01:08:18Z)
• Generative Judge for Evaluating Alignment [84.09815387884753]
  本稿では,これらの課題に対処するために,13Bパラメータを持つ生成判断器Auto-Jを提案する。 我々のモデルは,大規模な実環境シナリオ下でのユーザクエリとLLM生成応答に基づいて訓練されている。 実験的に、Auto-Jはオープンソースモデルとクローズドソースモデルの両方を含む、強力なライバルのシリーズを上回っている。
  論文  参考訳（メタデータ） (2023-10-09T07:27:15Z)
• Preserving Knowledge Invariance: Rethinking Robustness Evaluation of Open Information Extraction [49.15931834209624]
  実世界におけるオープン情報抽出モデルの評価をシミュレートする最初のベンチマークを示す。 我々は、それぞれの例が知識不変のcliqueである大規模なテストベッドを設計し、注釈付けする。 さらにロバスト性計量を解明することにより、その性能が全体の傾きに対して一貫して正確であるならば、モデルはロバストであると判断される。
  論文  参考訳（メタデータ） (2023-05-23T12:05:09Z)
• AES Systems Are Both Overstable And Oversensitive: Explaining Why And Proposing Defenses [66.49753193098356]
  スコアリングモデルの驚くべき逆方向の脆さの原因について検討する。 のモデルとして訓練されているにもかかわらず、単語の袋のように振る舞うことを示唆している。 高い精度で試料を発生させる過敏性と過敏性を検出できる検出ベース保護モデルを提案する。
  論文  参考訳（メタデータ） (2021-09-24T03:49:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。