論文の概要: A Framework for Generating Valid Context-Specific Benchmarks through Expert Guidance

• arxiv url: http://arxiv.org/abs/2609.16592v1
• Date: Tue, 15 Sep 2026 03:36:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 14:56:08.330696
• Title: A Framework for Generating Valid Context-Specific Benchmarks through Expert Guidance
• Title（参考訳）: エキスパートガイダンスによる検証コンテキスト特化ベンチマーク生成フレームワーク
• Abstract要約: 本稿では,文脈依存型大規模言語モデル(LLM)ベンチマークデータセットを生成するためのエンドツーエンドアプローチを提案する。 本稿では,評価課題の目標,スコープ,コンテキストに関する重要な情報を抽出するスキーマを導入し,この情報を用いて合成データ生成のガイドを行う。 専門家インフォームド足場が、より有効なベンチマークに向けて、どのように合成データ生成を導くかを示す。
• 参考スコア（独自算出の注目度）: 8.655727081754241
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper presents an end-to-end approach for generating context-specific large language model (LLM) benchmark datasets by combining expert input with synthetic data generation. Existing benchmark construction methods often trade off validity and scalability: datasets designed with domain experts can produce high-quality evaluations but are slow and costly to create, while synthetically generating data may scale efficiently but often results in unrealistic, redundant, or out-of-scope examples. To address this gap, we introduce a schema eliciting key information about the goals, scope, and context of an evaluation task, and use this information to guide synthetic data generation. We further define four criteria grounded in measurement validity for assessing dataset quality: coverage, diversity, content realism, and stylistic realism. Using these criteria, we show how expert-informed scaffolds can guide synthetic data generation toward more valid benchmarks. Through quantitative evaluations and a real-world case study with domain experts, we demonstrate that our approach improves benchmark data quality over existing methods while preserving validity. We additionally analyze how different types of schema information affect different dataset quality criteria, and provide practical guidance on which information to prioritize collecting under resource constraints.
• Abstract（参考訳）: 本稿では,専門家の入力と合成データ生成を組み合わせることで,文脈固有な大規模言語モデル(LLM)ベンチマークデータセットを生成するためのエンドツーエンドアプローチを提案する。 既存のベンチマーク構築手法は、妥当性とスケーラビリティをトレードオフすることが多い: ドメインの専門家によって設計されたデータセットは、高品質な評価を生成できるが、作成には遅くてコストがかかる。 このギャップに対処するために、評価タスクの目標、スコープ、コンテキストに関する重要な情報を抽出するスキーマを導入し、この情報を用いて合成データ生成をガイドする。 さらに、データセットの品質を評価するための測定基準として、カバレッジ、多様性、コンテンツリアリズム、スタイリスティックリアリズムの4つを定義した。 これらの基準を用いて、専門家による足場が、より有効なベンチマークに向けて、どのように合成データ生成を導くかを示す。 定量的評価と実世界のドメイン専門家によるケーススタディを通じて,本手法は妥当性を保ちながら,既存の手法よりもベンチマークデータ品質を向上させることを実証した。 さらに、異なるタイプのスキーマ情報がデータセットの品質基準にどのように影響するかを分析し、リソース制約下での収集を優先する情報の実際的なガイダンスを提供する。

関連論文リスト

• A Benchmarking Framework for Model Datasets [1.2234742322758418]
  モデル駆動エンジニアリングにおける経験的およびLLMベースの研究は、ますますソフトウェアモデルのデータセットに依存している。 このようなデータセットは通常、収集されるか、アドホックに作成されるが、使用する特定のタスクに対する品質の保証はない。 我々は、言語やフォーマット間でソフトウェアモデルのデータセットを体系的に評価し比較するための統一的なインフラを提供するMDEのためのベンチマークプラットフォームを提案する。
  論文  参考訳（メタデータ） (2026-03-05T15:04:35Z)
• It's TIME: Towards the Next Generation of Time Series Forecasting Benchmarks [87.7937890373758]
  時系列基礎モデル(TSFM)は,特定のデータセットモデルから一般化可能なタスク評価に至るまで,予測環境に革命をもたらしている。 我々は、50の新しいデータセットと98の予測タスクからなる次世代タスク中心のベンチマークであるTIMEを紹介する。 静的なメタラベルに基づく従来のデータセットレベルの評価を超える新しいパターンレベルの評価視点を提案する。
  論文  参考訳（メタデータ） (2026-02-12T16:31:01Z)
• The LLM Data Auditor: A Metric-oriented Survey on Quality and Trustworthiness in Evaluating Synthetic Data [25.926467401802046]
  大規模言語モデル(LLM)は、様々なモダリティにまたがるデータを生成する強力なツールとして登場した。 本稿では,2次元から合成データを評価するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-01-25T06:40:25Z)
• OpenDataArena: A Fair and Open Arena for Benchmarking Post-Training Dataset Value [74.80873109856563]
  OpenDataArena(ODA)は、トレーニング後のデータの本質的な価値をベンチマークするために設計された、総合的でオープンなプラットフォームである。 ODAは4つの主要な柱からなる包括的なエコシステムを確立している。 (i) 多様なモデル間で公平でオープンな比較を保証する統一的なトレーニング評価パイプライン、 (ii) 異なる軸数に沿ってデータ品質をプロファイリングする多次元スコアリングフレームワーク、 (iii) データセットの系図を視覚化してコンポーネントソースを識別するインタラクティブなデータ系統探索である。
  論文  参考訳（メタデータ） (2025-12-16T03:33:24Z)
• Datasheets Aren't Enough: DataRubrics for Automated Quality Metrics and Accountability [41.23032741638842]
  本稿では,データセットレビュープロセスに,体系的な記述型評価指標を組み込むことを提唱する。 我々は、人間とモデル生成データセットの品質を評価するための構造化フレームワークであるDataRubricsを紹介する。
  論文  参考訳（メタデータ） (2025-06-02T15:31:52Z)
• Benchmarking Synthetic Tabular Data: A Multi-Dimensional Evaluation Framework [0.4874819476581695]
  合成データの品質を評価することは、データ駆動リサーチにおけるプライバシとユーティリティを確保する上で、依然として重要な課題である。 本稿では,プライバシを確保しつつ,合成データが元の分布特性をいかにうまく再現するかを定量化するフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-04-02T17:10:30Z)
• A Survey on Tabular Data Generation: Utility, Alignment, Fidelity, Privacy, and Beyond [53.56796220109518]
  異なるユースケースは、実際に有用な異なる要件を満たすために合成データを要求する。 合成データの実用性、合成データのドメイン固有の知識との整合性、実際のデータ分布と比較しての合成データ分布の統計的忠実度、プライバシ保護能力の4つの要件をレビューする。 今後の分野の方向性と、現在の評価方法を改善する機会について論じる。
  論文  参考訳（メタデータ） (2025-03-07T21:47:11Z)
• A Multi-Faceted Evaluation Framework for Assessing Synthetic Data Generated by Large Language Models [3.672850225066168]
  生成AIと大規模言語モデル(LLM)は、合成データを生成するための新たな道を開いた。 潜在的なメリットにもかかわらず、プライバシー漏洩に関する懸念が浮上している。 我々は,合成表データの忠実さ,有用性,およびプライバシー保護を評価するために設計されたオープンソースの評価フレームワークであるSynEvalを紹介する。
  論文  参考訳（メタデータ） (2024-04-20T08:08:28Z)
• Reliability in Semantic Segmentation: Can We Use Synthetic Data? [69.28268603137546]
  セマンティックセグメンテーションモデルの現実的信頼性を総合的に評価するために、合成データを具体的に生成する方法を初めて示す。 この合成データは、事前訓練されたセグメンタの堅牢性を評価するために使用される。 セグメンタのキャリブレーションとOOD検出能力を向上するために,我々のアプローチをどのように活用できるかを実証する。
  論文  参考訳（メタデータ） (2023-12-14T18:56:07Z)
• Reimagining Synthetic Tabular Data Generation through Data-Centric AI: A Comprehensive Benchmark [56.8042116967334]
  合成データは、機械学習モデルのトレーニングの代替となる。 合成データが現実世界データの複雑なニュアンスを反映することを保証することは、難しい作業です。 本稿では,データ中心型AI技術の統合による合成データ生成プロセスのガイドの可能性について検討する。
  論文  参考訳（メタデータ） (2023-10-25T20:32:02Z)
• Analyzing Dataset Annotation Quality Management in the Wild [63.07224587146207]
  最先端モデルのトレーニングと評価に使用される一般的なデータセットでさえ、誤ったアノテーションやバイアス、アーティファクトの量は無視できない。 データセット作成プロジェクトに関するプラクティスやガイドラインは存在するが、品質管理の実施方法に関する大規模な分析はまだ行われていない。
  論文  参考訳（メタデータ） (2023-07-16T21:22:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。