論文の概要: STELLAR-E: a Synthetic, Tailored, End-to-end LLM Application Rigorous Evaluator

• arxiv url: http://arxiv.org/abs/2604.24544v1
• Date: Mon, 27 Apr 2026 14:39:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-28 17:12:08.089352
• Title: STELLAR-E: a Synthetic, Tailored, End-to-end LLM Application Rigorous Evaluator
• Title（参考訳）: STELLAR-E:リゴラス評価器
• Authors: Alessio Sordo, Lingxiao Du, Meeka-Hanna Lenisa, Evgeny Bogdanov, Maxim Romanovsky,
• Abstract要約: カスタマイズサイズの高品質な合成データセットを生成する完全自動化システムSTELLAR-Eを提案する。 合成データセットは、既存の言語固有のベンチマークに対してLLM-as-a-judgeスコアの平均的な差+5.7%に達する。
• 参考スコア（独自算出の注目度）: 0.2093721226649358
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The increasing reliance on Large Language Models (LLMs) across diverse sectors highlights the need for robust domain-specific and language-specific evaluation datasets; however, the collection of such datasets is challenging due to privacy concerns, regulatory restrictions, and the time cost for manual creation. Existing automated benchmarking methods are often limited by relying on pre-existing data, poor scalability, single-domain focus, and lack of multilingual support. We present STELLAR-E - a fully automated system to generate high-quality synthetic datasets of custom size, using minimal human inputs without depending on existing datasets. The system is structured in two stages: (1) We modify the TGRT Self-Instruct framework to create a synthetic data engine that enables controllable, custom synthetic dataset generation, and (2) an evaluation pipeline incorporating statistical and LLM-based metrics to assess the applicability of the synthetic dataset for LLM-based application evaluations. The synthetic datasets reach an average difference of +5.7% in terms of LLM-as-a-judge scores against existing language-specific benchmarks, demonstrating comparable quality for comprehensive assessment of big and small LLMs. While real datasets remain slightly more challenging for LLMs especially for smaller models, this work establishes a scalable and domain-adaptable benchmarking framework that supports fair evaluation of LLM applications, offering a faster alternative to manual approaches and enabling high-efficiency automated quality assurance cycles.
• Abstract（参考訳）: さまざまな分野にわたる大規模言語モデル(LLM)への依存度の増加は、堅牢なドメイン固有および言語固有の評価データセットの必要性を強調している。 既存の自動ベンチマーク手法は、既存のデータ、スケーラビリティの低下、単一ドメインへのフォーカス、多言語サポートの欠如などによって制限されることが多い。 既存のデータセットに依存することなく、最小限の人間入力を使用して、カスタムサイズの高品質な合成データセットを生成する、完全に自動化されたシステムSTELLAR-Eを提案する。 本システムは,(1)制御可能な,カスタムな合成データセット生成が可能な合成データエンジンを作成するために,TGRT Self-Instructフレームワークを改良し,(2)統計的およびLLMベースのメトリクスを取り入れた評価パイプラインを作成し,LLMベースのアプリケーション評価のための合成データセットの適用性を評価する。 合成データセットは、LLM-as-a-judgeスコアと既存の言語固有のベンチマークとの平均的な差+5.7%に達し、大小のLLMの総合的な評価に匹敵する品質を示している。 実際のデータセットは、特に小さなモデルでは、もう少し難しいままだが、この作業は、LLMアプリケーションの公正な評価をサポートし、手動によるアプローチのより高速な代替を提供し、高効率な自動品質保証サイクルを可能にする、スケーラブルでドメイン順応可能なベンチマークフレームワークを確立する。

関連論文リスト

• LM4Opt-RA: A Multi-Candidate LLM Framework with Structured Ranking for Automating Network Resource Allocation [0.7933039558471408]
  我々は,複雑な解析的および数学的推論タスクに,文脈的理解が不要であることに対処する。 既存のベンチマークデータセットは、動的な環境、変数、不均一な制約でそのような問題の複雑さに対処できない。 NL4RAは、LP、ILP、MILPとして定式化された50のリソース割り当て最適化問題からなるキュレートデータセットである。 次に,パラメータ数が異なるオープンソースのLLMの性能評価を行った。
  論文  参考訳（メタデータ） (2025-11-13T23:19:43Z)
• EMMOE: A Comprehensive Benchmark for Embodied Mobile Manipulation in Open Environments [11.97783742296183]
  Embodied Mobile Manipulation in Open Environmentsは、エージェントがユーザーの指示を解釈し、連続した空間で長時間の日常的なタスクを実行する必要があるベンチマークである。 Open EnvironmentsにおけるEmbodied Mobile Manipulationは、より多様な評価のための3つの新しいメトリクスとともに、ハイレベルで低レベルな実施タスクを統一されたフレームワークにシームレスに統合します。 We design model, a sophisticated agent system, a LLM with Direct Preference Optimization (DPO), light weighted navigation and operation model, and multiple error detection mechanism。
  論文  参考訳（メタデータ） (2025-03-11T16:42:36Z)
• Star-Agents: Automatic Data Optimization with LLM Agents for Instruction Tuning [71.2981957820888]
  本稿では,データセット間のデータ品質向上を自動化する新しいStar-Agentsフレームワークを提案する。 このフレームワークは最初,複数のLDMエージェントを用いた多様なインストラクションデータを生成する。 生成したデータは、難易度と品質の両方を評価する二重モデル法を用いて厳密な評価を行う。
  論文  参考訳（メタデータ） (2024-11-21T02:30:53Z)
• Autonomous Evaluation of LLMs for Truth Maintenance and Reasoning Tasks [20.072783454089098]
  本稿では,大規模言語モデル (LLM) 評価を形式的タスクに拡張するための新しいベンチマークである AutoEval を提案する。 AutoEvalは最初のベンチマークパラダイムであり、人間のラベルなしでLLMの客観的評価をスケールするのに必要ないくつかの重要な利点を提供している。
  論文  参考訳（メタデータ） (2024-10-11T00:56:37Z)
• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• DCA-Bench: A Benchmark for Dataset Curation Agents [9.60250892491588]
  不完全なドキュメンテーション、不正確なラベル、倫理的懸念、時代遅れの情報といったデータ品質問題は、広く使われているデータセットで共通している。 大きな言語モデル(LLM)の急増する能力により、LLMエージェントによる隠れデータセット問題の発見の合理化が約束されている。 本研究では,この課題に対処するLLMエージェントの能力を評価するためのベンチマークを確立する。
  論文  参考訳（メタデータ） (2024-06-11T14:02:23Z)
• RepEval: Effective Text Evaluation with LLM Representation [55.26340302485898]
  RepEvalは、評価のためにLarge Language Models(LLM)表現の投影を利用するメトリクスである。 我々の研究は、LLM表現に埋め込まれたテキスト品質に関する情報の豊かさを強調し、新しいメトリクスの開発のための洞察を提供する。
  論文  参考訳（メタデータ） (2024-04-30T13:50:55Z)
• MLLM-DataEngine: An Iterative Refinement Approach for MLLM [62.30753425449056]
  本稿では,データ生成,モデルトレーニング,評価を橋渡しする新しいクローズドループシステムを提案する。 各ループ内で、MLLM-DataEngineはまず評価結果に基づいてモデルの弱点を分析する。 ターゲットとして,異なる種類のデータの比率を調整する適応型バッドケースサンプリングモジュールを提案する。 品質については、GPT-4を用いて、各データタイプで高品質なデータを生成する。
  論文  参考訳（メタデータ） (2023-08-25T01:41:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。