論文の概要: Comparing Domain-Model Similarity Metrics Against Human Expert Ratings
- arxiv url: http://arxiv.org/abs/2608.15250v1
- Date: Sat, 15 Aug 2026 14:15:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-18 19:59:03.238876
- Title: Comparing Domain-Model Similarity Metrics Against Human Expert Ratings
- Title（参考訳）: ドメインモデル類似度尺度と人間専門家評価の比較
- Abstract要約: 本稿では,ドメインモデル比較のための5つの指標の実装について述べる。
各指標の出力と、同じ比較のために生成された人間の専門家のレーティングを比較する。
この結果、全ての基準で1つのメートル法が支配的でないことが明らかとなった。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Domain models are a primary artefact in model-driven software engineering, where they capture the shared understanding between stakeholders and serve as the contractual basis for downstream software development. Automatic comparison of these semantic models has diverse application areas such as requirements engineering, education, automatic generation of domain models and model reuse and repository mining. The literature offers a variety of presented metrics, but for practitioners there is no defensible way to choose between them. The contribution of this paper is the implementation of five such metrics, their execution on a fixed set of 39 domain-model comparisons and the comparison of each metric's output against the human expert ratings produced for the same comparisons. Two research questions are addressed. RQ1 asks how close, on average, each metric is to the human expert rating across the 39 comparisons. RQ2 asks how consistent each metric's per-comparison distance from the human expert rating is. The findings reveal that no single metric achieves dominance across all criteria; rather, different metrics each yield competitive results on individual criteria - some closest on average, others best preserving the per-pair ordering - which suggests that an ensemble approach combining multiple metrics may serve as a viable substitute for human expert grading. The metric implementations are an artefact of this work and are published in accordance with the FAIR4RS recommendations (DOI: 10.5281/zenodo.20942596).
- Abstract（参考訳）: ドメイン・モデルはモデル駆動のソフトウェア・エンジニアリングにおける主要な成果であり、ステークホルダー間の共通理解を捉え、下流ソフトウェア開発の契約上の基盤として機能します。
これらのセマンティックモデルの自動比較には、要求工学、教育、ドメインモデルの自動生成、モデルの再利用、リポジトリマイニングなど、さまざまな応用領域がある。
文献にはさまざまな指標が紹介されているが、実践者にとってそれらを選択するための明確な方法はない。
本論文の貢献は、5つのメトリクスの実装であり、39のドメインモデル比較の固定セット上での実行と、同じ比較のために生成された人間の専門家評価との比較である。
2つの研究課題が解決される。
RQ1は、平均して、各指標が39の比較で人間の専門家評価にどの程度近いかを問う。
RQ2は、ヒトの専門家評価から各指標毎の距離がどの程度一致しているかを問う。
それぞれの指標は、平均に最も近いもの、ペアごとの注文を最もよく保存するものであるが、これは複数のメトリクスを組み合わせたアンサンブルアプローチが、人間の専門家の格付けの有効な代用となる可能性を示唆している。
メートル法の実装はこの作品の成果であり、FAIR4RS勧告(DOI: 10.5281/zenodo.20942596)に従って出版されている。
関連論文リスト
- Unsteady Metrics and Benchmarking Cultures of AI Model Builders [0.2238062620016784]
Benchmarking-Cultures-25は、主要なAIビルダ11から、2025年に139のモデルリリースで強調された231ベンチマークのデータセットである。
我々は,筆者らが測定している指標に基づいて,測定信号の共有フレームワークに統一された分類学マッピング用語を開発した。
論文 参考訳（メタデータ） (2026-05-13T22:39:10Z) - KG-EDAS: A Meta-Metric Framework for Evaluating Knowledge Graph Completion Models [0.0]
知識グラフ(KG)を評価する上での大きな課題は、複数のデータセットとメトリクスのパフォーマンスを比較することだ。
我々は,平均解からの距離に基づくKG評価を提案し,マルチメトリック・マルチデータセットのパフォーマンスを統一的なランキングに組み込む。
EDASは、より情報のあるモデル選択をサポートし、データセット間の評価において公平性を促進するグローバルな視点を提供する。
論文 参考訳（メタデータ） (2025-08-21T08:37:35Z) - The illusion of a perfect metric: Why evaluating AI's words is harder than it looks [0.0]
自然言語生成(NLG)は、AIの実用化に不可欠である。
人間の評価はデファクトスタンダードと考えられているが、高価でスケーラビリティに欠ける。
決定的な解として単一の計量が現れることはなく、結果として、完全に含意を考慮せずに異なる計量を用いた研究が行われる。
論文 参考訳（メタデータ） (2025-08-19T13:22:41Z) - Position: All Current Generative Fidelity and Diversity Metrics are Flawed [58.815519650465774]
現在のジェネレーティブの忠実度と多様性の指標がすべて欠陥があることを示します。
私たちの目標は、モデルではなく、メトリクスの開発により多くの労力を費やすように研究コミュニティを説得することにあります。
論文 参考訳（メタデータ） (2025-05-28T15:10:33Z) - What is the Best Automated Metric for Text to Motion Generation? [19.71712698183703]
自然言語の記述から骨格に基づく人間の動きを生成することへの関心が高まっている。
人間の評価は、このタスクの究極の精度測定であり、自動化されたメトリクスは、人間の品質判断とよく相関するべきである。
本稿では,どの指標が人間の評価に最も適しているかを体系的に検討し,さらに適合する新しい指標を提案する。
論文 参考訳（メタデータ） (2023-09-19T01:59:54Z) - On the Limitations of Reference-Free Evaluations of Generated Text [64.81682222169113]
基準のないメトリクスは本質的にバイアスがあり、生成したテキストを評価する能力に制限があることを示す。
機械翻訳や要約といったタスクの進捗を計測するために使用するべきではない、と我々は主張する。
論文 参考訳（メタデータ） (2022-10-22T22:12:06Z) - The Glass Ceiling of Automatic Evaluation in Natural Language Generation [60.59732704936083]
ステップバックして、既存の自動メトリクスと人的メトリクスのボディを比較して、最近の進歩を分析します。
古いものや新しいものといった自動メトリクスは、人間よりもずっと似ています。
論文 参考訳（メタデータ） (2022-08-31T01:13:46Z) - Bidimensional Leaderboards: Generate and Evaluate Language Hand in Hand [117.62186420147563]
リーダーボード, 二次元リーダーボード(ビルボード)の一般化を提案する。
従来の一次元のリーダーボードがシステムに所定の基準でソートするのとは異なり、ビルボードはジェネレータと評価指標の両方を競合するエントリとして受け入れる。
いくつかの異なるメトリクスの線形アンサンブルが、場合によっては既存のメトリクスを独立して大幅に上回っていることを実証する。
論文 参考訳（メタデータ） (2021-12-08T06:34:58Z) - To Ship or Not to Ship: An Extensive Evaluation of Automatic Metrics for
Machine Translation [5.972205906525993]
システムレベルの品質ランク付けを行う上で,どの指標が最も精度が高いかを検討する。
BLEUの唯一の使用は、改善されたモデルの開発に悪影響を及ぼしたことを示す。
論文 参考訳（メタデータ） (2021-07-22T17:22:22Z) - Do Question Answering Modeling Improvements Hold Across Benchmarks? [84.48867898593052]
20種類の多種多様なモデリング手法を用いて32のQAベンチマークの一致を計測する。
何年にもわたってコミュニティは少数のベンチマークに力を入れてきたが、研究対象のモデリングの改善は広く続いている。
論文 参考訳（メタデータ） (2021-02-01T18:55:38Z) - Evaluation Metrics for Conditional Image Generation [100.69766435176557]
クラス条件画像生成設定において生成モデルを評価するための2つの新しい指標を提案する。
理論的分析は、提案されたメトリクスの背景にあるモチベーションを示し、新しいメトリクスと条件のないメトリクスを結びつける。
我々は,実験的な評価を行い,その指標を条件のない変種や他の指標と比較し,既存の生成モデルの解析に利用した。
論文 参考訳（メタデータ） (2020-04-26T12:15:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。