論文の概要: An analysis of the relationship of input metrics
- arxiv url: http://arxiv.org/abs/2609.11824v1
- Date: Thu, 10 Sep 2026 17:21:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-11 23:53:35.454052
- Title: An analysis of the relationship of input metrics
- Title（参考訳）: 入力指標の関係の分析
- Abstract要約: 以前の研究は1950年代には既にそのような指標をいくつも確立していたが、それらを比較しようと努力した者は少なかった。
本稿では,分割試験文献における他の計量クラスに対して提案した既存手法を利用する。
- 参考スコア（独自算出の注目度）: 2.4058600350206047
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Input metrics evaluate the progress of testing in terms of features of inputs present in a test suite. Previous works, as early as the 1950s, established a number of such metrics, but few endeavored to compare them. This paper does so by utilizing existing methods proposed for other metric classes in partition testing literature. After defining and reviewing common input metrics, we begin with a short case study revealing that typical empirical comparison strategies are fundamentally insufficient for comparing metrics. Then, we demonstrate how one rigorously improves a standard metric by defining and implementing $k$-alt-path, a new metric which reduces redundancy while improving sensitivity over $k$-path. Each of the other common input metrics are then systematically compared before discussing the implications of our findings. With these contributions, we bring forward partition testing analysis methods that justify and form a strategy for future research in refining input metrics.
- Abstract（参考訳）: 入力メトリクスは、テストスイートに存在する入力の特徴の観点からテストの進捗を評価する。
以前の研究は1950年代には既にそのような指標をいくつも確立していたが、それらを比較しようと努力した者は少なかった。
本稿では,分割試験文献における他の計量クラスに対して提案した既存手法を利用する。
一般的な入力メトリクスを定義してレビューした後、簡単なケーススタディから、典型的な経験的比較戦略がメトリクスを比較するのに根本的に不十分であることを明らかにする。
次に、$k$-alt-pathを定義して実装することで、標準メトリックを厳格に改善する方法を実証する。
他の一般的な入力メトリクスは、結果の意味を議論する前に体系的に比較される。
これらの貢献により、入力メトリクスの精錬における将来の研究の戦略を正当化し、形成する分断テスト分析手法が提案される。
関連論文リスト
- Beyond Surrogates: A Quantitative Analysis for Inter-Metric Relationships [91.61796429377041]
本稿では,メトリクス間の関係を定量化する統合理論フレームワークを提案する。
我々はメトリクスを異なるクラスに分類し、異なる数学的形態の比較分析を容易にする。
我々は,オンラインの目的とオフラインの改善を理論的に一致させることが保証される評価システムの設計を可能にするため,後悔の伝達における構造的非対称性の同定に関する新たな視点を提供する。
論文 参考訳（メタデータ） (2026-03-08T15:08:06Z) - Position: All Current Generative Fidelity and Diversity Metrics are Flawed [58.815519650465774]
現在のジェネレーティブの忠実度と多様性の指標がすべて欠陥があることを示します。
私たちの目標は、モデルではなく、メトリクスの開発により多くの労力を費やすように研究コミュニティを説得することにあります。
論文 参考訳（メタデータ） (2025-05-28T15:10:33Z) - On the Blind Spots of Model-Based Evaluation Metrics for Text Generation [79.01422521024834]
テキスト生成評価指標のロバスト性分析に有用であるが,しばしば無視される手法を探索する。
我々は、幅広い潜在的な誤差を設計、合成し、それらが測定値の余計な低下をもたらすかどうかを確認する。
私たちの実験では、既存のメトリクスの興味深い不感、バイアス、あるいは抜け穴が明らかになりました。
論文 参考訳（メタデータ） (2022-12-20T06:24:25Z) - SMART: Sentences as Basic Units for Text Evaluation [48.5999587529085]
本稿では,このような制約を緩和するSMARTと呼ばれる新しい指標を提案する。
文をトークンの代わりにマッチングの基本単位として扱い,ソフトマッチ候補と参照文に文マッチング関数を用いる。
この結果から,提案手法とモデルベースマッチング関数とのシステムレベルの相関は,全ての競合する指標よりも優れていた。
論文 参考訳（メタデータ） (2022-08-01T17:58:05Z) - Evaluating Metrics for Bias in Word Embeddings [44.14639209617701]
我々は、過去の研究の考えに基づいてバイアス定義を定式化し、バイアスメトリクスの条件を導出する。
そこで我々は,既存のメトリクスの欠点に対処する新しい計量であるhetを提案し,その振る舞いを数学的に証明する。
論文 参考訳（メタデータ） (2021-11-15T16:07:15Z) - A Statistical Analysis of Summarization Evaluation Metrics using
Resampling Methods [60.04142561088524]
信頼区間は比較的広く,信頼性の高い自動測定値の信頼性に高い不確実性を示す。
多くのメトリクスはROUGEよりも統計的改善を示していないが、QAEvalとBERTScoreという2つの最近の研究は、いくつかの評価設定で行われている。
論文 参考訳（メタデータ） (2021-03-31T18:28:14Z) - Characterizing and comparing external measures for the assessment of
cluster analysis and community detection [1.5543116359698947]
文献では、同じ集合の2つの分割を比較するために、多くの外部評価尺度が提案されている。
これにより、与えられた状況に対して最も適切な尺度を選択することがエンドユーザの課題となる。
本稿では,この問題を解決するための新しい経験的評価フレームワークを提案する。
論文 参考訳（メタデータ） (2021-02-01T09:10:25Z) - LCEval: Learned Composite Metric for Caption Evaluation [37.2313913156926]
ニューラルネットワークに基づく学習指標を提案し,キャプションレベルのキャプション評価を改善する。
本稿では,異なる言語特徴と学習指標のキャプションレベルの相関関係について検討する。
提案手法は,キャプションレベルの相関で既存の指標を上回るだけでなく,人間評価に対するシステムレベルの相関性も示している。
論文 参考訳（メタデータ） (2020-12-24T06:38:24Z) - Evaluation Metrics for Conditional Image Generation [100.69766435176557]
クラス条件画像生成設定において生成モデルを評価するための2つの新しい指標を提案する。
理論的分析は、提案されたメトリクスの背景にあるモチベーションを示し、新しいメトリクスと条件のないメトリクスを結びつける。
我々は,実験的な評価を行い,その指標を条件のない変種や他の指標と比較し,既存の生成モデルの解析に利用した。
論文 参考訳（メタデータ） (2020-04-26T12:15:16Z) - PONE: A Novel Automatic Evaluation Metric for Open-Domain Generative
Dialogue Systems [48.99561874529323]
オープンドメイン生成対話システムの評価には3つの方法がある。
体系的な比較が欠如しているため、どの指標がより効果的であるかは明らかでない。
本稿では,人間の判断との相関性を大幅に改善できる,新しい,実現可能な学習基準を提案する。
論文 参考訳（メタデータ） (2020-04-06T04:36:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。