論文の概要: A Novel Approach to Evaluating Evaluation Metrics for Multi-Output Structured Prediction

• arxiv url: http://arxiv.org/abs/2610.39162v1
• Date: Thu, 29 Oct 2026 01:49:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-31 05:25:12.444205
• Title: A Novel Approach to Evaluating Evaluation Metrics for Multi-Output Structured Prediction
• Title（参考訳）: 多出力構造予測のための評価指標評価のための新しいアプローチ
• Abstract要約: 近似的タスク固有不変量の概念を導入する。 視覚と言語タスクのための様々な既存のメトリクスを評価するために、診断ツールとしてそれらを使用します。 これらのタスク不変量は、メトリクス信頼性を体系的にテストするフレームワークの一部として使用します。
• 参考スコア（独自算出の注目度）: 4.182164322827517
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In multi-output structured prediction tasks, while only one ground truth label may be provided in the training data, multiple equally valid outputs may be possible, making reliable evaluation a persistent challenge. We postulate that human evaluators implicitly use task-specific invariants, e.g., object boundaries in colorized images or named entities in translations, to judge if an output is acceptable. Under this assumption, we introduce a notion of approximate task-specific invariants and use them as diagnostic tools to evaluate a variety of existing metrics for vision and language tasks. We use these task invariants as part of a framework to systematically test metric reliability by encouraging domain-relevant invariants in model outputs via an augmented loss function. In our experiments, we observe that enforcing invariants with an augmented loss yields substantial improvements in popular distributional metrics while more traditional metrics change only marginally. Through this invariants-driven evaluation, we expose where standard metrics fail to detect meaningful differences, and we highlight the conditions under which distributional metrics succeed or still fall short.
• Abstract（参考訳）: 多出力構造化予測タスクでは、トレーニングデータに1つの基底真理ラベルしか提供できないが、複数の等価な出力が可能であり、信頼性評価が永続的な課題となる。 人間の評価者は暗黙的にタスク固有の不変量(例えば、色付き画像におけるオブジェクト境界や、翻訳における名前付きエンティティ)を用いて、出力が許容できるかどうかを判断する。 この仮定では,タスク固有の不変量の概念を導入し,視覚や言語タスクの様々な既存の指標を評価するための診断ツールとして利用する。 これらのタスク不変量は、拡張損失関数を介してモデル出力のドメイン関連不変性を奨励することにより、メートル法信頼性を体系的にテストするフレームワークの一部として使用される。 実験では,増大損失を伴う不変量の適用は,一般的な分布指標の大幅な改善をもたらすが,従来の指標はわずかにしか変化しない。 この不変量に基づく評価を通じて、標準的なメトリクスが意味のある違いを検知できない状況を明らかにし、分散メトリクスが成功するか、あるいは不足している状況を明らかにする。

関連論文リスト

• Multi-task learning on partially labeled datasets via invariant/equivariant semi-supervised learning [51.616045590947344]
  一般的なFixMatch法を、不変半教師付き学習とその同変拡張FixMatchに適用する。 コンピュータビジョンにおけるオブジェクト検出とセマンティックセグメンテーションタスクのコンテキストにおいて,Cityscapes と BDD100K データセットの性能を評価する。
  論文  参考訳（メタデータ） (2026-05-17T19:43:05Z)
• K$α$LOS finds Consensus: A Meta-Algorithm for Evaluating Inter-Annotator Agreement in Complex Vision Tasks [4.297070083645049]
  本稿では,「ローカライゼーションファースト」の原理を一般化した統一メタアルゴリズムであるK$LOSを提案する。 合意を査定する前に空間対応を解消することにより,複雑な分類問題を名目上の信頼性に変換する。
  論文  参考訳（メタデータ） (2026-03-28T08:54:05Z)
• Omitted Variable Bias in Language Models Under Distribution Shift [22.663393629883206]
  本稿では,言語モデルの分布変化を可観測成分と可観測成分に分割する方法を示す。 本稿では,言語モデルの最悪の一般化性能に基づいて,省略変数の強みを境界値にマッピングするフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-18T19:00:05Z)
• Reference-Specific Unlearning Metrics Can Hide the Truth: A Reality Check [60.77691669644931]
  本研究では,非学習モデルと参照モデル間の分布類似度を測定する新しい尺度であるFADE(Functional Alignment for Distributional Equivalence)を提案する。 FADEは出力分布全体の機能的アライメントをキャプチャし、真の未学習の原則的評価を提供する。 これらの知見は、現在の評価実践における根本的なギャップを明らかにし、FADEが真に効果的な未学習手法を開発し評価するための、より堅牢な基盤を提供することを示した。
  論文  参考訳（メタデータ） (2025-10-14T20:50:30Z)
• Unified modality separation: A vision-language framework for unsupervised domain adaptation [60.8391821117794]
  教師なしドメイン適応(Unsupervised domain adapt, UDA)は、ラベル付きソースドメインでトレーニングされたモデルが新しいラベル付きドメインを扱うことを可能にする。 本稿では,モダリティ固有成分とモダリティ不変成分の両方に対応可能な統一モダリティ分離フレームワークを提案する。 提案手法は,9倍の計算効率で最大9%の性能向上を実現している。
  論文  参考訳（メタデータ） (2025-08-07T02:51:10Z)
• SConU: Selective Conformal Uncertainty in Large Language Models [59.25881667640868]
  SconU(Selective Conformal Uncertainity)と呼ばれる新しいアプローチを提案する。 我々は,特定の管理可能なリスクレベルで設定されたキャリブレーションの不確実性分布から,与えられたサンプルが逸脱するかどうかを決定するのに役立つ2つの共形p値を開発する。 我々のアプローチは、単一ドメインと学際的コンテキストの両方にわたる誤発見率の厳密な管理を促進するだけでなく、予測の効率を高める。
  論文  参考訳（メタデータ） (2025-04-19T03:01:45Z)
• MeLIAD: Interpretable Few-Shot Anomaly Detection with Metric Learning and Entropy-based Scoring [2.394081903745099]
  本稿では,新たな異常検出手法であるMeLIADを提案する。 MeLIADはメートル法学習に基づいており、真の異常の事前分布仮定に頼ることなく、設計による解釈可能性を達成する。 解釈可能性の定量的かつ定性的な評価を含む5つの公開ベンチマークデータセットの実験は、MeLIADが異常検出とローカライゼーション性能の改善を達成することを実証している。
  論文  参考訳（メタデータ） (2024-09-20T16:01:43Z)
• Quantifying Variance in Evaluation Benchmarks [34.12254884944099]
  評価ベンチマークのばらつきは,初期化における種子のばらつき,訓練中の単調性などである。 選択タスクを完了タスクとしてフレーミングするといった単純な変更は、小さなスケールでの分散を減少させる可能性がある。 人間のテスト文献(項目分析や項目応答理論など)に触発されたより複雑な手法は、分散を有意義に減少させるのに苦労する。
  論文  参考訳（メタデータ） (2024-06-14T17:59:54Z)
• A Unified View of Evaluation Metrics for Structured Prediction [41.29492827464339]
  本稿では,異なる予測タスクに対する評価指標を統一する概念的枠組みを提案する。 我々のフレームワークは、これらのタスクの出力を特定のデータ型のオブジェクトとして表現する必要があります。 出力構造に基づいたボトムアップ方式で,新しい指標を自然に導出できることが示される。
  論文  参考訳（メタデータ） (2023-10-20T20:02:02Z)
• Predicting Out-of-Domain Generalization with Neighborhood Invariance [59.05399533508682]
  局所変換近傍における分類器の出力不変性の尺度を提案する。 私たちの測度は計算が簡単で、テストポイントの真のラベルに依存しません。 画像分類,感情分析,自然言語推論のベンチマーク実験において,我々の測定値と実際のOOD一般化との間に強い相関関係を示す。
  論文  参考訳（メタデータ） (2022-07-05T14:55:16Z)
• Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
  数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。 本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
  論文  参考訳（メタデータ） (2020-02-27T10:22:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。