論文の概要: Correcting Flaws in Common Disentanglement Metrics

• arxiv url: http://arxiv.org/abs/2304.02335v1
• Date: Wed, 5 Apr 2023 09:43:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-06 12:51:57.587975
• Title: Correcting Flaws in Common Disentanglement Metrics
• Title（参考訳）: 共通の絡み合い指標における欠陥の修正
• Authors: Louis Mahon, Lei Shah, Thomas Lukasiewicz
• Abstract要約: 本稿では,既存のメトリクスの2つの欠点を特定する。これは,まだ絡み合っているモデルに高いスコアを割り当てることができることを意味する。 次に、構成一般化の課題を考える。 従来の研究とは異なり、我々はこれを分類問題として扱い、エンコーダの絡み合う能力を測定するために使用することができる。 このタスクのパフォーマンスは, (a) 一般には非常に貧弱であり, (b) ほとんどの不整合度と相関し, (c) 新たに提案した指標と最も強く相関していることを示す。
• 参考スコア（独自算出の注目度）: 44.937838134027714
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent years have seen growing interest in learning disentangled representations, in which distinct features, such as size or shape, are represented by distinct neurons. Quantifying the extent to which a given representation is disentangled is not straightforward; multiple metrics have been proposed. In this paper, we identify two failings of existing metrics, which mean they can assign a high score to a model which is still entangled, and we propose two new metrics, which redress these problems. We then consider the task of compositional generalization. Unlike prior works, we treat this as a classification problem, which allows us to use it to measure the disentanglement ability of the encoder, without depending on the decoder. We show that performance on this task is (a) generally quite poor, (b) correlated with most disentanglement metrics, and (c) most strongly correlated with our newly proposed metrics.
• Abstract（参考訳）: 近年では、大きさや形などの異なる特徴が異なる神経細胞によって表現される非絡み合い表現の学習への関心が高まっている。 与えられた表現が切り離されている範囲の定量化は簡単ではなく、複数のメトリクスが提案されている。 本稿では,既存のメトリクスの2つの失敗を識別する。これは,まだ絡み合っているモデルに高いスコアを割り当てることができることを意味し,これらの問題に対処する2つの新しいメトリクスを提案する。 次に、構成一般化の課題を考える。 従来の作業とは異なり、これを分類問題として扱い、デコーダに依存することなく、エンコーダのアンタングル化能力を測定することができる。 私たちは、このタスクにおけるパフォーマンスは、 (a)概してかなり貧弱である。 (b)ほとんどの絡み合い指標と相関し、 c) 新たに提案した指標と最も強く相関した。

関連論文リスト

• $F_β$-plot -- a visual tool for evaluating imbalanced data classifiers [0.0]
  本稿では、一般的なパラメトリック計量である$F_beta$を分析するための簡単なアプローチを提案する。 分析された分類器のプールに対して、あるモデルがユーザの要求に応じて好まれるべき場合を示すことができる。
  論文  参考訳（メタデータ） (2024-04-11T18:07:57Z)
• Cobra Effect in Reference-Free Image Captioning Metrics [58.438648377314436]
  視覚言語事前学習モデル(VLM)を活用した参照フリー手法の普及が出現している。 本稿では,基準自由度に欠陥があるかどうかを考察する。 GPT-4Vは生成した文を評価するための評価ツールであり,提案手法がSOTA(State-of-the-art)の性能を達成することを示す。
  論文  参考訳（メタデータ） (2024-02-18T12:36:23Z)
• Parametric Classification for Generalized Category Discovery: A Baseline Study [70.73212959385387]
  Generalized Category Discovery (GCD)は、ラベル付きサンプルから学習した知識を用いて、ラベルなしデータセットで新しいカテゴリを発見することを目的としている。 パラメトリック分類器の故障を調査し,高品質な監視が可能であった場合の過去の設計選択の有効性を検証し,信頼性の低い疑似ラベルを重要課題として同定する。 エントロピー正規化の利点を生かし、複数のGCDベンチマークにおける最先端性能を実現し、未知のクラス数に対して強いロバスト性を示す、単純で効果的なパラメトリック分類法を提案する。
  論文  参考訳（メタデータ） (2022-11-21T18:47:11Z)
• Goodness of Fit Metrics for Multi-class Predictor [0.0]
  適合性を測定するために、いくつかの指標が一般的に使用される。 少なくともemphreal Worldのマルチクラス問題における主要な制約は、不均衡データである。 マシューの相関係数を多次元に一般化することを提案する。
  論文  参考訳（メタデータ） (2022-08-11T06:07:29Z)
• On Quantitative Evaluations of Counterfactuals [88.42660013773647]
  本稿では、分析と実験を通じて、視覚的対実例の評価に関する研究を集約する。 ほとんどのメトリクスは、十分な単純なデータセットを意図して振る舞うが、複雑さが増加すると、良い結果と悪い結果の違いを判断できないものもいる。 私たちはラベル変動スコアとOracleスコアという2つの新しい指標を提案しています。
  論文  参考訳（メタデータ） (2021-10-30T05:00:36Z)
• Measure Twice, Cut Once: Quantifying Bias and Fairness in Deep Neural Networks [7.763173131630868]
  本稿では,2つのモデルのクラスワイドバイアスを定量的に評価する2つの指標を提案する。 これらの新しいメトリクスのパフォーマンスを評価し、その実践的応用を実証することにより、公平性だけでなくバイアスも測定できることを示す。
  論文  参考訳（メタデータ） (2021-10-08T22:35:34Z)
• Dimension Free Generalization Bounds for Non Linear Metric Learning [61.193693608166114]
  我々はスパース体制と非スパース体制という2つの体制に対して一様一般化境界を提供する。 解の異なる新しい性質を頼りにすることで、次元自由一般化保証を提供することができることを示す。
  論文  参考訳（メタデータ） (2021-02-07T14:47:00Z)
• A Novel Random Forest Dissimilarity Measure for Multi-View Learning [8.185807285320553]
  高次元低サンプルサイズ (HDLSS) の多視点分類問題に適応するために, ランダムフォレスト近接測度を変更する2つの手法を提案する。 第2の方法は、インスタンスの硬度測定に基づいており、他の最先端の測定よりもかなり正確である。
  論文  参考訳（メタデータ） (2020-07-06T07:54:52Z)
• Project and Forget: Solving Large-Scale Metric Constrained Problems [7.381113319198104]
  データポイント間で異なる測定値のセットが与えられた場合、入力された測定値と最も「一致」したメトリック表現を決定することは、多くの機械学習アルゴリズムにおいて重要なステップである。 既存の手法は、そのような問題に大量のメートル法制約があるため、特定の種類のメトリクスや小さな問題のサイズに制限される。 本稿では,多くの(指数関数的に)不等式制約を持つ計量制約問題の解法として,ブレグマン射影を用いたプロジェクト・アンド・フォーゲット(Project and Forget)を提案する。
  論文  参考訳（メタデータ） (2020-05-08T04:50:54Z)
• KPQA: A Metric for Generative Question Answering Using Keyphrase Weights [64.54593491919248]
  KPQA-metricは生成的質問応答システムの正当性を評価するための新しい指標である。 我々の新しい計量は、キーフレーズ予測を通じて各トークンに異なる重みを割り当てる。 提案手法は,既存の指標よりも人的判断との相関が有意に高いことを示す。
  論文  参考訳（メタデータ） (2020-05-01T03:24:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。