論文の概要: A Better Metric Will Not Save You: What You Compare Beats How You Compare It

• arxiv url: http://arxiv.org/abs/2610.13476v1
• Date: Fri, 09 Oct 2026 12:11:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.561757
• Title: A Better Metric Will Not Save You: What You Compare Beats How You Compare It
• Title（参考訳）: ビートルズを比べてみれば、もっと良いメトリクスは救えない
• Abstract要約: 表現類似度尺度(RSA, CKA, Procrustes)について検討する。 RSA、CKA、Procrustesは、彼らが扱う変換に無関係であるとして選ばれ、それらすべてが与えられた条件に従っている。 比較したシステムとは独立して、条件が既知であるようなアレンジメントを計測する。
• 参考スコア（独自算出の注目度）: 3.328319505898848
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Representational similarity measures (RSA, CKA, Procrustes) are chosen for the transformations they treat as irrelevant, and all of them take the set of conditions as given. That set is fixed by two decisions, which inputs are admitted and how they are grouped, both taken before the matrix a measure operates on exists: no invariance property reaches them. We measure what they are worth where the arrangement the conditions ought to have is known independently of the systems compared, the acoustic organisation of vowels, across fifteen languages and twenty-seven representations. Changing which categories are compared, at a fixed number of them, moves the gap between two representations by more than twice the effect being measured, while changing how many moves it not at all. In this setting rankings of models are identified under these choices, and rankings across languages are not.
• Abstract（参考訳）: 表現類似度尺度(RSA、CKA、Procrustes)は、それらが扱う変換が無関係であるとして選択され、それらすべてが与えられた条件の集合を取る。 この集合は2つの決定によって固定され、どの入力が認識され、どのようにグループ化されるかは、測度が作用する行列が存在する前に決定される。 条件が持つべきアレンジメントが、比較対象のシステム、母音の音響的構成、15言語、27の表現から独立して知られている場合のアレンジメントを計測する。 比較対象のカテゴリを定数で変更することで、測定される効果の2倍以上の差で2つの表現間のギャップを移動させ、何回動かないのかを変更できる。 この設定では、モデルのランキングはこれらの選択に基づいて識別され、言語間でのランキングはそうではない。

関連論文リスト

• When Pair Count Is Not the Sample Size: What All-Pairs Agent Comparisons Estimate [0.0]
  オールペア分析では、何が固定され、何がサンプリングされ、どのように共有エントリとペアアグリゲーションを処理するかを記述する必要がある。 他の2つの固定されたリーダーボードの結果、正確なサマリーはどのペアが含まれているか、どのように重み付けされているかにも依存している。
  論文  参考訳（メタデータ） (2026-09-26T23:09:29Z)
• LLMs Contain Multitudes: How Deployment Context Reshapes Model-Level Preferences and Values [3.52299670434098]
  大規模言語モデル(LLM)は、安定的でモデルレベルの嗜好と価値システムを持つものとして、最近の評価作業でますます特徴付けられている。 我々は、国家の選好のランク付けとユーティリティ判断の2つの確立されたペアワイズパラダイムを直接テストする。
  論文  参考訳（メタデータ） (2026-06-11T22:09:16Z)
• Semantic F1 Scores: Fair Evaluation Under Fuzzy Class Boundaries [65.89202599399252]
  本稿では,主観的,ファジィなマルチラベル分類のための新しい評価指標であるセマンティックF1スコアを提案する。 セマンティックF1は意味的に関連があるが、識別できないラベルに部分クレジットを与えることで、人間の不一致やファジィ圏の境界によって特徴付けられる領域の現実をよりよく反映する。
  論文  参考訳（メタデータ） (2025-09-25T21:48:48Z)
• Ranking with Ties based on Noisy Performance Data [0.8397730500554048]
  我々は,その性能の測定がノイズにさらされている場合に,その性能に基づいて対象物群をランク付けする問題を考察する。 このシナリオでは、パフォーマンスは繰り返し測定され、結果として各オブジェクトに対する様々な測定結果が得られます。 部分ランク付けの助けを借りて,オブジェクト間の性能差を調査する方法を示す。
  論文  参考訳（メタデータ） (2024-05-28T15:13:19Z)
• Revealing the Blind Spot of Sentence Encoder Evaluation by HEROS [68.34155010428941]
  文エンコーダ(SE)が類似する文ペアの種類は明らかでない。 HEROSは、ある規則に基づいて原文を新しい文に変換し、テキスト最小対を形成することによって構築される HEROS上の60以上の教師なしSEの性能を体系的に比較することにより,ほとんどの教師なしエンコーダが否定に敏感であることを明らかにする。
  論文  参考訳（メタデータ） (2023-06-08T10:24:02Z)
• RankCSE: Unsupervised Sentence Representations Learning via Learning to Rank [54.854714257687334]
  本稿では,教師なし文表現学習のための新しい手法であるRangCSEを提案する。 コントラスト学習を伴うランキング一貫性とランキング蒸留を統一された枠組みに組み込む。 セマンティックテキスト類似性(STS)と転送タスク(TR)の両方について、広範な実験が実施されている。
  論文  参考訳（メタデータ） (2023-05-26T08:27:07Z)
• Cascade versus Direct Speech Translation: Do the Differences Still Make a Difference? [13.456080528167968]
  音声翻訳への直接的なアプローチは、現在、伝統的なカスケードソリューションと競合している。 2つのパフォーマンスのギャップが閉じていると主張することはできますか? 本稿では,2つのパラダイムを表す最先端システムの体系的比較について述べる。
  論文  参考訳（メタデータ） (2021-06-02T09:37:37Z)
• NLP-CIC @ DIACR-Ita: POS and Neighbor Based Distributional Models for Lexical Semantic Change in Diachronic Italian Corpora [62.997667081978825]
  本稿では,イタリア語に対する教師なし語彙意味変化のシステムと知見について述べる。 その課題は、対象の単語が時間とともにその意味を進化させたかどうかを判断することであり、それは2つの時間固有のデータセットからの原文のみに依存する。 本研究では,各期間に対象単語を表す2つのモデルを提案し,しきい値と投票方式を用いて変化単語を予測する。
  論文  参考訳（メタデータ） (2020-11-07T11:27:18Z)
• CLARITY -- Comparing heterogeneous data using dissimiLARITY [0.39146761527401414]
  多くの科学的疑問は、エンティティ間の(離散的な)相似性が、そのような異なるデータ間で保存されているかどうかについて述べられる。 提案手法であるCLARITYは,データセット間の一貫性を定量化し,不整合の発生箇所を特定し,その解釈を支援する。
  論文  参考訳（メタデータ） (2020-05-29T20:56:32Z)
• Ranking a set of objects: a graph based least-square approach [70.7866286425868]
  同一労働者の群集によるノイズの多いペアワイズ比較から始まる$N$オブジェクトのランク付けの問題について考察する。 品質評価のために,最小二乗内在的最適化基準に依存する非適応的ランキングアルゴリズムのクラスを提案する。
  論文  参考訳（メタデータ） (2020-02-26T16:19:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。