論文の概要: How Much Consistency Is Your Accuracy Worth?

• arxiv url: http://arxiv.org/abs/2310.13781v1
• Date: Fri, 20 Oct 2023 19:28:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-25 05:28:53.945812
• Title: How Much Consistency Is Your Accuracy Worth?
• Title（参考訳）: 正確さはどれくらいの価値があるか?
• Authors: Jacob K. Johnson and Ana Marasovi\'c
• Abstract要約: 我々は相対的な一貫性と一貫性を補完することを提案する。 相対的な一貫性は、モデルが他のモデルと比べて一貫性を評価することを変更できる。
• 参考スコア（独自算出の注目度）: 12.375195974087843
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Contrast set consistency is a robustness measurement that evaluates the rate at which a model correctly responds to all instances in a bundle of minimally different examples relying on the same knowledge. To draw additional insights, we propose to complement consistency with relative consistency -- the probability that an equally accurate model would surpass the consistency of the proposed model, given a distribution over possible consistencies. Models with 100% relative consistency have reached a consistency peak for their accuracy. We reflect on prior work that reports consistency in contrast sets and observe that relative consistency can alter the assessment of a model's consistency compared to another. We anticipate that our proposed measurement and insights will influence future studies aiming to promote consistent behavior in models.
• Abstract（参考訳）: コントラストセット一貫性(con contrast set consistency)は、モデルがすべてのインスタンスに対して、同じ知識に依存する最小限の異なる例のバンドルで正しく応答する速度を評価するロバストネス測定である。 より詳細な知見を得るため、我々は相対的整合性(英語版)と整合性(英語版)を補完することを提案する。 100%相対一貫性を持つモデルは、その精度で一貫性のピークに達した。 コントラストセットにおける一貫性を報告した先行研究を考察し、相対的一貫性がモデルの一貫性の評価を他のものと比較し得ることを観察する。 我々は,モデルにおける一貫した行動を促進することを目的とした将来の研究に,提案する計測と洞察が影響を与えることを期待する。

関連論文リスト

• Assessing Model Generalization in Vicinity [34.86022681163714]
  本稿では, 分布外テストセットにおける分類モデルの一般化能力について, 基礎的真理ラベルに依存することなく評価する。 そこで本研究では,各試料の正当性評価に,隣り合う試験試料からの応答を取り入れることを提案する。 結果のスコアは、すべてのテストサンプルで平均化され、モデル精度の全体像が示される。
  論文  参考訳（メタデータ） (2024-06-13T15:58:37Z)
• Towards Calibrated Robust Fine-Tuning of Vision-Language Models [97.19901765814431]
  本研究は、視覚言語モデルにおいて、OOD精度と信頼性校正の両方を同時に改善する頑健な微調整法を提案する。 OOD分類とOOD校正誤差は2つのIDデータからなる共有上限を持つことを示す。 この知見に基づいて,最小の特異値を持つ制約付きマルチモーダルコントラスト損失を用いて微調整を行う新しいフレームワークを設計する。
  論文  参考訳（メタデータ） (2023-11-03T05:41:25Z)
• Measuring and Modeling Uncertainty Degree for Monocular Depth Estimation [50.920911532133154]
  単分子深度推定モデル(MDE)の本質的な不適切さと順序感性は、不確かさの程度を推定する上で大きな課題となる。 本稿では,MDEモデルの不確かさを固有確率分布の観点からモデル化する。 新たなトレーニング正規化用語を導入することで、驚くほど単純な構成で、余分なモジュールや複数の推論を必要とせずに、最先端の信頼性で不確実性を推定できる。
  論文  参考訳（メタデータ） (2023-07-19T12:11:15Z)
• On the Equivalence of Consistency-Type Models: Consistency Models, Consistent Diffusion Models, and Fokker-Planck Regularization [68.13034137660334]
  本稿では,異なる目的に対する拡散モデルの拡張を目的とした,最近の3つの一貫性の概念間の理論的関連性を提案する。 私たちの洞察は、一貫性型モデルのためのより包括的で包括的なフレームワークの可能性を提供します。
  論文  参考訳（メタデータ） (2023-06-01T05:57:40Z)
• Confidence and Dispersity Speak: Characterising Prediction Matrix for Unsupervised Accuracy Estimation [51.809741427975105]
  この研究は、ラベルを使わずに、分散シフト下でのモデルの性能を評価することを目的としている。 我々は、両方の特性を特徴付けるのに有効であることが示されている核規範を用いる。 核の基準は既存の手法よりも正確で堅牢であることを示す。
  論文  参考訳（メタデータ） (2023-02-02T13:30:48Z)
• Trusted Multi-View Classification with Dynamic Evidential Fusion [73.35990456162745]
  信頼型マルチビュー分類(TMC)と呼ばれる新しいマルチビュー分類アルゴリズムを提案する。 TMCは、様々な視点をエビデンスレベルで動的に統合することで、マルチビュー学習のための新しいパラダイムを提供する。 理論的および実験的結果は、精度、堅牢性、信頼性において提案されたモデルの有効性を検証した。
  論文  参考訳（メタデータ） (2022-04-25T03:48:49Z)
• Enhancing Model Robustness and Fairness with Causality: A Regularization Approach [15.981724441808147]
  最近の研究は、機械学習モデルにおける急激な相関と意図しないバイアスのリスクを懸念している。 モデルトレーニング中に因果知識を統合するためのシンプルで直感的な正規化手法を提案する。 因果的特徴に依存し、因果的でない特徴に依存しない予測モデルを構築します。
  論文  参考訳（メタデータ） (2021-10-03T02:49:33Z)
• Accurate, yet inconsistent? Consistency Analysis on Language Understanding Models [38.03490197822934]
  一貫性とは、意味的に類似したコンテキストに対して、同じ予測を生成する能力である。 本稿では,言語理解モデル(CALUM)における一貫性解析というフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-08-15T06:25:07Z)
• Trusted Multi-View Classification [76.73585034192894]
  本稿では,信頼された多視点分類と呼ばれる新しい多視点分類手法を提案する。 さまざまなビューをエビデンスレベルで動的に統合することで、マルチビュー学習のための新しいパラダイムを提供する。 提案アルゴリズムは,分類信頼性とロバスト性の両方を促進するために,複数のビューを併用する。
  論文  参考訳（メタデータ） (2021-02-03T13:30:26Z)
• Wisdom of the Ensemble: Improving Consistency of Deep Learning Models [11.230300336108018]
  信頼はしばしば一定の行動の関数である。 本稿では,配備モデルの周期的再学習の文脈におけるモデル挙動について検討する。 アンサンブル学習者の整合性と整合性は,個々の学習者の平均整合性と整合性に劣らないことを示す。
  論文  参考訳（メタデータ） (2020-11-13T07:47:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。