論文の概要: Approaching Peak Ground Truth

• arxiv url: http://arxiv.org/abs/2301.00243v1
• Date: Sat, 31 Dec 2022 16:22:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-03 13:42:16.091767
• Title: Approaching Peak Ground Truth
• Title（参考訳）: Peak Ground Truthへのアプローチ
• Authors: Florian Kofler, Johannes Wahle, Ivan Ezhov, Sophia Wagner, Rami Al-Maskari, Emilia Gryska, Mihail Todorov, Christina Bukas, Felix Meissen, Tingying Peng, Ali Ert\"urk, Daniel Rueckert, Rolf Heckemann, Jan Kirschke, Claus Zimmer, Benedikt Wiestler, Bjoern Menze, Marie Piraud
• Abstract要約: 機械学習モデルは、参照アノテーションと類似性を計算することによって評価され、類似性を最大化することで訓練される。 特にバイオメディカルドメインでは、アノテーションは主観的であり、低信頼度と低信頼度に悩まされる。 Peak Ground Truth (PGT) は、参照アノテーションとの類似性の増加が、より良い実世界モデルパフォーマンス(RWMP)への変換を停止する点を示す。
• 参考スコア（独自算出の注目度）: 5.350073254640611
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine learning models are typically evaluated by computing similarity with reference annotations and trained by maximizing similarity with such. Especially in the bio-medical domain, annotations are subjective and suffer from low inter- and intra-rater reliability. Since annotations only reflect the annotation entity's interpretation of the real world, this can lead to sub-optimal predictions even though the model achieves high similarity scores. Here, the theoretical concept of Peak Ground Truth (PGT) is introduced. PGT marks the point beyond which an increase in similarity with the reference annotation stops translating to better Real World Model Performance (RWMP). Additionally, a quantitative technique to approximate PGT by computing inter- and intra-rater reliability is proposed. Finally, three categories of PGT-aware strategies to evaluate and improve model performance are reviewed.
• Abstract（参考訳）: 機械学習モデルは通常、参照アノテーションとの類似性を計算することによって評価され、類似性を最大化することで訓練される。 特にバイオメディカルドメインでは、アノテーションは主観的であり、低信頼度と低信頼度に悩まされる。 アノテーションは、アノテーションエンティティの現実世界の解釈のみを反映しているため、モデルが高い類似度スコアを達成しても、最適でない予測につながる可能性がある。 ここでは、Peak Ground Truth(PGT)の理論概念を紹介する。 PGTは、参照アノテーションとの類似性の増加が、より良いリアル・ワールド・モデル・パフォーマンス(RWMP)への変換を停止する点を示す。 さらに,レータ間信頼性の計算によりPGTを近似する定量的手法を提案する。 最後に、モデル性能の評価と改善のためのPGT対応戦略の3つのカテゴリについて概説する。

関連論文リスト

• Accurate estimation of feature importance faithfulness for tree models [3.545940115969205]
  我々は、PGI二乗と呼ぶ特徴ランク(または属性)の予測忠実度を摂動に基づく計量として考える。 PGI2乗に基づく木モデルの予測において重要となる特徴のランク付け手法を提案する。
  論文  参考訳（メタデータ） (2024-04-04T13:09:26Z)
• Endowing Pre-trained Graph Models with Provable Fairness [49.8431177748876]
  証明可能な公正性を持つ事前学習グラフモデル(GraphPAR)を実現する新しいアダプタチューニングフレームワークを提案する。 具体的には、各ノードに対して異なる属性意味を持つノード表現を拡張するために、ノード表現に対するセンシティブなセマンティックオーグメンタを設計する。 GraphPARでは、各ノードの公平性が証明可能であるかどうか、すなわち、予測が特定の機密属性セマンティクスの範囲内で常に公平であるかどうかを定量化する。
  論文  参考訳（メタデータ） (2024-02-19T14:16:08Z)
• Aggregation Weighting of Federated Learning via Generalization Bound Estimation [65.8630966842025]
  フェデレートラーニング(FL)は通常、サンプル比率によって決定される重み付けアプローチを使用して、クライアントモデルパラメータを集約する。 上記の重み付け法を,各局所モデルの一般化境界を考慮した新しい戦略に置き換える。
  論文  参考訳（メタデータ） (2023-11-10T08:50:28Z)
• Fine-Tuning Language Models with Advantage-Induced Policy Alignment [80.96507425217472]
  大規模言語モデルと人間の嗜好を整合させる新しいアルゴリズムを提案する。 言語タスクにおいてPPOを常に上回り、大きなマージンを持つことを示す。 また,損失関数の設計を支援する理論的正当性も提供する。
  論文  参考訳（メタデータ） (2023-06-04T01:59:40Z)
• A Symbolic Framework for Evaluating Mathematical Reasoning and Generalisation with Transformers [17.075558137261986]
  我々は変圧器の分布外数学的推論問題への一般化性を評価する。 GPT-4, GPT-3.5, 細調整BERTモデルのキャノンの比較を行った。 驚いたことに, 細調整モデルの平均分布性能がGPT-3.5を超え, ライバルのGPT-4を上回っていることが判明した。
  論文  参考訳（メタデータ） (2023-05-21T20:40:37Z)
• Interactive Segmentation as Gaussian Process Classification [58.44673380545409]
  クリックベースのインタラクティブセグメンテーション(IS)は、ユーザインタラクション下で対象オブジェクトを抽出することを目的としている。 現在のディープラーニング(DL)ベースの手法のほとんどは、主にセマンティックセグメンテーションの一般的なパイプラインに従っている。 本稿では,各画像上でガウス過程(GP)に基づく画素単位のバイナリ分類モデルとしてISタスクを定式化することを提案する。
  論文  参考訳（メタデータ） (2023-02-28T14:01:01Z)
• Generalized Parametric Contrastive Learning [60.62901294843829]
  一般化パラメトリックコントラスト学習(GPaCo/PaCo)は、不均衡データとバランスデータの両方でうまく機能する。 長い尾のベンチマークの実験は、長い尾の認識のための新しい最先端を示す。
  論文  参考訳（メタデータ） (2022-09-26T03:49:28Z)
• Hierarchical Gaussian Process Models for Regression Discontinuity/Kink under Sharp and Fuzzy Designs [0.0]
  回帰不連続/リンク(RD/RK)を用いた因果推論のための非パラメトリックベイズ推定器を提案する。 これらの推定器は、中間ベイズニューラルネットワーク層を持つ階層型GPモデルに拡張される。 モンテカルロシミュレーションにより、我々の推定器は、精度、カバレッジ、間隔長の点で競合する推定器よりもよく、しばしばよく機能することを示した。
  論文  参考訳（メタデータ） (2021-10-03T04:23:56Z)
• Interpretable Learning-to-Rank with Generalized Additive Models [78.42800966500374]
  ラーニング・ツー・ランクのモデルの解釈可能性は、非常に重要でありながら、比較的過小評価されている研究分野である。 解釈可能なランキングモデルの最近の進歩は、主に既存のブラックボックスランキングモデルに対するポストホックな説明の生成に焦点を当てている。 一般化加法モデル(GAM)をランキングタスクに導入することにより,本質的に解釈可能な学習 to ランクの基盤を築いた。
  論文  参考訳（メタデータ） (2020-05-06T01:51:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。