論文の概要: An Experimental Study on the Rashomon Effect of Balancing Methods in Imbalanced Classification
- arxiv url: http://arxiv.org/abs/2405.01557v2
- Date: Mon, 24 Jun 2024 16:08:51 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-26 01:02:45.360602
- Title: An Experimental Study on the Rashomon Effect of Balancing Methods in Imbalanced Classification
- Title（参考訳）: 不均衡分類におけるバランシング手法の羅生門効果に関する実験的研究
- Authors: Mustafa Cavus, Przemysław Biecek,
- Abstract要約: 本研究では,ラショモン効果を通した予測多重度に及ぼすバランス法の影響について検討した。
ブラインドモデルの選択は、ほぼ同じ精度のモデルの集合から危険であるからである。
その結果, バランス法は予測乗数に影響を及ぼし, 様々な結果が得られた。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Predictive models may generate biased predictions when classifying imbalanced datasets. This happens when the model favors the majority class, leading to low performance in accurately predicting the minority class. To address this issue, balancing or resampling methods are critical pre-processing steps in the modeling process. However, there have been debates and questioning of the functionality of these methods in recent years. In particular, many candidate models may exhibit very similar predictive performance, which is called the Rashomon effect, in model selection. Selecting one of them without considering predictive multiplicity which is the case of yielding conflicting models' predictions for any sample may lead to a loss of using another model. In this study, in addition to the existing debates, the impact of balancing methods on predictive multiplicity is examined through the Rashomon effect. It is important because the blind model selection is risky from a set of approximately equally accurate models. This may lead to serious problems in model selection, validation, and explanation. To tackle this matter, we conducted real dataset experiments to observe the impact of balancing methods on predictive multiplicity through the Rashomon effect. Our findings showed that balancing methods inflate the predictive multiplicity, and they yield varying results. To monitor the trade-off between performance and predictive multiplicity for conducting the modeling process responsibly, we proposed using the extended performance-gain plot for the Rashomon effect.
- Abstract（参考訳）: 予測モデルは、不均衡なデータセットを分類する際にバイアス付き予測を生成する。
これは、モデルが多数派クラスを好むときに起こり、少数派クラスを正確に予測する性能が低下する。
この問題に対処するためには、モデリングプロセスにおいて、バランシングまたはリサンプリングメソッドが重要な前処理ステップである。
しかし,近年,これらの手法の機能に関する議論や疑問が持ち上がっている。
特に、多くの候補モデルはモデル選択においてラショーモン効果と呼ばれる非常に類似した予測性能を示す。
いずれのサンプルに対しても矛盾するモデルの予測が得られた場合、予測多重性を考慮せずにそれらのうちの1つを選択すると、別のモデルの使用が失われる可能性がある。
本研究では,既存の議論に加えて,ラッショモン効果による予測多重度に対するバランス手法の影響について検討した。
ブラインドモデルの選択は、ほぼ同じ精度のモデルの集合から危険であるからである。
これは、モデル選択、検証、説明において深刻な問題を引き起こす可能性がある。
この問題に対処するために,我々は,ラショモン効果による予測多重度に対するバランス手法の影響を観測するために,実際のデータセット実験を行った。
その結果, バランス法は予測乗数に影響を及ぼし, 様々な結果が得られた。
モデリングプロセスの実行における性能と予測的乗法の間のトレードオフを監視するため,ラショーモン効果に対する拡張性能ゲインプロットを用いた提案を行った。
関連論文リスト
- Influence Functions for Scalable Data Attribution in Diffusion Models [52.92223039302037]
拡散モデルは、生成的モデリングに大きな進歩をもたらした。
しかし、彼らの普及はデータ属性と解釈可能性に関する課題を引き起こす。
本稿では,テキスト・インフルエンス・ファンクション・フレームワークを開発することにより,このような課題に対処することを目的とする。
論文 参考訳（メタデータ） (2024-10-17T17:59:02Z) - Predictive Churn with the Set of Good Models [64.05949860750235]
近似機械学習モデルの集合に対する競合予測の効果について検討する。
ラーショモン集合内のモデル間の係り受けに関する理論的結果を示す。
当社のアプローチは、コンシューマ向けアプリケーションにおいて、より予測し、削減し、混乱を避けるためにどのように使用できるかを示します。
論文 参考訳（メタデータ） (2024-02-12T16:15:25Z) - The Effect of Balancing Methods on Model Behavior in Imbalanced
Classification Problems [4.370097023410272]
不均衡なデータは、マイノリティクラスからの学習不足によってモデルのパフォーマンスが影響を受けるため、分類において課題となる。
この研究は、バランスをとる方法のより困難な側面、すなわちモデル行動への影響に対処する。
これらの変化を捉えるために、説明可能な人工知能ツールは、バランスをとる前後にデータセットでトレーニングされたモデルを比較するために使用される。
論文 参考訳（メタデータ） (2023-06-30T22:25:01Z) - A prediction and behavioural analysis of machine learning methods for
modelling travel mode choice [0.26249027950824505]
我々は、モデル選択に影響を及ぼす可能性のある重要な要因の観点から、複数のモデリング問題に対して異なるモデリングアプローチを体系的に比較する。
その結果,非凝集性予測性能が最も高いモデルでは,行動指標やアグリゲーションモードのシェアが低下することが示唆された。
MNLモデルは様々な状況において堅牢に機能するが、ML手法はWillingness to Payのような行動指標の推定を改善することができる。
論文 参考訳（メタデータ） (2023-01-11T11:10:32Z) - Predictive Multiplicity in Probabilistic Classification [25.111463701666864]
確率的分類における予測的乗数性を測定するための枠組みを提案する。
実世界のタスクにおける予測多重度の発生頻度と頻度を実証する。
その結果,予測多重度をより広範囲に報告する必要性が強調された。
論文 参考訳（メタデータ） (2022-06-02T16:25:29Z) - Pathologies of Pre-trained Language Models in Few-shot Fine-tuning [50.3686606679048]
実例が少ない事前学習言語モデルはラベル間に強い予測バイアスを示すことを示す。
わずかな微調整で予測バイアスを軽減できるが,本分析では,非タスク関連の特徴を捉えることで,モデルの性能向上を図っている。
これらの観察は、より少ない例でモデルのパフォーマンスを追求することは、病理学的予測行動を引き起こす可能性があることを警告する。
論文 参考訳（メタデータ） (2022-04-17T15:55:18Z) - Test-time Collective Prediction [73.74982509510961]
マシンラーニングの複数のパーティは、将来のテストポイントを共同で予測したいと考えています。
エージェントは、すべてのエージェントの集合の集合的な専門知識の恩恵を受けることを望んでいるが、データやモデルパラメータを解放する意思はないかもしれない。
我々は、各エージェントの事前学習モデルを利用して、テスト時に集合的な予測を行う分散型メカニズムを探索する。
論文 参考訳（メタデータ） (2021-06-22T18:29:58Z) - Sample Selection Bias in Evaluation of Prediction Performance of Causal
Models [0.0]
因果モデルは、共起に関する証明不可能な仮定を行うため、検証が難しいことが知られている。
ケメレンの遺伝的摂動データセットを用いて,最近提案されたいくつかの因果関係モデルの予測性能を再検討した。
サンプル選択バイアスがモデル性能の重要な要因であることに気付きました。
論文 参考訳（メタデータ） (2021-06-03T15:15:30Z) - Characterizing Fairness Over the Set of Good Models Under Selective
Labels [69.64662540443162]
同様の性能を実現するモデルセットに対して,予測公正性を特徴付けるフレームワークを開発する。
到達可能なグループレベルの予測格差の範囲を計算するためのトラクタブルアルゴリズムを提供します。
選択ラベル付きデータの実証的な課題に対処するために、我々のフレームワークを拡張します。
論文 参考訳（メタデータ） (2021-01-02T02:11:37Z) - Models, Pixels, and Rewards: Evaluating Design Trade-offs in Visual
Model-Based Reinforcement Learning [109.74041512359476]
視覚的MBRLアルゴリズムにおける予測モデルの設計決定について検討する。
潜在空間の使用など、しばしば重要と見なされる設計上の決定は、タスクのパフォーマンスにはほとんど影響しないことが分かりました。
我々は,この現象が探索とどのように関係しているか,および標準ベンチマークにおける下位スコーリングモデルのいくつかが,同じトレーニングデータでトレーニングされた場合のベストパフォーマンスモデルと同等の性能を発揮するかを示す。
論文 参考訳（メタデータ） (2020-12-08T18:03:21Z) - A comprehensive study on the prediction reliability of graph neural
networks for virtual screening [0.0]
本稿では,モデルアーキテクチャ,正規化手法,損失関数が分類結果の予測性能および信頼性に与える影響について検討する。
その結果,高い成功率を達成するためには,正則化と推論手法の正しい選択が重要であることが明らかとなった。
論文 参考訳（メタデータ） (2020-03-17T10:13:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。