論文の概要: Leveraging Linear Independence of Component Classifiers: Optimizing Size
and Prediction Accuracy for Online Ensembles
- arxiv url: http://arxiv.org/abs/2308.14175v1
- Date: Sun, 27 Aug 2023 18:38:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2023-08-29 16:24:34.193509
- Title: Leveraging Linear Independence of Component Classifiers: Optimizing Size
and Prediction Accuracy for Online Ensembles
- Title（参考訳）: コンポーネント分類器の線形独立性を活用したオンラインアンサンブルのサイズと予測精度の最適化
- Authors: Enes Bektas and Fazli Can
- Abstract要約: 本研究では,分類者の投票の線形独立性に根ざした新たな視点を導入し,アンサンブルサイズと予測精度の相互作用を分析する。
本稿では,線形独立投票の目標確率を確保するために必要となる最小アンサンブルサイズを決定する手法を提案する。
驚くべきことに、計算された理想アンサンブルサイズは、あるデータセットに対する経験的な結果から逸脱し、他の要因の影響を強調している。
- 参考スコア（独自算出の注目度）: 3.97048491084787
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Ensembles, which employ a set of classifiers to enhance classification
accuracy collectively, are crucial in the era of big data. However, although
there is general agreement that the relation between ensemble size and its
prediction accuracy, the exact nature of this relationship is still unknown. We
introduce a novel perspective, rooted in the linear independence of
classifier's votes, to analyze the interplay between ensemble size and
prediction accuracy. This framework reveals a theoretical link, consequently
proposing an ensemble size based on this relationship. Our study builds upon a
geometric framework and develops a series of theorems. These theorems clarify
the role of linear dependency in crafting ensembles. We present a method to
determine the minimum ensemble size required to ensure a target probability of
linearly independent votes among component classifiers. Incorporating real and
synthetic datasets, our empirical results demonstrate a trend: increasing the
number of classifiers enhances accuracy, as predicted by our theoretical
insights. However, we also identify a point of diminishing returns, beyond
which additional classifiers provide diminishing improvements in accuracy.
Surprisingly, the calculated ideal ensemble size deviates from empirical
results for certain datasets, emphasizing the influence of other factors. This
study opens avenues for deeper investigations into the complex dynamics
governing ensemble design and offers guidance for constructing efficient and
effective ensembles in practical scenarios.
- Abstract（参考訳）: 分類精度を高めるために一連の分類器を使用するアンサンブルは、ビッグデータの時代において不可欠である。
しかし、アンサンブルサイズとその予測精度の関係については一般的な合意があるものの、この関係の正確な性質は不明である。
本稿では,分類器の票の線形独立性に根ざした新しい視点を導入し,アンサンブルサイズと予測精度の相互作用を解析した。
この枠組みは理論的リンクを示し、その結果、この関係に基づくアンサンブルサイズを提案する。
本研究は幾何学的枠組みを基盤とし,一連の定理を展開する。
これらの定理は、工芸アンサンブルにおける線形依存の役割を明らかにする。
本稿では,コンポーネント分類器間の線形独立投票の目標確率を確保するために必要な最小アンサンブルサイズを決定する手法を提案する。
実データと合成データを組み込んだ実験結果から, 分類器の数の増加は, 理論的な洞察によって予測される精度を高めるという傾向を示した。
しかし、我々はまた、追加の分類器によって精度が低下する、リターンが減少するポイントを特定する。
驚くべきことに、計算された理想アンサンブルサイズは、あるデータセットに対する経験的な結果から逸脱し、他の要因の影響を強調している。
本研究は, アンサンブル設計を規定する複雑な力学に関する深い研究の道を開き, 実践シナリオにおける効率的かつ効果的なアンサンブル構築のためのガイダンスを提供する。
関連論文リスト
- A Locality Radius Framework for Understanding Relational Inductive Bias in Database Learning [0.3058685580689604]
関係スキーマの予測に必要となる最小構造近傍の測度である局所性半径を導入する。
我々は、外部キー予測、結合コスト推定、ブラスト半径回帰、カスケード衝撃分類、追加のグラフ由来スキーマタスクに関する制御された実証的研究を行う。
結果は、一貫したバイアス半径アライメント効果を示す。
論文 参考訳（メタデータ） (2026-02-19T05:31:03Z) - Making Foundation Models Probabilistic via Singular Value Ensembles [56.4174499669573]
ファンデーションモデルは機械学習において支配的なパラダイムとなり、大規模な事前学習を通じて様々なタスクにまたがる顕著なパフォーマンスを実現している。
不確実性を定量化し、独立したモデルのアンサンブルを訓練する標準的なアプローチは、アンサンブルサイズと線形にスケールする禁制的な計算コストを発生させる。
本稿では,単純だが強力なコア仮定に基づいて,パラメータ効率の高い暗黙アンサンブル手法であるSVEを提案する。
本研究では,SVEの不確かさの定量化が,基本モデルのパラメータ数を1%以下に増加させながら,明示的な深層アンサンブルに匹敵することを示す。
論文 参考訳（メタデータ） (2026-01-29T18:07:18Z) - How Ensemble Learning Balances Accuracy and Overfitting: A Bias-Variance Perspective on Tabular Data [0.0]
本研究では,4つの分類課題におけるアンサンブルの精度と過度適合性について検討した。
その結果, アンサンブルは, 平均昇降や制御によるばらつきを低減し, 大きなギャップを伴わずに高い精度を達成できることが示唆された。
論文 参考訳（メタデータ） (2025-12-05T06:51:06Z) - Ensemble Performance Through the Lens of Linear Independence of Classifier Votes in Data Streams [2.105564340986074]
本稿では,データストリームにおける分類器票間の線形独立性レンズによるアンサンブルサイズと性能の関係について検討する。
分類器出力間の線形独立性を達成する確率をモデル化することにより、アンサンブルサイズと精度のトレードオフを説明する理論的枠組みを導出する。
以上の結果から,OzaBaggingのような頑健なアンサンブルに対する性能飽和点を効果的に推定できることが確認された。
論文 参考訳（メタデータ） (2025-11-26T14:57:59Z) - Extracting Interpretable Models from Tree Ensembles: Computational and Statistical Perspectives [14.726751780239907]
木アンサンブルから決定規則のコンパクトな集合を抽出する推定器を提案する。
我々の推定器の重要な新規性は、抽出されたルールの数と各ルールの相互作用深さを共同で制御する柔軟性である。
我々の推定器は既存のルール抽出アルゴリズムよりも優れていることを示す。
論文 参考訳（メタデータ） (2025-06-25T04:06:37Z) - Adversarial Cooperative Rationalization: The Risk of Spurious Correlations in Even Clean Datasets [16.29120098985359]
本研究では,協調ゲームで構築した自己合理化フレームワークについて検討する。
このような協調ゲームは、有理抽出中に意図せずサンプリングバイアスを生じさせる可能性がある。
論文 参考訳（メタデータ） (2025-05-04T14:00:04Z) - Ranking and Combining Latent Structured Predictive Scores without Labeled Data [2.5064967708371553]
本稿では,新しい教師なしアンサンブル学習モデル(SUEL)を提案する。
連続的な予測スコアを持つ予測器のセット間の依存関係を利用して、ラベル付きデータなしで予測器をランク付けし、それらをアンサンブルされたスコアに重み付けする。
提案手法の有効性は、シミュレーション研究とリスク遺伝子発見の現実的応用の両方を通じて厳密に評価されている。
論文 参考訳（メタデータ） (2024-08-14T20:14:42Z) - A Closer Look at Deep Learning Methods on Tabular Datasets [78.61845513154502]
広い範囲にまたがる300以上のデータセットの集合であるTALENTについて広範な研究を行った。
我々の評価では、アンサンブルは木に基づくアプローチとニューラルアプローチの両方に効果があることが示されている。
論文 参考訳（メタデータ） (2024-07-01T04:24:07Z) - Detecting and Identifying Selection Structure in Sequential Data [53.24493902162797]
我々は,音楽のシーケンスなどの実践的な状況において,潜在目的に基づくデータポイントの選択的包摂が一般的である,と論じる。
選択構造はパラメトリックな仮定や介入実験なしで識別可能であることを示す。
また、他の種類の依存関係と同様に、選択構造を検知し、識別するための証明可能な正当性アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-06-29T20:56:34Z) - Advancing Relation Extraction through Language Probing with Exemplars
from Set Co-Expansion [1.450405446885067]
関係抽出(RE)は、構造化されていないテキストから構造化情報を自動的に抽出する重要なタスクである。
代表例を統合し,コセット展開を通じて多面的アプローチを提案する。
提案手法は,ほとんどの設定において,少なくとも1%の精度向上を実現している。
論文 参考訳（メタデータ） (2023-08-18T00:56:35Z) - Advancing Counterfactual Inference through Nonlinear Quantile Regression [77.28323341329461]
ニューラルネットワークで実装された効率的かつ効果的な対実的推論のためのフレームワークを提案する。
提案手法は、推定された反事実結果から見つからないデータまでを一般化する能力を高める。
複数のデータセットで実施した実証実験の結果は、我々の理論的な主張に対する説得力のある支持を提供する。
論文 参考訳（メタデータ） (2023-06-09T08:30:51Z) - On the Joint Interaction of Models, Data, and Features [82.60073661644435]
本稿では,データとモデル間の相互作用を実験的に解析する新しいツールであるインタラクションテンソルを紹介する。
これらの観測に基づいて,特徴学習のための概念的枠組みを提案する。
この枠組みの下では、一つの仮説に対する期待された精度と一対の仮説に対する合意はどちらも閉形式で導出することができる。
論文 参考訳（メタデータ） (2023-06-07T21:35:26Z) - Variable Importance Matching for Causal Inference [73.25504313552516]
これらの目標を達成するためのModel-to-Matchと呼ばれる一般的なフレームワークについて説明する。
Model-to-Matchは、距離メートル法を構築するために変数重要度測定を使用する。
LASSO を用いて Model-to-Match フレームワークを運用する。
論文 参考訳（メタデータ） (2023-02-23T00:43:03Z) - Context-Aware Ensemble Learning for Time Series [11.716677452529114]
本稿では,ベースモデルの特徴ベクトルの結合である特徴のスーパーセットを用いて,ベースモデル予測を効果的に組み合わせたメタ学習手法を提案する。
我々のモデルは、ベースモデルの予測を機械学習アルゴリズムの入力として使用するのではなく、問題の状態に基づいて各時点における最良の組み合わせを選択する。
論文 参考訳（メタデータ） (2022-11-30T10:36:13Z) - On Neural Architecture Inductive Biases for Relational Tasks [76.18938462270503]
合成ネットワーク一般化(CoRelNet)と呼ばれる類似度分布スコアに基づく簡単なアーキテクチャを導入する。
単純なアーキテクチャの選択は、分布外一般化において既存のモデルより優れていることが分かる。
論文 参考訳（メタデータ） (2022-06-09T16:24:01Z) - A Dataset-Level Geometric Framework for Ensemble Classifiers [0.76146285961466]
多数決と重み付けされた多数決は、アンサンブル学習で一般的に使用される2つの組み合わせスキームである。
本稿では,これら2つの組み合わせスキームの特性群を,データセットレベルの幾何学的枠組みの下で正式に提示する。
論文 参考訳（メタデータ） (2021-06-16T09:48:12Z) - Deep Archimedean Copulas [98.96141706464425]
ACNetは、構造的特性を強制する、新しい差別化可能なニューラルネットワークアーキテクチャである。
我々は、ACNetが共通のアルキメデスコピュラスを近似し、データに適合する可能性のある新しいコプラを生成することができることを示した。
論文 参考訳（メタデータ） (2020-12-05T22:58:37Z) - Learning Discrete Structured Representations by Adversarially Maximizing
Mutual Information [39.87273353895564]
本研究では、構造化潜在変数と対象変数の相互情報を最大化することにより、ラベルのないデータから離散的構造化表現を学習する。
我々の重要な技術的貢献は、クロスエントロピー計算の実現可能性のみを前提として、相互情報を的確に見積もることができる敵の目的である。
文書ハッシュに本モデルを適用し,離散およびベクトル量子化変分オートエンコーダに基づいて,現在の最良ベースラインよりも優れていることを示す。
論文 参考訳（メタデータ） (2020-04-08T13:31:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。