論文の概要: Active partitioning: inverting the paradigm of active learning
- arxiv url: http://arxiv.org/abs/2411.18254v1
- Date: Wed, 27 Nov 2024 11:47:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-28 15:25:54.748345
- Title: Active partitioning: inverting the paradigm of active learning
- Title（参考訳）: アクティブパーティショニング:アクティブラーニングのパラダイムを逆転させる
- Authors: Marius Tacke, Matthias Busch, Kevin Linka, Christian J. Cyron, Roland C. Aydin,
- Abstract要約: 本稿では,新しい汎用分割アルゴリズムを提案する。
複数のモデルがデータセットの予測を反復的に送信する。
データポイント毎の最良の予測は、そのデータポイント上でのトレーニングで報われる。
- 参考スコア（独自算出の注目度）: 0.0
- License:
- Abstract: Datasets often incorporate various functional patterns related to different aspects or regimes, which are typically not equally present throughout the dataset. We propose a novel, general-purpose partitioning algorithm that utilizes competition between models to detect and separate these functional patterns. This competition is induced by multiple models iteratively submitting their predictions for the dataset, with the best prediction for each data point being rewarded with training on that data point. This reward mechanism amplifies each model's strengths and encourages specialization in different patterns. The specializations can then be translated into a partitioning scheme. The amplification of each model's strengths inverts the active learning paradigm: while active learning typically focuses the training of models on their weaknesses to minimize the number of required training data points, our concept reinforces the strengths of each model, thus specializing them. We validate our concept -- called active partitioning -- with various datasets with clearly distinct functional patterns, such as mechanical stress and strain data in a porous structure. The active partitioning algorithm produces valuable insights into the datasets' structure, which can serve various further applications. As a demonstration of one exemplary usage, we set up modular models consisting of multiple expert models, each learning a single partition, and compare their performance on more than twenty popular regression problems with single models learning all partitions simultaneously. Our results show significant improvements, with up to 54% loss reduction, confirming our partitioning algorithm's utility.
- Abstract（参考訳）: データセットは、しばしば異なる側面やレシエーションに関連する様々な機能パターンを包含する。
本稿では,モデル間の競合を利用してこれらの機能パターンを検出し,分離する,新しい汎用パーティショニングアルゴリズムを提案する。
この競合は、データセットの予測を反復的に送信する複数のモデルによって引き起こされる。
この報酬機構は各モデルの強みを増幅し、異なるパターンの特殊化を促進する。
特殊化は分割スキームに変換できる。
各モデルの強みの増幅は、アクティブラーニングパラダイムを逆転させる: アクティブラーニングは通常、必要なトレーニングデータポイントの数を最小限に抑えるために、モデルの弱さに関するトレーニングに焦点を当てるが、我々の概念は、各モデルの強みを強化し、専門化する。
メカニカルストレスや多孔質構造におけるひずみデータなど、明確な機能パターンを持つさまざまなデータセットで、アクティブパーティショニングと呼ばれる私たちのコンセプトを検証する。
アクティブパーティショニングアルゴリズムはデータセットの構造に関する貴重な洞察を与え、様々なアプリケーションに役立てることができる。
1つの模範的な使用例のデモンストレーションとして、複数のエキスパートモデルで構成されたモジュラーモデルをセットアップし、それぞれがひとつのパーティションを学習し、20以上の一般的な回帰問題におけるパフォーマンスと、すべてのパーティションを同時に学習するシングルモデルを比較した。
その結果,最大54%の損失削減,パーティショニングアルゴリズムの有用性の確認など,大幅な改善が得られた。
関連論文リスト
- Fitting Multiple Machine Learning Models with Performance Based Clustering [8.763425474439552]
従来の機械学習のアプローチは、データが単一の生成メカニズムから来ると仮定している。
本稿では,特徴値と対象値の関係に応じてデータをグループ化することで,この仮定を解消するクラスタリングフレームワークを提案する。
フレームワークをストリーミングデータを持つアプリケーションに拡張し、モデルのアンサンブルを使用して結果を生成する。
論文 参考訳（メタデータ） (2024-11-10T19:38:35Z) - An Active Learning Framework for Inclusive Generation by Large Language Models [32.16984263644299]
大規模言語モデル(LLM)は、多様なサブ集団を表すテキストを生成する。
本稿では,知識蒸留により強化されたクラスタリングに基づくアクティブラーニングフレームワークを提案する。
2つの新しいデータセットをモデルトレーニングと組み合わせて構築し、ベースラインモデルよりも2%-10%の性能向上を示した。
論文 参考訳（メタデータ） (2024-10-17T15:09:35Z) - Partial-Multivariate Model for Forecasting [28.120094495344453]
本稿では,問題予測のためのトランスフォーマーに基づく部分多変量モデルPMformerを提案する。
PMformerは様々な単変量モデルと完全多変量モデルより優れていることを示す。
また、PMformerの他の利点として、機能不足による効率性と堅牢性を強調します。
論文 参考訳（メタデータ） (2024-08-19T05:18:50Z) - Self-Supervised Representation Learning with Meta Comprehensive
Regularization [11.387994024747842]
既存の自己管理フレームワークに組み込まれたCompMod with Meta Comprehensive Regularization (MCR)というモジュールを導入する。
提案したモデルを双方向最適化機構により更新し,包括的特徴を捉える。
本稿では,情報理論と因果対実的視点から提案手法の理論的支援を行う。
論文 参考訳（メタデータ） (2024-03-03T15:53:48Z) - Fantastic Gains and Where to Find Them: On the Existence and Prospect of
General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。
このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
論文 参考訳（メタデータ） (2023-10-26T17:59:46Z) - Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。
これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。
パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
論文 参考訳（メタデータ） (2022-12-19T20:46:43Z) - Dynamic Latent Separation for Deep Learning [67.62190501599176]
機械学習の中核的な問題は、複雑なデータに対するモデル予測のための表現力のある潜在変数を学習することである。
本稿では,表現性を向上し,部分的解釈を提供し,特定のアプリケーションに限定されないアプローチを開発する。
論文 参考訳（メタデータ） (2022-10-07T17:56:53Z) - HyperImpute: Generalized Iterative Imputation with Automatic Model
Selection [77.86861638371926]
カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。
既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
論文 参考訳（メタデータ） (2022-06-15T19:10:35Z) - On Modality Bias Recognition and Reduction [70.69194431713825]
マルチモーダル分類の文脈におけるモダリティバイアス問題について検討する。
本稿では,各ラベルの特徴空間を適応的に学習するプラグアンドプレイ損失関数法を提案する。
本手法は, ベースラインに比べ, 顕著な性能向上を実現している。
論文 参考訳（メタデータ） (2022-02-25T13:47:09Z) - Learning Debiased and Disentangled Representations for Semantic
Segmentation [52.35766945827972]
セマンティックセグメンテーションのためのモデルに依存しない訓練手法を提案する。
各トレーニングイテレーションで特定のクラス情報をランダムに除去することにより、クラス間の機能依存を効果的に削減する。
提案手法で訓練したモデルは,複数のセマンティックセグメンテーションベンチマークにおいて強い結果を示す。
論文 参考訳（メタデータ） (2021-10-31T16:15:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。