論文の概要: Efficient Data Subset Selection to Generalize Training Across Models: Transductive and Inductive Networks
- arxiv url: http://arxiv.org/abs/2409.12255v1
- Date: Wed, 18 Sep 2024 18:32:12 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-07 15:38:21.272987
- Title: Efficient Data Subset Selection to Generalize Training Across Models: Transductive and Inductive Networks
- Title（参考訳）: モデル間のトレーニングを一般化する効率的なデータセット選択:トランスダクティブネットワークとインダクティブネットワーク
- Authors: Eeshaan Jain, Tushar Nandy, Gaurav Aggarwal, Ashish Tendulkar, Rishabh Iyer, Abir De,
- Abstract要約: アーキテクチャをまたいで一般化するトレーニング可能なサブセット選択フレームワークである$texttSubSelNet$を提案する。
我々のモデルは、複数の実際のデータセットにまたがるいくつかの手法より優れています。
- 参考スコア（独自算出の注目度）: 18.62888315255194
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Existing subset selection methods for efficient learning predominantly employ discrete combinatorial and model-specific approaches which lack generalizability. For an unseen architecture, one cannot use the subset chosen for a different model. To tackle this problem, we propose $\texttt{SubSelNet}$, a trainable subset selection framework, that generalizes across architectures. Here, we first introduce an attention-based neural gadget that leverages the graph structure of architectures and acts as a surrogate to trained deep neural networks for quick model prediction. Then, we use these predictions to build subset samplers. This naturally provides us two variants of $\texttt{SubSelNet}$. The first variant is transductive (called as Transductive-$\texttt{SubSelNet}$) which computes the subset separately for each model by solving a small optimization problem. Such an optimization is still super fast, thanks to the replacement of explicit model training by the model approximator. The second variant is inductive (called as Inductive-$\texttt{SubSelNet}$) which computes the subset using a trained subset selector, without any optimization. Our experiments show that our model outperforms several methods across several real datasets
- Abstract（参考訳）: 効率的な学習のための既存のサブセット選択法は、主に一般化性に欠ける個別の組合せとモデル固有のアプローチを採用する。
目に見えないアーキテクチャでは、異なるモデルで選択されたサブセットは使用できない。
この問題を解決するために、アーキテクチャをまたいで一般化するトレーニング可能なサブセット選択フレームワークである$\texttt{SubSelNet}$を提案する。
ここでは、まずアーキテクチャのグラフ構造を利用して、訓練された深層ニューラルネットワークの代理として機能し、迅速なモデル予測を行うアテンションベースのニューラルガジェットを紹介する。
そして、これらの予測を使ってサブセットのサンプルを作成します。
これは自然に$\texttt{SubSelNet}$の2つの変種を提供します。
最初の変種はトランスダクティブ(Transductive-$\texttt{SubSelNet}$)であり、小さな最適化問題を解くことで各モデルごとにサブセットを個別に計算する。
このような最適化は、モデル近似器による明示的なモデルトレーニングの置き換えによって、依然として超高速である。
第二の変種はインダクティブ(Inductive-$\texttt{SubSelNet}$)であり、最適化することなく、トレーニングされたサブセットセレクタを使用してサブセットを計算する。
我々の実験により、我々のモデルは複数の実際のデータセットにまたがるいくつかの手法より優れていることが示された。
関連論文リスト
- Explicit Foundation Model Optimization with Self-Attentive Feed-Forward
Neural Units [4.807347156077897]
バックプロパゲーションを用いた反復近似法はニューラルネットワークの最適化を可能にするが、大規模に使用すると計算コストがかかる。
本稿では、ニューラルネットワークのスケーリングコストを削減し、低リソースアプリケーションに高効率な最適化を提供する、ニューラルネットワークの最適化のための効率的な代替手段を提案する。
論文 参考訳（メタデータ） (2023-11-13T17:55:07Z) - A Consistent and Scalable Algorithm for Best Subset Selection in Single
Index Models [1.3236116985407258]
高次元モデルにおける最良の部分集合選択は、計算的に難解であることが知られている。
我々は,高次元SIMにおける最良部分選択のための,証明可能な最初の拡張性アルゴリズムを提案する。
アルゴリズムは部分集合選択の一貫性を保ち、高い確率でオラクル特性を持つ。
論文 参考訳（メタデータ） (2023-09-12T13:48:06Z) - MILO: Model-Agnostic Subset Selection Framework for Efficient Model
Training and Tuning [68.12870241637636]
モデル学習からサブセット選択を分離するモデルに依存しないサブセット選択フレームワークMILOを提案する。
実験結果から、MILOはモデルを3ドル(約3,300円)でトレーニングし、ハイパーパラメータを20ドル(約2,300円)でチューニングできます。
論文 参考訳（メタデータ） (2023-01-30T20:59:30Z) - Optimally Weighted Ensembles of Regression Models: Exact Weight
Optimization and Applications [0.0]
異なる回帰モデルを組み合わせることで、単一の(ベストな)回帰モデルを選択するよりも良い結果が得られることを示す。
不均一回帰モデルから最適重み付き線形結合を求める効率的な手法を概説する。
論文 参考訳（メタデータ） (2022-06-22T09:11:14Z) - HyperImpute: Generalized Iterative Imputation with Automatic Model
Selection [77.86861638371926]
カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。
既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
論文 参考訳（メタデータ） (2022-06-15T19:10:35Z) - Automated Algorithm Selection: from Feature-Based to Feature-Free
Approaches [0.5801044612920815]
本稿では,データ中に暗黙的なシーケンシャル情報がカプセル化されている最適化に適用可能な,アルゴリズム選択のための新しい手法を提案する。
我々は、よく知られた4つのドメインから選択して、オンラインビンパッキングのパッキングを予測するために、2種類のリカレントニューラルネットワークをトレーニングする。
論文 参考訳（メタデータ） (2022-03-24T23:59:50Z) - Universal and data-adaptive algorithms for model selection in linear
contextual bandits [52.47796554359261]
モデル選択の最も単純な非自明な例を考える: 単純な多重武装バンディット問題と線形文脈バンディット問題とを区別する。
データ適応的な方法で探索する新しいアルゴリズムを導入し、$mathcalO(dalpha T1- alpha)$という形式の保証を提供する。
我々のアプローチは、いくつかの仮定の下で、ネストされた線形文脈包帯のモデル選択に拡張する。
論文 参考訳（メタデータ） (2021-11-08T18:05:35Z) - Data Summarization via Bilevel Optimization [48.89977988203108]
シンプルだが強力なアプローチは、小さなサブセットのデータを操作することだ。
本研究では,コアセット選択を基数制約付き双レベル最適化問題として定式化する汎用コアセットフレームワークを提案する。
論文 参考訳（メタデータ） (2021-09-26T09:08:38Z) - Stepwise Model Selection for Sequence Prediction via Deep Kernel
Learning [100.83444258562263]
本稿では,モデル選択の課題を解決するために,新しいベイズ最適化(BO)アルゴリズムを提案する。
結果として得られる複数のブラックボックス関数の最適化問題を協調的かつ効率的に解くために,ブラックボックス関数間の潜在的な相関を利用する。
我々は、シーケンス予測のための段階的モデル選択(SMS)の問題を初めて定式化し、この目的のために効率的な共同学習アルゴリズムを設計し、実証する。
論文 参考訳（メタデータ） (2020-01-12T09:42:19Z) - Model Fusion via Optimal Transport [64.13185244219353]
ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。
これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
論文 参考訳（メタデータ） (2019-10-12T22:07:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。