論文の概要: Generator Assisted Mixture of Experts For Feature Acquisition in Batch

• arxiv url: http://arxiv.org/abs/2312.12574v1
• Date: Tue, 19 Dec 2023 20:17:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-21 18:04:13.814732
• Title: Generator Assisted Mixture of Experts For Feature Acquisition in Batch
• Title（参考訳）: バッチ機能獲得のためのジェネレータ支援エキスパート混合
• Authors: Vedang Asgaonkar, Aditya Jain, Abir De
• Abstract要約: 本稿では、現在観察されている機能に基づいて、バッチでクエリする機能のサブセットを選択し、その後、バッチとして取得し、次に予測を行うバッチにおける機能獲得の問題を考察する。 まず、いくつかの例で合成機能のサブセットを描くために機能ジェネレータを使用し、オラクルクエリのコストを削減します。 第二に、多種多様な観測特徴に対して特徴獲得問題を抽出できるようにするために、局所性に敏感なハッシュからツールを借り、専門家モデルの混合を訓練することで、データをバケットに分割する。
• 参考スコア（独自算出の注目度）: 21.98302129015761
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Given a set of observations, feature acquisition is about finding the subset of unobserved features which would enhance accuracy. Such problems have been explored in a sequential setting in prior work. Here, the model receives feedback from every new feature acquired and chooses to explore more features or to predict. However, sequential acquisition is not feasible in some settings where time is of the essence. We consider the problem of feature acquisition in batch, where the subset of features to be queried in batch is chosen based on the currently observed features, and then acquired as a batch, followed by prediction. We solve this problem using several technical innovations. First, we use a feature generator to draw a subset of the synthetic features for some examples, which reduces the cost of oracle queries. Second, to make the feature acquisition problem tractable for the large heterogeneous observed features, we partition the data into buckets, by borrowing tools from locality sensitive hashing and then train a mixture of experts model. Third, we design a tractable lower bound of the original objective. We use a greedy algorithm combined with model training to solve the underlying problem. Experiments with four datasets show that our approach outperforms these methods in terms of trade-off between accuracy and feature acquisition cost.
• Abstract（参考訳）: 一連の観察から、特徴獲得とは、正確性を高める未観測機能のサブセットを見つけることである。 このような問題は、事前作業のシーケンシャルな設定で検討されてきた。 ここで、モデルは獲得したすべての新機能からフィードバックを受け取り、より多くの機能を探したり、予測したりする。 しかし、時間の本質的な設定では、シーケンシャルな買収は不可能である。 本稿では、現在観察されている機能に基づいて、バッチでクエリする機能のサブセットを選択し、その後、バッチとして取得し、次に予測を行うバッチにおける機能獲得の問題を考察する。 いくつかの技術革新を使ってこの問題を解決する。 まず、いくつかの例で合成機能のサブセットを描画するために機能ジェネレータを使用し、oracleクエリのコストを削減します。 第二に、多種多様な観測特徴に対して特徴獲得問題を抽出できるようにするために、局所性に敏感なハッシュからツールを借り、専門家モデルの混合を訓練することで、データをバケットに分割する。 第3に、原目標のトラクタブルな下限を設計する。 モデルトレーニングと組み合わさった欲求アルゴリズムを用いて、その根底にある問題を解決する。 4つのデータセットを用いた実験は、精度と機能獲得コストのトレードオフの観点から、このアプローチがこれらの手法を上回っていることを示している。

関連論文リスト

• Feature Selection as Deep Sequential Generative Learning [50.00973409680637]
  本研究では, 逐次再構成, 変分, 性能評価器の損失を伴って, 深部変分変圧器モデルを構築した。 提案モデルでは,特徴選択の知識を抽出し,連続的な埋め込み空間を学習し,特徴選択決定シーケンスをユーティリティスコアに関連付けられた埋め込みベクトルにマッピングする。
  論文  参考訳（メタデータ） (2024-03-06T16:31:56Z)
• A Performance-Driven Benchmark for Feature Selection in Tabular Deep Learning [131.2910403490434]
  データサイエンティストは通常、データセットにできるだけ多くの機能を集め、既存の機能から新しい機能を設計する。 既存のタブ形式の特徴選択のためのベンチマークでは、古典的な下流モデル、おもちゃの合成データセット、あるいは下流のパフォーマンスに基づいて特徴セレクタを評価していない。 変換器を含む下流ニューラルネットワーク上で評価された課題のある特徴選択ベンチマークを構築した。 また,従来の特徴選択法よりも高い性能を有するニューラルネットワークのための,Lassoのインプット・グラディエント・ベース・アナログも提案する。
  論文  参考訳（メタデータ） (2023-11-10T05:26:10Z)
• Causal Feature Selection via Transfer Entropy [59.999594949050596]
  因果発見は、観察データによる特徴間の因果関係を特定することを目的としている。 本稿では,前向きと後向きの機能選択に依存する新たな因果的特徴選択手法を提案する。 精度および有限サンプルの場合の回帰誤差と分類誤差について理論的に保証する。
  論文  参考訳（メタデータ） (2023-10-17T08:04:45Z)
• Estimating Conditional Mutual Information for Dynamic Feature Selection [14.706269510726356]
  動的な特徴選択は、機能獲得コストを削減し、モデルの予測に透明性を提供する、有望なパラダイムである。 ここでは、情報理論の観点から、応答変数との相互情報に基づいて特徴を優先順位付けする。 提案手法は, 様々なデータセットにわたる最近の手法に対して一貫した利得を提供する。
  論文  参考訳（メタデータ） (2023-06-05T23:03:03Z)
• Mutual Exclusivity Training and Primitive Augmentation to Induce Compositionality [84.94877848357896]
  最近のデータセットは、標準的なシーケンス・ツー・シーケンスモデルにおける体系的な一般化能力の欠如を露呈している。 本稿では,セq2seqモデルの振る舞いを分析し,相互排他バイアスの欠如と全例を記憶する傾向の2つの要因を同定する。 広範に使用されている2つの構成性データセット上で、標準的なシーケンス・ツー・シーケンスモデルを用いて、経験的改善を示す。
  論文  参考訳（メタデータ） (2022-11-28T17:36:41Z)
• Collaborative Anomaly Detection [66.51075412012581]
  本研究では,タスク間の相関関係を埋め込むことで,全てのタスクを共同で学習するための協調的異常検出(CAD)を提案する。 条件密度推定と条件確率比推定を用いてCADを探索する。 タスク埋め込みモデルを学ぶために、前もって少数のタスクを選択し、それを使ってタスク埋め込みをウォームスタートさせることは有益である。
  論文  参考訳（メタデータ） (2022-09-20T18:01:07Z)
• Bilevel Optimization for Feature Selection in the Data-Driven Newsvendor Problem [8.281391209717105]
  本稿では、意思決定者が過去のデータにアクセス可能な機能ベースのニュースベンダー問題について検討する。 そこで本研究では,スパースモデル,説明可能なモデル,およびアウト・オブ・サンプル性能の改善を目的とした特徴選択について検討する。 本稿では,2レベルプログラムに対する混合整数線形プログラムの修正について述べる。
  論文  参考訳（メタデータ） (2022-09-12T08:52:26Z)
• Sequential Recommendation via Stochastic Self-Attention [68.52192964559829]
  Transformerベースのアプローチでは、アイテムをベクトルとして埋め込んで、ドット積の自己アテンションを使用してアイテム間の関係を測定する。 本稿では,これらの問題を克服するための新しいtextbfStochastic textbfSelf-textbfAttention (STOSA) を提案する。 我々は、アイテムと項目の位置関係を列で特徴づける新しいワッサースタイン自己保持モジュールを考案した。
  論文  参考訳（メタデータ） (2022-01-16T12:38:45Z)
• Variation Control and Evaluation for Generative SlateRecommendations [22.533997063750597]
  アイテムの摂動はスレート変動を強制し,生成スレートの過剰濃度を緩和できることを示した。 また,ピボット選択フェーズを生成プロセスから分離し,モデルが生成前に摂動を適用できるようにする。
  論文  参考訳（メタデータ） (2021-02-26T05:04:40Z)
• Differentiable Unsupervised Feature Selection based on a Gated Laplacian [7.970954821067042]
  本稿では,低周波特徴を優先するラプラシアンスコアと,特徴選択のためのゲーティング機構を組み合わせた識別可能な損失関数を提案する。 我々は,提案手法を数学的に動機付け,高雑音条件下では,全特徴集合ではなく,ゲート入力上でラプラシアンを計算することが重要であることを示す。
  論文  参考訳（メタデータ） (2020-07-09T11:58:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。