論文の概要: Biased Mixtures Of Experts: Enabling Computer Vision Inference Under
Data Transfer Limitations
- arxiv url: http://arxiv.org/abs/2008.09662v1
- Date: Fri, 21 Aug 2020 19:38:26 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-26 22:32:13.731791
- Title: Biased Mixtures Of Experts: Enabling Computer Vision Inference Under
Data Transfer Limitations
- Title(参考訳): エキスパートの偏りのある混合:データ転送制限下でのコンピュータビジョン推論を可能にする
- Authors: Alhabib Abbas and Yiannis Andreopoulos
- Abstract要約: 我々は、専門家が異なる量のデータを必要とする混合物を検討し、各専門家の入力空間を分割するためにスパースゲーティング関数を訓練する。
本稿では、凸最適化問題として、視覚センシングと処理の間のデータ転送最適化が解けることを示す。
- 参考スコア(独自算出の注目度): 26.620741572128516
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose a novel mixture-of-experts class to optimize computer vision
models in accordance with data transfer limitations at test time. Our approach
postulates that the minimum acceptable amount of data allowing for
highly-accurate results can vary for different input space partitions.
Therefore, we consider mixtures where experts require different amounts of
data, and train a sparse gating function to divide the input space for each
expert. By appropriate hyperparameter selection, our approach is able to bias
mixtures of experts towards selecting specific experts over others. In this
way, we show that the data transfer optimization between visual sensing and
processing can be solved as a convex optimization problem.To demonstrate the
relation between data availability and performance, we evaluate biased mixtures
on a range of mainstream computer vision problems, namely: (i) single shot
detection, (ii) image super resolution, and (iii) realtime video action
classification. For all cases, and when experts constitute modified baselines
to meet different limits on allowed data utility, biased mixtures significantly
outperform previous work optimized to meet the same constraints on available
data.
- Abstract(参考訳): 本研究では,テスト時のデータ転送制限に応じてコンピュータビジョンモデルを最適化する,新しいmixed-of-expertsクラスを提案する。
提案手法では,入力空間のパーティショニングによって,精度の高い結果を可能にする最小許容データ量が異なることを仮定する。
そこで我々は,専門家が異なる量のデータを必要とする混合物を考察し,各専門家の入力空間を分割するためにスパースゲーティング関数を訓練する。
適切なハイパーパラメータ選択によって、我々のアプローチは専門家の混合物を他人よりも特定の専門家を選ぶことにバイアスを与えることができる。
このようにして,視覚センシングと処理間のデータ転送最適化を凸最適化問題として解決できることを示し,データ可用性と性能の関係を実証するために,偏りのある混合を主流のコンピュータビジョン問題,すなわち:
(i)シングルショット検出。
(ii)画像の超解像度、及び
(iii)リアルタイムビデオアクション分類。
すべてのケースにおいて、そして専門家が許容データユーティリティの異なる制限を満たすようにベースラインを変更した場合、バイアスのある混合は、利用可能なデータに対する同じ制約を満たすように最適化された以前の作業を大きく上回る。
関連論文リスト
- Optimal Locally Private Nonparametric Classification with Public Data [3.109306676759862]
本研究では,非パラメトリック分類に着目した公共データ支援型非対話型LDP学習の問題点について検討する。
後方ドリフト仮定の下では, LDP制約による最小収束率を導出する。
そこで本研究では,極小最大収束率を達成するための新しい手法として,局所的プライベート分類木を提案する。
論文 参考訳(メタデータ) (2023-11-19T16:35:01Z) - Dataset Bias Mitigation in Multiple-Choice Visual Question Answering and
Beyond [93.96982273042296]
視覚言語(VL)理解タスクは、複数の質問を通じて複雑な視覚シーンのモデルによる理解を評価する。
我々は、モデルが様々なVLタスクを適切に理解することなく正しく解決するために、ショートカットとして活用できる2つのデータセットバイアスを特定した。
本稿では,ADS(Adversarial Data Synthesis)を用いて,合成学習データと偏り評価データを生成する。
次に、サンプル内微分に着目して、合成したトレーニングデータ、特に対物データを利用するモデルを支援するために、サンプル内対物訓練(ICT)を導入する。
論文 参考訳(メタデータ) (2023-10-23T08:09:42Z) - Coupling public and private gradient provably helps optimization [38.80873569002277]
大規模なニューラルネットワークの成功は、データの可用性によって決定される。
少数の公開データのみをトレーニングすることで、精度の低下につながることが観察されている。
論文 参考訳(メタデータ) (2023-10-02T16:08:18Z) - Tackling Diverse Minorities in Imbalanced Classification [80.78227787608714]
不均衡データセットは、様々な現実世界のアプリケーションで一般的に見られ、分類器の訓練において重要な課題が提示されている。
マイノリティクラスとマイノリティクラスの両方のデータサンプルを混合することにより、反復的に合成サンプルを生成することを提案する。
提案するフレームワークの有効性を,7つの公開ベンチマークデータセットを用いて広範な実験により実証する。
論文 参考訳(メタデータ) (2023-08-28T18:48:34Z) - Performance Scaling via Optimal Transport: Enabling Data Selection from
Partially Revealed Sources [9.359395812292291]
本稿では,モデル性能を予測し,将来的なデータソースの部分的なサンプルに基づいたデータ選択決定を支援する or> というフレームワークを提案する。
or> 既存のパフォーマンススケーリングアプローチを大幅に改善し,性能予測の精度と,性能構築に伴う計算コストを両立させる。
また,他の市販ソリューションと比較して,データ選択効率の差は広い。
論文 参考訳(メタデータ) (2023-07-05T17:33:41Z) - Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。
FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。
PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
論文 参考訳(メタデータ) (2023-05-01T20:04:46Z) - Entry Dependent Expert Selection in Distributed Gaussian Processes Using
Multilabel Classification [12.622412402489951]
アンサンブルのテクニックは、データ分割を訓練したガウスの専門家による局所的な予測を組み合わせる。
本稿では,エントリデータポイントの特性に基づくフレキシブルな専門家選択手法を提案する。
論文 参考訳(メタデータ) (2022-11-17T23:23:26Z) - Mitigating Representation Bias in Action Recognition: Algorithms and
Benchmarks [76.35271072704384]
ディープラーニングモデルは、稀なシーンやオブジェクトを持つビデオに適用すると、パフォーマンスが悪くなります。
この問題にはアルゴリズムとデータセットの2つの異なる角度から対処する。
偏りのある表現は、他のデータセットやタスクに転送するとより一般化できることを示す。
論文 参考訳(メタデータ) (2022-09-20T00:30:35Z) - On Covariate Shift of Latent Confounders in Imitation and Reinforcement
Learning [69.48387059607387]
模擬・強化学習において,未観測の共同設立者と専門家データを併用することの問題点を考察する。
我々は、外部報酬を伴わずに、確立した専門家データから学ぶことの限界を分析する。
我々は,支援医療とレコメンデーションシステムシミュレーションの課題に挑戦する上で,我々の主張を実証的に検証する。
論文 参考訳(メタデータ) (2021-10-13T07:31:31Z) - Transformer Based Multi-Source Domain Adaptation [53.24606510691877]
実践的な機械学習設定では、モデルを予測しなければならないデータは、トレーニングされたデータとは異なる分布から生まれることが多い。
本稿では、複数のソースドメインからラベル付きデータに基づいてモデルを訓練し、ラベル付きデータが見られないドメイン上で予測を行う、教師なしマルチソースドメイン適応の問題について検討する。
本研究では,大規模な事前学習型変圧器を用いたドメインエキスパートの予測が極めて均質であることを示し,それらの予測を混在させる効果的な関数の学習を困難にしている。
論文 参考訳(メタデータ) (2020-09-16T16:56:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。