論文の概要: Reinforcement Learning as a Parsimonious Alternative to Prediction
Cascades: A Case Study on Image Segmentation
- arxiv url: http://arxiv.org/abs/2402.11760v1
- Date: Mon, 19 Feb 2024 01:17:52 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-20 18:53:23.135171
- Title: Reinforcement Learning as a Parsimonious Alternative to Prediction
Cascades: A Case Study on Image Segmentation
- Title(参考訳): 予測カスケードの擬似代替としての強化学習:画像セグメンテーションを事例として
- Authors: Bharat Srikishan, Anika Tabassum, Srikanth Allu, Ramakrishnan Kannan,
Nikhil Muralidhar
- Abstract要約: PaSeR(Parsimonious with Reinforcement Learning)は、非スケーリングでコストを意識した学習パイプラインである。
ケースドモデルと比較して計算コストを最小化しながら,PaSeRの精度が向上することを示す。
コストと性能のバランスを評価するため,新しい指標IoU/GigaFlopを導入する。
- 参考スコア(独自算出の注目度): 6.576180048533476
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep learning architectures have achieved state-of-the-art (SOTA) performance
on computer vision tasks such as object detection and image segmentation. This
may be attributed to the use of over-parameterized, monolithic deep learning
architectures executed on large datasets. Although such architectures lead to
increased accuracy, this is usually accompanied by a large increase in
computation and memory requirements during inference. While this is a non-issue
in traditional machine learning pipelines, the recent confluence of machine
learning and fields like the Internet of Things has rendered such large
architectures infeasible for execution in low-resource settings. In such
settings, previous efforts have proposed decision cascades where inputs are
passed through models of increasing complexity until desired performance is
achieved. However, we argue that cascaded prediction leads to increased
computational cost due to wasteful intermediate computations. To address this,
we propose PaSeR (Parsimonious Segmentation with Reinforcement Learning) a
non-cascading, cost-aware learning pipeline as an alternative to cascaded
architectures. Through experimental evaluation on real-world and standard
datasets, we demonstrate that PaSeR achieves better accuracy while minimizing
computational cost relative to cascaded models. Further, we introduce a new
metric IoU/GigaFlop to evaluate the balance between cost and performance. On
the real-world task of battery material phase segmentation, PaSeR yields a
minimum performance improvement of 174% on the IoU/GigaFlop metric with respect
to baselines. We also demonstrate PaSeR's adaptability to complementary models
trained on a noisy MNIST dataset, where it achieved a minimum performance
improvement on IoU/GigaFlop of 13.4% over SOTA models. Code and data are
available at https://github.com/scailab/paser .
- Abstract(参考訳): ディープラーニングアーキテクチャは、オブジェクト検出やイメージセグメンテーションといったコンピュータビジョンタスクにおいて、最先端(SOTA)のパフォーマンスを達成した。
これは、大規模なデータセットで実行される過度にパラメータ化されたモノリシックなディープラーニングアーキテクチャの使用に起因する可能性がある。
このようなアーキテクチャは精度の向上につながるが、通常、推論中に計算量とメモリ要件が大幅に増加する。
これは従来の機械学習パイプラインでは問題ではないが、最近の機械学習とモノのインターネットのような分野の融合によって、そのような大きなアーキテクチャは低リソース環境では実行不可能になっている。
このような設定では、所望のパフォーマンスが達成されるまで、入力が複雑さを増すモデルを通して渡される決定カスケードが提案されている。
しかし, カスケード予測は, 中間計算の無駄による計算コストの増大につながると論じる。
そこで本研究では,カスケード型アーキテクチャに代わる非カスケード型・コスト対応型学習パイプラインであるpaser(parsimonious segmentation with reinforcement learning)を提案する。
実世界および標準データセットの実験的評価を通じて、pasperはカスケードされたモデルに対する計算コストを最小化しながら、より良い精度を達成できることを実証する。
さらに,コストと性能のバランスを評価するため,新しい指標IoU/GigaFlopを導入する。
電池材料相分割の現実世界のタスクにおいて、pasperはベースラインに関してiou/gigaflopメトリックの最小性能改善を174%で得る。
また、ノイズの多いMNISTデータセットでトレーニングされた補完モデルに対するPaSeRの適応性を示し、SOTAモデルよりも13.4%のIoU/GigaFlopで最小性能の改善を達成した。
コードとデータはhttps://github.com/scailab/paser.comで入手できる。
関連論文リスト
- A Simple and Efficient Baseline for Data Attribution on Images [107.12337511216228]
現在の最先端のアプローチでは、モデル予測を正確に評価するために、最大30万のモデルの大規模なアンサンブルが必要となる。
本研究では、自己教師付き学習によって事前訓練されたバックボーンの特徴空間を利用して、データ帰属を行うミニマリストベースラインに焦点を当てる。
提案手法はモデルに依存しず,大規模データセットに容易にスケールできる。
論文 参考訳(メタデータ) (2023-11-03T17:29:46Z) - Dataset Quantization [72.61936019738076]
大規模データセットを小さなサブセットに圧縮する新しいフレームワークであるデータセット量子化(DQ)を提案する。
DQは、ImageNet-1kのような大規模データセットを最先端圧縮比で蒸留する最初の方法である。
論文 参考訳(メタデータ) (2023-08-21T07:24:29Z) - Predicting Software Performance with Divide-and-Learn [3.635696352780227]
本稿では,DALと呼ばれる「分枝学習」の概念に基づくアプローチを提案する。
実世界の8つのシステムと5つのトレーニングデータによる実験結果から、DaLは40件中33件で最高のシステムよりもパフォーマンスが劣っていることが判明した。
論文 参考訳(メタデータ) (2023-06-11T11:16:27Z) - Transfer Learning in Deep Learning Models for Building Load Forecasting:
Case of Limited Data [0.0]
本稿では,この問題を克服し,ディープラーニングモデルの性能を向上させるためのビルディング・ツー・ビルディング・トランスファー・ラーニング・フレームワークを提案する。
提案手法は,スクラッチからトレーニングを行う従来のディープラーニングと比較して,予測精度を56.8%向上させた。
論文 参考訳(メタデータ) (2023-01-25T16:05:47Z) - DCT-Former: Efficient Self-Attention with Discrete Cosine Transform [4.622165486890318]
トラスフォルマーアーキテクチャの本質的な制限は、ドット積の注意の計算から生じる。
我々のアイデアは、アテンションモジュールの近似を導き出すために、損失の多いデータ圧縮(JPEGアルゴリズムなど)の世界からインスピレーションを得ている。
実験の広範なセクションでは,提案手法が同一性能のメモリを消費しにくくする一方で,推定時間を大幅に削減することを示した。
論文 参考訳(メタデータ) (2022-03-02T15:25:27Z) - SOLIS -- The MLOps journey from data acquisition to actionable insights [62.997667081978825]
本稿では,基本的なクロスプラットフォームテンソルフレームワークとスクリプト言語エンジンを使用しながら,すべての要件をサポートする統合デプロイメントパイプラインとフリー・ツー・オペレートアプローチを提案する。
しかし、このアプローチは、実際のプロダクショングレードシステムに機械学習機能を実際にデプロイするために必要な手順やパイプラインを提供していない。
論文 参考訳(メタデータ) (2021-12-22T14:45:37Z) - Top-KAST: Top-K Always Sparse Training [50.05611544535801]
トレーニングを通して一定間隔を保存するTop-KASTを提案する。
確立したImageNetベンチマークのトレーニングモデルでは,従来の作業と同等かそれ以上に動作可能であることを示す。
ImageNetの結果に加えて、言語モデリングの分野においても、我々のアプローチを実証しています。
論文 参考訳(メタデータ) (2021-06-07T11:13:05Z) - GradInit: Learning to Initialize Neural Networks for Stable and
Efficient Training [59.160154997555956]
ニューラルネットワークを初期化するための自動化およびアーキテクチャ手法であるgradinitを提案する。
各ネットワーク層の分散は、SGDまたはAdamの単一ステップが最小の損失値をもたらすように調整される。
また、学習率のウォームアップを伴わずに、オリジナルのPost-LN Transformerを機械翻訳用にトレーニングすることもできる。
論文 参考訳(メタデータ) (2021-02-16T11:45:35Z) - Stage-Wise Neural Architecture Search [65.03109178056937]
ResNetやNASNetのような現代の畳み込みネットワークは、多くのコンピュータビジョンアプリケーションで最先端の結果を得た。
これらのネットワークは、同じ解像度で表現を操作するレイヤのセットであるステージで構成されている。
各ステージにおけるレイヤー数の増加はネットワークの予測能力を向上させることが示されている。
しかし、結果として得られるアーキテクチャは、浮動小数点演算、メモリ要求、推論時間の観点から計算的に高価になる。
論文 参考訳(メタデータ) (2020-04-23T14:16:39Z) - Tidying Deep Saliency Prediction Architectures [6.613005108411055]
本稿では,入力特徴,マルチレベル統合,読み出しアーキテクチャ,損失関数の4つの主成分を同定する。
我々はSimpleNet と MDNSal という2つの新しいエンドツーエンドアーキテクチャを提案する。
論文 参考訳(メタデータ) (2020-03-10T19:34:49Z) - Lightweight Residual Densely Connected Convolutional Neural Network [18.310331378001397]
畳み込みニューラルネットワークの深い監督, 効率的な勾配流, 特徴再利用能力を保証するために, 軽量な高密度連結ブロックを提案する。
提案手法は,特別なハードウェア・ソフトウェア機器を使わずに,トレーニングと推論のコストを低減させる。
論文 参考訳(メタデータ) (2020-01-02T17:15:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。