論文の概要: Anderson Acceleration For Bioinformatics-Based Machine Learning
- arxiv url: http://arxiv.org/abs/2302.00347v1
- Date: Wed, 1 Feb 2023 10:11:03 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-02 13:17:29.224840
- Title: Anderson Acceleration For Bioinformatics-Based Machine Learning
- Title(参考訳): バイオインフォマティクスに基づく機械学習のためのアンダーソン加速度
- Authors: Sarwan Ali, Prakash Chourasia, and Murray Patterson
- Abstract要約: Anderson acceleration (AA) は反復アルゴリズムの収束を加速するためのよく知られた手法である。
本稿では,AAを組み込んで収束を高速化するサポートベクトルマシン(SVM)分類法を提案する。
我々は,AAの使用が収束を著しく改善し,反復回数の増加とともにトレーニング損失を減少させることを示した。
- 参考スコア(独自算出の注目度): 0.8602553195689513
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Anderson acceleration (AA) is a well-known method for accelerating the
convergence of iterative algorithms, with applications in various fields
including deep learning and optimization. Despite its popularity in these
areas, the effectiveness of AA in classical machine learning classifiers has
not been thoroughly studied. Tabular data, in particular, presents a unique
challenge for deep learning models, and classical machine learning models are
known to perform better in these scenarios. However, the convergence analysis
of these models has received limited attention. To address this gap in
research, we implement a support vector machine (SVM) classifier variant that
incorporates AA to speed up convergence. We evaluate the performance of our SVM
with and without Anderson acceleration on several datasets from the biology
domain and demonstrate that the use of AA significantly improves convergence
and reduces the training loss as the number of iterations increases. Our
findings provide a promising perspective on the potential of Anderson
acceleration in the training of simple machine learning classifiers and
underscore the importance of further research in this area. By showing the
effectiveness of AA in this setting, we aim to inspire more studies that
explore the applications of AA in classical machine learning.
- Abstract(参考訳): andersonaccelerate (aa) は反復アルゴリズムの収束を加速するよく知られた手法であり、ディープラーニングや最適化など様々な分野の応用がある。
これらの分野での人気にもかかわらず、古典的な機械学習分類器におけるAAの有効性は十分に研究されていない。
特にタブラルデータは、ディープラーニングモデルに特有の課題を示しており、古典的な機械学習モデルは、これらのシナリオでよりよく機能することが知られている。
しかし、これらのモデルの収束解析は限定的な注目を集めている。
このギャップに対処するため,AAを組み込んだサポートベクトルマシン(SVM)分類器を実装,収束を高速化する。
生物学領域からのいくつかのデータセットに対するアンダーソン加速度とアンダーソン加速度によるSVMの性能評価を行い、AAの使用が収束を著しく改善し、反復数が増えるにつれてトレーニング損失を減少させることを示した。
以上の知見は,単純な機械学習分類器の学習におけるアンダーソン加速の可能性について有望な視点を示し,この分野におけるさらなる研究の重要性を裏付けるものである。
この環境でのAAの有効性を示すことにより、古典的な機械学習におけるAAの応用を探求する研究をさらに進めることを目指している。
関連論文リスト
- DUCK: Distance-based Unlearning via Centroid Kinematics [42.642008092347986]
本研究は,Centroid Kinematics (DUCK) による遠隔学習(Distance-based Unlearning)と呼ばれる新しいアンラーニングアルゴリズムを導入する。
アルゴリズムの性能評価は、様々なベンチマークデータセットにまたがって行われる。
対象データを忘れる際の未学習プロセスの有効性だけでなく,元のモデルに対する性能損失の定量化も含む,適応未学習スコア(Adaptive Unlearning Score, AUS)と呼ばれる新しいメトリクスを導入する。
論文 参考訳(メタデータ) (2023-12-04T17:10:25Z) - Adaptive Variance Thresholding: A Novel Approach to Improve Existing
Deep Transfer Vision Models and Advance Automatic Knee-Joint Osteoarthritis
Classification [0.11249583407496219]
Knee-Joint型変形性関節症(KOA)は、世界的な障害の原因であり、診断に本質的に複雑である。
1つの有望な分類経路は、ディープラーニングの手法を適用することである。
本研究は,学習後特殊分類器を改善するための新しいパラダイムを提案する。
論文 参考訳(メタデータ) (2023-11-10T00:17:07Z) - A Comprehensive Performance Study of Large Language Models on Novel AI
Accelerators [2.88634411143577]
大規模言語モデル(LLM)は、いくつかの課題に対処するための有望なアプローチと考えられている。
専門のAIアクセラレータハードウェアシステムは、最近、AIアプリケーションの高速化に利用できるようになった。
論文 参考訳(メタデータ) (2023-10-06T21:55:57Z) - PILOT: A Pre-Trained Model-Based Continual Learning Toolbox [71.63186089279218]
本稿では,PILOTとして知られるモデルベース連続学習ツールボックスについて紹介する。
一方、PILOTはL2P、DualPrompt、CODA-Promptといった事前学習モデルに基づいて、最先端のクラスインクリメンタル学習アルゴリズムを実装している。
一方、PILOTは、事前学習されたモデルの文脈に典型的なクラス増分学習アルゴリズムを適合させ、それらの効果を評価する。
論文 参考訳(メタデータ) (2023-09-13T17:55:11Z) - Learning Objective-Specific Active Learning Strategies with Attentive
Neural Processes [72.75421975804132]
学び アクティブラーニング(LAL)は、アクティブラーニング戦略自体を学ぶことを提案し、与えられた設定に適応できるようにする。
能動学習問題の対称性と独立性を利用した新しい分類法を提案する。
私たちのアプローチは、筋電図から学ぶことに基づいており、モデルに標準ではない目的に適応する能力を与えます。
論文 参考訳(メタデータ) (2023-09-11T14:16:37Z) - Advancing Reacting Flow Simulations with Data-Driven Models [50.9598607067535]
マルチ物理問題における機械学習ツールの効果的な利用の鍵は、それらを物理モデルとコンピュータモデルに結合することである。
本章では, 燃焼システムにおけるデータ駆動型低次モデリングの適用可能性について概説する。
論文 参考訳(メタデータ) (2022-09-05T16:48:34Z) - ALBench: A Framework for Evaluating Active Learning in Object Detection [102.81795062493536]
本稿では、オブジェクト検出におけるアクティブラーニングを評価するために、ALBenchという名前のアクティブラーニングベンチマークフレームワークをコントリビュートする。
自動深層モデルトレーニングシステム上で開発されたこのALBenchフレームワークは、使いやすく、さまざまなアクティブな学習アルゴリズムと互換性があり、同じトレーニングおよびテストプロトコルを保証する。
論文 参考訳(メタデータ) (2022-07-27T07:46:23Z) - Towards Computationally Feasible Deep Active Learning [4.352935908127189]
アクティブラーニング(AL)は、機械学習モデルのトレーニングに必要なアノテーションの労力を減らすための重要なテクニックである。
ディープラーニングは、実際にALをデプロイする上で不可欠ないくつかの障害に対して解決策を提供するが、他にも多くのものを導入する。
提案アルゴリズムは,より小型で高速な取得モデルであるにもかかわらず,より表現力のある後継モデルを高い性能で訓練できることを示す。
論文 参考訳(メタデータ) (2022-05-07T08:47:42Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳(メタデータ) (2021-06-17T17:26:31Z) - Analysis of Vision-based Abnormal Red Blood Cell Classification [1.6050172226234583]
赤血球(RBC)の異常の同定は、貧血から肝疾患まで幅広い医学的疾患を診断する鍵となる。
本稿では,機械学習の利点を利用したセル異常検出のキャパシティ向上と標準化を目的とした自動化プロセスを提案する。
論文 参考訳(メタデータ) (2021-06-01T10:52:41Z) - Dual Adversarial Auto-Encoders for Clustering [152.84443014554745]
教師なしクラスタリングのためのDual-AAE(Dual-AAE)を提案する。
Dual-AAEの目的関数に対する変分推論を行うことで,一対のオートエンコーダをトレーニングすることで最適化可能な新たな再構成損失を導出する。
4つのベンチマーク実験により、Dual-AAEは最先端のクラスタリング手法よりも優れた性能を発揮することが示された。
論文 参考訳(メタデータ) (2020-08-23T13:16:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。