論文の概要: Classification of integers based on residue classes via modern deep learning algorithms

• arxiv url: http://arxiv.org/abs/2304.01333v2
• Date: Thu, 15 Jun 2023 19:33:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-19 17:25:27.585433
• Title: Classification of integers based on residue classes via modern deep learning algorithms
• Title（参考訳）: 現代ディープラーニングアルゴリズムによる残差クラスに基づく整数の分類
• Authors: Da Wu, Jingye Yang, Mian Umair Ahsan, Kai Wang
• Abstract要約: 本稿では,大規模有限整数の分類において,複数のディープラーニングアーキテクチャと特徴工学的アプローチを検証した。 ネットワークアーキテクチャやネットワークの複雑さに関わらず、分類の能力は、ディープラーニングモデルに入力される機能空間に依存することが判明した。 また、Amazon、Google、Microsoftから入手可能なAutomated Machine Learning (AutoML)パイプラインを評価しました。
• 参考スコア（独自算出の注目度）: 3.034818541927824
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Computing the residue when dividing a given integer by prime numbers like 2, 3, or others may appear trivial to human beings, but it can be less straightforward for computers in the absence of pre-defined algorithms. In this paper, we tested multiple deep learning architectures and feature engineering approaches on classifying large finite integers (up to $2^{32}$) based on their residues when divided by small prime numbers. It turns out that, regardless of the network architectures (CNN, RNN, Transformer, etc.) or the complexity of the networks, the ability of classification critically depends on the feature space fed into the deep learning models. We also evaluated commercially available Automated Machine Learning (AutoML) pipelines from Amazon, Google and Microsoft, and found that they failed to address this issue unless appropriately engineered features were provided. Furthermore, we introduced a method that utilizes linear regression on Fourier series basis vectors, and successfully demonstrated its effectiveness in the general case. Finally, we evaluated prompt-based learning approaches using GPT-J, Falcon-40B, and LLaMA and demonstrated its apparent failures. To conclude, feature engineering remains an important task to improve the performance, increase the interpretability, and reduce the complexity of models, even in the era of AutoML and Large Language Models (LLMs).
• Abstract（参考訳）: 2, 3, などの素数で整数を割るときに剰余を計算することは、人間には自明に見えるかもしれないが、事前定義されたアルゴリズムがない場合、コンピュータにとっては簡単ではない。 本稿では,複数のディープラーニングアーキテクチャと,小素数で割った場合の剰余値に基づいて,大きな有限整数(最大$^{32}$)を分類する特徴工学的アプローチをテストした。 ネットワークアーキテクチャ(cnn、rnn、transformerなど)やネットワークの複雑さに関わらず、分類の能力はディープラーニングモデルに供給される機能空間に依存することが判明した。 また、amazon、google、microsoftの商用自動化機械学習(automl)パイプラインを評価したところ、適切に設計された機能が提供されない限り、この問題に対処できなかったことが分かりました。 さらに,フーリエ級数ベクトル上で線形回帰を利用する手法を導入し,その効果を一般のケースで実証した。 最後に, GPT-J, Falcon-40B, LLaMAを用いた即時学習手法の評価を行い, その明らかな失敗を実証した。 結論として、機能エンジニアリングは、AutoMLやLLM(Large Language Models)の時代にも、パフォーマンスを改善し、解釈可能性を高め、モデルの複雑さを低減するための重要なタスクである。

関連論文リスト

• InternLM-Math: Open Math Large Language Models Toward Verifiable Reasoning [98.53491178426492]
  InternLM2から事前学習を継続するILMs InternLM-Mathをオープンソースとして公開する。 我々は、連鎖推論、報酬モデリング、形式推論、データ拡張、コードインタプリタを、統一されたSeq2seqフォーマットで統一する。 我々の事前学習モデルは、微調整なしでMiniF2Fテストセットで30.3を達成する。
  論文  参考訳（メタデータ） (2024-02-09T11:22:08Z)
• In-Context Language Learning: Architectures and Algorithms [73.93205821154605]
  我々は、文脈言語学習(ICLL)において、私たちが用語する新しいモデル問題群(英語版)のレンズを通してICLを研究する。 我々は,通常のICLLタスクにおいて,多種多様なニューラルシーケンスモデルを評価する。
  論文  参考訳（メタデータ） (2024-01-23T18:59:21Z)
• MISS: Multiclass Interpretable Scoring Systems [13.902264070785986]
  MISS(Multiclass Interpretable Scoring Systems)構築のための機械学習手法を提案する。 MISSは、シングルクラス、スパース、ユーザフレンドリーなスコアリングシステムのための、完全なデータ駆動の方法論である。 結果から,本手法は他の機械学習モデルと性能指標の分類において競合し,高い校正率のクラス確率が得られたことが示唆された。
  論文  参考訳（メタデータ） (2024-01-10T10:57:12Z)
• Automated Sizing and Training of Efficient Deep Autoencoders using Second Order Algorithms [0.46040036610482665]
  一般化線形分類器の多段階学習法を提案する。 検証エラーは不要な入力のプルーニングによって最小化される。 所望の出力は、Ho-Kashyapルールに似た方法で改善される。
  論文  参考訳（メタデータ） (2023-08-11T16:48:31Z)
• Language models are weak learners [71.33837923104808]
  本研究では,プロンプトベースの大規模言語モデルは弱い学習者として効果的に動作可能であることを示す。 これらのモデルをブースティングアプローチに組み込むことで、モデル内の知識を活用して、従来のツリーベースのブースティングよりも優れています。 結果は、プロンプトベースのLLMが、少数の学習者だけでなく、より大きな機械学習パイプラインのコンポーネントとして機能する可能性を示している。
  論文  参考訳（メタデータ） (2023-06-25T02:39:19Z)
• Class-Incremental Learning: A Survey [84.30083092434938]
  CIL(Class-Incremental Learning)は、学習者が新しいクラスの知識を段階的に取り入れることを可能にする。 CILは、前者の特徴を壊滅的に忘れる傾向にあり、その性能は劇的に低下する。 ベンチマーク画像分類タスクにおける17の手法の厳密で統一的な評価を行い、異なるアルゴリズムの特徴を明らかにする。
  論文  参考訳（メタデータ） (2023-02-07T17:59:05Z)
• Winning solutions and post-challenge analyses of the ChaLearn AutoDL challenge 2019 [112.36155380260655]
  本稿では,ChaLearnのAutoDLチャレンジシリーズの結果と今後の課題について述べる。 その結果,一般的なニューラルネットワーク探索(NAS)は実用的ではなかったものの,DL手法が支配的であったことが示唆された。 メタラーナー"、"データインジェクタ"、"モデルセレクタ"、"モデル/ラーナー"、"評価器"を特徴とする、ハイレベルなモジュール化組織が登場した。
  論文  参考訳（メタデータ） (2022-01-11T06:21:18Z)
• Fast Yet Effective Machine Unlearning [6.884272840652062]
  本稿では,誤り最大化雑音発生と不適切な反動に基づく重み操作を併用した新しい機械学習フレームワークを提案する。 モデル全体の精度を著しく保ちながら、優れた未学習を示す。 この作業は、ディープネットワークにおけるアンラーニングの迅速かつ簡単な実装に向けた重要なステップである。
  論文  参考訳（メタデータ） (2021-11-17T07:29:24Z)
• LeanML: A Design Pattern To Slash Avoidable Wastes in Machine Learning Projects [0.5330240017302619]
  機械学習プロジェクトへのリーン方法論の最初の応用を紹介します。 我々は、リーン機械学習(LeanML)が、商用機械学習プロジェクトで回避可能な無駄を大幅に削減できると主張している。
  論文  参考訳（メタデータ） (2021-07-16T18:16:48Z)
• Few-Shot Incremental Learning with Continually Evolved Classifiers [46.278573301326276]
  Few-shot Class-Incremental Learning(FSCIL)は、いくつかのデータポイントから新しい概念を継続的に学習できる機械学習アルゴリズムの設計を目指している。 難点は、新しいクラスからの限られたデータが、重大な過度な問題を引き起こすだけでなく、破滅的な忘れの問題も悪化させることにある。 我々は,適応のための分類器間のコンテキスト情報を伝達するグラフモデルを用いた連続進化型cif(cec)を提案する。
  論文  参考訳（メタデータ） (2021-04-07T10:54:51Z)
• AutoML-Zero: Evolving Machine Learning Algorithms From Scratch [76.83052807776276]
  基本数学的操作をビルディングブロックとして使うだけで,完全な機械学習アルゴリズムを自動的に発見できることが示される。 汎用的な検索空間を通じて人間のバイアスを大幅に低減する新しいフレームワークを導入することでこれを実証する。 機械学習アルゴリズムをゼロから発見する上で、これらの予備的な成功は、この分野における有望な新しい方向性を示していると信じている。
  論文  参考訳（メタデータ） (2020-03-06T19:00:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。