論文の概要: Algorithmic progress in computer vision

• arxiv url: http://arxiv.org/abs/2212.05153v4
• Date: Thu, 24 Aug 2023 15:15:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-25 18:29:53.452692
• Title: Algorithmic progress in computer vision
• Title（参考訳）: コンピュータビジョンにおけるアルゴリズムの進歩
• Authors: Ege Erdil and Tamay Besiroglu
• Abstract要約: ImageNetにおける画像分類のアルゴリズム的進歩について検討する。 アルゴリズムの改良は、コンピュータビジョンの進歩のための計算のスケーリングと同じくらい重要であることが判明した。 計算増強アルゴリズムの進歩は、ムーアの法則に付随する速度の2倍の速度で行われる。
• 参考スコア（独自算出の注目度）: 0.8547032097715571
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We investigate algorithmic progress in image classification on ImageNet, perhaps the most well-known test bed for computer vision. We estimate a model, informed by work on neural scaling laws, and infer a decomposition of progress into the scaling of compute, data, and algorithms. Using Shapley values to attribute performance improvements, we find that algorithmic improvements have been roughly as important as the scaling of compute for progress computer vision. Our estimates indicate that algorithmic innovations mostly take the form of compute-augmenting algorithmic advances (which enable researchers to get better performance from less compute), not data-augmenting algorithmic advances. We find that compute-augmenting algorithmic advances are made at a pace more than twice as fast as the rate usually associated with Moore's law. In particular, we estimate that compute-augmenting innovations halve compute requirements every nine months (95\% confidence interval: 4 to 25 months).
• Abstract（参考訳）: コンピュータビジョンにおける最もよく知られたテストベッドであるImageNetの画像分類のアルゴリズム的進歩について検討する。 我々は、ニューラルスケーリング法則の作業によって知らされるモデルを推定し、計算、データ、アルゴリズムのスケーリングにおける進捗の分解を推測する。 シェープ値を用いて性能向上を図った結果,アルゴリズムの改良はコンピュータビジョンの進歩における計算のスケーリングと同じくらい重要であった。 我々の推定では、アルゴリズムの革新は、主に、データ強化アルゴリズムの進歩ではなく、計算増強アルゴリズムの進歩(研究者が少ない計算でより良いパフォーマンスを得ることを可能にする)の形式を採っている。 計算推論アルゴリズムの進歩はムーアの法則に付随する速度の2倍以上の速さで実現されていることが判明した。 特に,9ヶ月毎の計算要件(95%信頼区間:4～25ヶ月)を計算・提示するイノベーションが半減していると推定した。

関連論文リスト

• Algorithmic progress in language models [1.7402659488193557]
  本研究では、ディープラーニングの出現以来、事前学習言語モデルのアルゴリズムが改善した速度について検討する。 WikitextとPenn Treebankの2012-2023年における200以上の言語モデル評価データセットを使用する。 設定された性能閾値に達するのに必要な計算量は,約8ヶ月毎に半減し,95%の信頼区間が約5～14ヶ月であることがわかった。
  論文  参考訳（メタデータ） (2024-03-09T06:26:21Z)
• Neural Algorithmic Reasoning Without Intermediate Supervision [21.852775399735005]
  我々は、中間的監督に訴えることなく、入出力ペアからのみニューラルネットワーク推論を学ぶことに集中する。 我々は、アルゴリズムの軌跡にアクセスできることなく、モデルの中間計算を正規化できる自己教師対象を構築する。 CLRSic Algorithmic Reasoning Benchmarkのタスクにおいて,提案手法はトラジェクトリを教師する手法と競合することを示す。
  論文  参考訳（メタデータ） (2023-06-23T09:57:44Z)
• Dual Algorithmic Reasoning [9.701208207491879]
  本稿では,基礎となるアルゴリズム問題の双対性を利用してアルゴリズムを学習することを提案する。 アルゴリズム学習における最適化問題の2つの定義を同時に学習することで、より良い学習が可能になることを実証する。 次に、難易度の高い脳血管分類タスクにデプロイすることで、二元アルゴリズム推論の現実的な実用性を検証する。
  論文  参考訳（メタデータ） (2023-02-09T08:46:23Z)
• Towards Diverse Evaluation of Class Incremental Learning: A Representation Learning Perspective [67.45111837188685]
  クラスインクリメンタル学習(CIL)アルゴリズムは、インクリメンタルに到着したデータから新しいオブジェクトクラスを継続的に学習することを目的としている。 表現学習における様々な評価プロトコルを用いて,CILアルゴリズムによって訓練されたニューラルネットワークモデルを実験的に解析する。
  論文  参考訳（メタデータ） (2022-06-16T11:44:11Z)
• Scalable computation of prediction intervals for neural networks via matrix sketching [79.44177623781043]
  既存の不確実性推定アルゴリズムでは、モデルアーキテクチャとトレーニング手順を変更する必要がある。 本研究では、与えられたトレーニングされたニューラルネットワークに適用し、近似予測間隔を生成できる新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-05-06T13:18:31Z)
• Double Coverage with Machine-Learned Advice [100.23487145400833]
  オンラインの基本的な$k$-serverの問題を学習強化環境で研究する。 我々のアルゴリズムは任意の k に対してほぼ最適の一貫性-破壊性トレードオフを達成することを示す。
  論文  参考訳（メタデータ） (2021-03-02T11:04:33Z)
• Evolving Reinforcement Learning Algorithms [186.62294652057062]
  メタラーニング強化学習アルゴリズムの手法を提案する。 学習アルゴリズムはドメインに依存しないため、トレーニング中に見えない新しい環境に一般化することができる。 従来の制御タスク、gridworld型タスク、atariゲームよりも優れた一般化性能を得る2つの学習アルゴリズムに注目した。
  論文  参考訳（メタデータ） (2021-01-08T18:55:07Z)
• Efficient Computation of Expectations under Spanning Tree Distributions [67.71280539312536]
  本稿では,エッジファクター,非プロジェクティブ・スパンニングツリーモデルにおいて,一階期待と二階期待の重要なケースに対する統一アルゴリズムを提案する。 我々のアルゴリズムは勾配と期待の基本的な関係を利用しており、効率的なアルゴリズムを導出することができる。
  論文  参考訳（メタデータ） (2020-08-29T14:58:26Z)
• Mastering Rate based Curriculum Learning [78.45222238426246]
  学習の進行という概念には、学習者のサンプル効率の低下につながるいくつかの欠点があると主張する。 本稿では,習得率の概念に基づく新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-08-14T16:34:01Z)
• Measuring the Algorithmic Efficiency of Neural Networks [1.1108287264548806]
  分類器をAlexNetレベルにトレーニングするために必要な浮動小数点演算数は,2012年から2019年にかけて44倍に減少した。 これは、アルゴリズムの効率が7年間に16ヶ月毎に倍増することに対応する。 我々は、ハードウェアとアルゴリズムの効率が乗じて増加し、意味のある地平線を越えて同様のスケールにすることができることを観察し、AIの進歩のよいモデルが両方の測度を統合するべきであることを示唆している。
  論文  参考訳（メタデータ） (2020-05-08T22:26:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。