論文の概要: Power-law Scaling to Assist with Key Challenges in Artificial Intelligence

• arxiv url: http://arxiv.org/abs/2211.08430v1
• Date: Tue, 15 Nov 2022 12:42:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-17 13:54:22.654431
• Title: Power-law Scaling to Assist with Key Challenges in Artificial Intelligence
• Title（参考訳）: パワーロースケーリングによる人工知能の重要な課題
• Authors: Yuval Meir, Shira Sardi, Shiri Hodassman, Karin Kisos, Itamar Ben-Noam, Amir Goldental and Ido Kanter
• Abstract要約: パワーロースケーリングは、最適化されたテストエラーがデータベースサイズでゼロのパワーローとして収束するディープラーニングにおいて有用である。 1つのトレーニングエポックによる迅速な意思決定のために、各例はトレーニングされたネットワークに1回だけ提示される。 最も大きなデータセットでは、得られたテスト誤差は、大規模なエポック数に対する最先端アルゴリズムに近いと推定された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Power-law scaling, a central concept in critical phenomena, is found to be useful in deep learning, where optimized test errors on handwritten digit examples converge as a power-law to zero with database size. For rapid decision making with one training epoch, each example is presented only once to the trained network, the power-law exponent increased with the number of hidden layers. For the largest dataset, the obtained test error was estimated to be in the proximity of state-of-the-art algorithms for large epoch numbers. Power-law scaling assists with key challenges found in current artificial intelligence applications and facilitates an a priori dataset size estimation to achieve a desired test accuracy. It establishes a benchmark for measuring training complexity and a quantitative hierarchy of machine learning tasks and algorithms.
• Abstract（参考訳）: 批判現象の中心的な概念であるパワーロースケーリングは、手書き桁の例に最適化されたテストエラーが、データベースサイズとともにゼロのパワーローとして収束する深層学習において有用である。 1つのトレーニングエポックによる迅速な意思決定のために、各例はトレーニングされたネットワークに一度だけ提示される。 最も大きなデータセットでは、得られたテスト誤差は、大規模なエポック数に対する最先端アルゴリズムに近いと推定された。 パワーロースケーリングは、現在の人工知能アプリケーションで見られる重要な課題を支援し、望まれるテスト精度を達成するために、事前データセットサイズ推定を容易にする。 機械学習タスクとアルゴリズムのトレーニング複雑性と定量的階層を測定するベンチマークを確立している。

関連論文リスト

• A Fresh Take on Stale Embeddings: Improving Dense Retriever Training with Corrector Networks [81.2624272756733]
  密集検索では、ディープエンコーダは入力とターゲットの両方に埋め込みを提供する。 我々は、古いキャッシュされたターゲット埋め込みを調整できる小さなパラメトリック補正ネットワークを訓練する。 私たちのアプローチは、トレーニング中にターゲット埋め込み更新が行われなくても、最先端の結果と一致します。
  論文  参考訳（メタデータ） (2024-09-03T13:29:13Z)
• Discovering symbolic expressions with parallelized tree search [59.92040079807524]
  記号回帰は、データから簡潔で解釈可能な数学的表現を発見する能力のおかげで、科学研究において重要な役割を果たす。 既存のアルゴリズムは、複雑性の問題に対処する際の精度と効率の重要なボトルネックに直面してきた。 本稿では,限定データから汎用数学的表現を効率的に抽出する並列木探索(PTS)モデルを提案する。
  論文  参考訳（メタデータ） (2024-07-05T10:41:15Z)
• Multi-Dimensional Ability Diagnosis for Machine Learning Algorithms [88.93372675846123]
  本稿では,機械学習アルゴリズム評価のためのタスク非依存評価フレームワークCamillaを提案する。 認識診断の仮定とニューラルネットワークを用いて、各サンプルのアルゴリズム、サンプル、スキル間の複雑な相互作用を学習する。 我々の実験では、カミラはメートル法信頼性、ランクの整合性、ランクの安定性で最先端のベースラインを上回ります。
  論文  参考訳（メタデータ） (2023-07-14T03:15:56Z)
• A Stable, Fast, and Fully Automatic Learning Algorithm for Predictive Coding Networks [65.34977803841007]
  予測符号化ネットワークは、ベイズ統計学と神経科学の両方にルーツを持つ神経科学にインスパイアされたモデルである。 シナプス重みに対する更新規則の時間的スケジュールを変更するだけで、元の規則よりもずっと効率的で安定したアルゴリズムが得られることを示す。
  論文  参考訳（メタデータ） (2022-11-16T00:11:04Z)
• Discrete Key-Value Bottleneck [95.61236311369821]
  ディープニューラルネットワークは、データストリームがi.d.d.であり、ラベル付きデータが豊富である分類タスクでうまく機能する。 この課題に対処した強力なアプローチの1つは、手軽に利用可能なデータ量に対する大規模なエンコーダの事前トレーニングと、タスク固有のチューニングである。 しかし、新しいタスクを考えると、多くの重みを微調整する必要があるため、エンコーダの重みを更新することは困難であり、その結果、以前のタスクに関する情報を忘れてしまう。 この問題に対処するモデルアーキテクチャを提案し,個別かつ学習可能なキー値符号のペアを含む離散的ボトルネックの上に構築する。
  論文  参考訳（メタデータ） (2022-07-22T17:52:30Z)
• Multigoal-oriented dual-weighted-residual error estimation using deep neural networks [0.0]
  ディープラーニングは、関数を近似する柔軟性の高い強力なツールだと考えられている。 提案手法は,誤差の局所化に付随する問題を解く後続誤差推定法に基づく。 複数のゴール関数に対する後方誤差推定を得るために,効率的で実装が容易なアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2021-12-21T16:59:44Z)
• Scrambling Ability of Quantum Neural Networks Architectures [4.235187141547713]
  本稿では,高い学習効率で量子ニューラルネットワークを構築するための一般的な原理を提案する。 我々は,演算子サイズの増大による量子情報の揺らぎを特徴付ける。 この量は、このアーキテクチャの学習効率と正の相関関係があることを論じる。
  論文  参考訳（メタデータ） (2020-11-16T02:50:37Z)
• Generalized Iris Presentation Attack Detection Algorithm under Cross-Database Settings [63.90855798947425]
  プレゼンテーションアタックは、バイオメトリックなモダリティの大部分に大きな課題をもたらす。 本稿では,汎用的な深層学習に基づくプレゼンテーション攻撃検出ネットワークであるMVANetを提案する。 これはハイブリッドアルゴリズムの単純さと成功、あるいは複数の検出ネットワークの融合にインスパイアされている。
  論文  参考訳（メタデータ） (2020-10-25T22:42:27Z)
• Learning Generalized Relational Heuristic Networks for Model-Agnostic Planning [29.714818991696088]
  本稿では,記号的行動モデルが存在しない場合の一般化を学習するための新しいアプローチを開発する。 データの効率的で一般化可能な学習を容易にするために、抽象状態表現を使用する。
  論文  参考訳（メタデータ） (2020-07-10T06:08:28Z)
• Scalable Active Learning for Object Detection [20.99502312184771]
  アクティブラーニングは教師付き学習手法のデータ効率を向上させる強力な手法である。 自動運転の分野におけるアクティブな学習のためのスケーラブルな生産システムを構築しました。
  論文  参考訳（メタデータ） (2020-04-09T17:28:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。