論文の概要: Self-Adaptive, Dynamic, Integrated Statistical and Information Theory Learning

• arxiv url: http://arxiv.org/abs/2211.11491v1
• Date: Mon, 21 Nov 2022 14:26:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-22 17:09:14.354007
• Title: Self-Adaptive, Dynamic, Integrated Statistical and Information Theory Learning
• Title（参考訳）: 自己適応型,動的,統合型統計情報理論学習
• Authors: Zsolt J\'anos Viharos and \'Agnes Sz\H{u}cs
• Abstract要約: 本論文は,ニューラルネットワークトレーニングに応用された様々な誤差尺度を解析し,位置決めする。 Silvaと彼の研究パートナーが発表した、E_Exp$と呼ばれる優れた尺度は、より多くの指標と学習中の重み付けをうまく組み合わせる研究の方向性を表している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The paper analyses and serves with a positioning of various error measures applied in neural network training and identifies that there is no best of measure, although there is a set of measures with changing superiorities in different learning situations. An outstanding, remarkable measure called $E_{Exp}$ published by Silva and his research partners represents a research direction to combine more measures successfully with fixed importance weighting during learning. The main idea of the paper is to go far beyond and to integrate this relative importance into the neural network training algorithm(s) realized through a novel error measure called $E_{ExpAbs}$. This approach is included into the Levenberg-Marquardt training algorithm, so, a novel version of it is also introduced, resulting a self-adaptive, dynamic learning algorithm. This dynamism does not has positive effects on the resulted model accuracy only, but also on the training process itself. The described comprehensive algorithm tests proved that the proposed, novel algorithm integrates dynamically the two big worlds of statistics and information theory that is the key novelty of the paper.
• Abstract（参考訳）: 本論文は,ニューラルネットワークトレーニングに応用された様々な誤差尺度の位置づけを解析し,学習状況の違いによる優位性の変化はあるものの,ベストな測定方法がないことを識別する。 Silvaと彼の研究パートナーが発表した、E_{Exp}$という素晴らしい指標は、より多くの指標と学習中の重み付けをうまく組み合わせる研究の方向性を表している。 この論文の主なアイデアは、この相対的な重要性を、$E_{ExpAbs}$と呼ばれる新しいエラー尺度によって実現されたニューラルネットワークトレーニングアルゴリズムに統合することである。 このアプローチはlevenberg-marquardtトレーニングアルゴリズムに含まれているので、新しいバージョンのitも導入され、自己適応型動的学習アルゴリズムとなる。 このダイナミズムは、結果モデルの精度だけでなく、トレーニングプロセス自体にもポジティブな影響を与えます。 得られた包括的アルゴリズムテストにより,提案された新しいアルゴリズムは,論文の重要な新奇性である統計学と情報理論の2つの大世界を動的に統合することを示した。

関連論文リスト

• Information plane and compression-gnostic feedback in quantum machine learning [0.0]
  ニューラルネットワークの学習力学を研究するための解析ツールとして,情報平面が提案されている。 モデルが入力データをどれだけ圧縮するかについての知見を学習アルゴリズムの改善に利用することができるかを検討する。 本稿では,変分量子回路を用いたいくつかの分類および回帰タスクについて,提案した学習アルゴリズムをベンチマークする。
  論文  参考訳（メタデータ） (2024-11-04T17:38:46Z)
• A Unified Framework for Neural Computation and Learning Over Time [56.44910327178975]
  Hamiltonian Learningはニューラルネットワークを"時間とともに"学習するための新しい統合フレームワーク i)外部ソフトウェアソルバを必要とせずに統合できる、(ii)フィードフォワードおよびリカレントネットワークにおける勾配に基づく学習の概念を一般化する、(iii)新しい視点で開放する、という微分方程式に基づいている。
  論文  参考訳（メタデータ） (2024-09-18T14:57:13Z)
• NTKCPL: Active Learning on Top of Self-Supervised Model by Estimating True Coverage [3.4806267677524896]
  ニューラル・タンジェント・カーネル・クラスタリング・プシュード・ラベル(NTKCPL)の新しいアクティブ・ラーニング・ストラテジーを提案する。 擬似ラベルとNTK近似を用いたモデル予測に基づいて経験的リスクを推定する。 提案手法を5つのデータセット上で検証し,ほとんどの場合,ベースライン法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-07T01:43:47Z)
• Active Learning Guided by Efficient Surrogate Learners [25.52920030051264]
  1つのデータポイントが新しいラベルを受け取るたびに、ディープラーニングモデルを再トレーニングするのは現実的ではない。 本稿では,ニューラルネットワークの主学習者とともに,ガウス過程の力を利用する新しい能動学習アルゴリズムを提案する。 提案モデルでは,新しいデータインスタンス毎のサロゲート学習者を積極的に更新し,ニューラルネットワークの連続学習ダイナミクスをエミュレートし,活用する。
  論文  参考訳（メタデータ） (2023-01-07T01:35:25Z)
• Towards Diverse Evaluation of Class Incremental Learning: A Representation Learning Perspective [67.45111837188685]
  クラスインクリメンタル学習(CIL)アルゴリズムは、インクリメンタルに到着したデータから新しいオブジェクトクラスを継続的に学習することを目的としている。 表現学習における様々な評価プロトコルを用いて,CILアルゴリズムによって訓練されたニューラルネットワークモデルを実験的に解析する。
  論文  参考訳（メタデータ） (2022-06-16T11:44:11Z)
• Stabilizing Q-learning with Linear Architectures for Provably Efficient Learning [53.17258888552998]
  本研究では,線形関数近似を用いた基本的な$Q$-learningプロトコルの探索変種を提案する。 このアルゴリズムの性能は,新しい近似誤差というより寛容な概念の下で,非常に優雅に低下することを示す。
  論文  参考訳（メタデータ） (2022-06-01T23:26:51Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• ALT-MAS: A Data-Efficient Framework for Active Testing of Machine Learning Algorithms [58.684954492439424]
  少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。 ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
  論文  参考訳（メタデータ） (2021-04-11T12:14:04Z)
• Meta-Gradient Reinforcement Learning with an Objective Discovered Online [54.15180335046361]
  本稿では,深層ニューラルネットワークによって柔軟にパラメータ化される,自己目的のメタ段階的降下に基づくアルゴリズムを提案する。 目的はオンラインで発見されるため、時間とともに変化に適応することができる。 Atari Learning Environmentでは、メタグラディエントアルゴリズムが時間とともに適応して、より効率よく学習する。
  論文  参考訳（メタデータ） (2020-07-16T16:17:09Z)
• Online NEAT for Credit Evaluation -- a Dynamic Problem with Sequential Data [7.4900473480226175]
  本稿では、ストリーミングデータに基づいて信用評価モデルを更新したP2P貸与問題に対する神経進化の応用について述べる。 一般的には信用評価領域では適用されていないNeuroevolution of Augmenting Topologies (NEAT) アルゴリズムを適用した。
  論文  参考訳（メタデータ） (2020-07-06T15:27:14Z)
• Active Learning for Gaussian Process Considering Uncertainties with Application to Shape Control of Composite Fuselage [7.358477502214471]
  ガウス過程に不確実性のある2つの新しい能動学習アルゴリズムを提案する。 提案手法は不確実性の影響を取り入れ,予測性能の向上を実現する。 本手法は, 複合胴体の自動形状制御における予測モデルの改善に応用されている。
  論文  参考訳（メタデータ） (2020-04-23T02:04:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。