Fugu-MT 論文翻訳(概要): Data-induced multiscale losses and efficient multirate gradient descent schemes

論文の概要: Data-induced multiscale losses and efficient multirate gradient descent schemes

arxiv url: http://arxiv.org/abs/2402.03021v2
Date: Tue, 6 Feb 2024 12:50:12 GMT
ステータス: 処理完了
システム内更新日: 2024-02-07 11:13:42.384517
Title: Data-induced multiscale losses and efficient multirate gradient descent schemes
Title（参考訳）: データ誘起マルチスケール損失と高効率マルチレート勾配降下スキーム
Authors: Juncai He, Liangchen Liu, and Yen-Hsi Richard Tsai
Abstract要約: 本稿では、データから得られた勾配やヘッセンを含む、損失景観におけるマルチスケール構造を明らかにする。これは、科学計算で使われるマルチスケールアルゴリズムからインスピレーションを得た、新しい勾配降下法を導入している。
参考スコア（独自算出の注目度）: 6.299435779277399
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This paper investigates the impact of multiscale data on machine learning algorithms, particularly in the context of deep learning. A dataset is multiscale if its distribution shows large variations in scale across different directions. This paper reveals multiscale structures in the loss landscape, including its gradients and Hessians inherited from the data. Correspondingly, it introduces a novel gradient descent approach, drawing inspiration from multiscale algorithms used in scientific computing. This approach seeks to transcend empirical learning rate selection, offering a more systematic, data-informed strategy to enhance training efficiency, especially in the later stages.
Abstract（参考訳）: 本稿では,機械学習アルゴリズム,特にディープラーニングの文脈におけるマルチスケールデータの影響について検討する。データセットは、その分布が異なる方向にわたるスケールの大きなバリエーションを示す場合、マルチスケールである。本稿では,データから受け継いだ勾配やヘシアンを含む,損失景観の多スケール構造について述べる。それに対応するために、科学計算で使われるマルチスケールアルゴリズムからインスピレーションを得て、新しい勾配降下アプローチを導入する。このアプローチは経験的学習率の選択を超越し、特に後期のトレーニング効率を高めるために、より体系的なデータインフォームド戦略を提供する。

関連論文リスト

MixUp-MIL: A Study on Linear & Multilinear Interpolation-Based Data Augmentation for Whole Slide Image Classification [1.5810132476010594]
本稿では,デジタルスライド画像の分類のためのデータ拡張手法について検討する。その結果,本手法の効果は極めて高い変動性を示した。我々は暗黒に光をもたらすいくつかの興味深い側面を特定し、新しい研究分野を同定した。
論文参考訳（メタデータ） (2023-11-06T12:00:53Z)
Enhancing Deep Learning Models through Tensorization: A Comprehensive Survey and Framework [0.0]
本稿では,多次元データソース,様々なマルチウェイ解析手法,およびこれらの手法の利点について考察する。 2次元アルゴリズムとPythonのマルチウェイアルゴリズムを比較したBlind Source separation(BSS)の小さな例を示す。その結果,マルチウェイ解析の方が表現力が高いことが示唆された。
論文参考訳（メタデータ） (2023-09-05T17:56:22Z)
Domain Generalization for Mammographic Image Analysis with Contrastive Learning [62.25104935889111]
効果的なディープラーニングモデルのトレーニングには、さまざまなスタイルと品質を備えた大規模なデータが必要である。より優れたスタイルの一般化能力を備えた深層学習モデルを実現するために,新しいコントラスト学習法が開発された。提案手法は,様々なベンダスタイルドメインのマンモグラムや,いくつかのパブリックデータセットを用いて,広範囲かつ厳密に評価されている。
論文参考訳（メタデータ） (2023-04-20T11:40:21Z)
Minimizing the Accumulated Trajectory Error to Improve Dataset Distillation [151.70234052015948]
本稿では,フラットな軌道を求める最適化アルゴリズムを提案する。合成データに基づいてトレーニングされた重みは、平坦な軌道への正規化を伴う累積誤差摂動に対して頑健であることを示す。本手法はFTD (Flat Trajectory Distillation) と呼ばれ, 勾配整合法の性能を最大4.7%向上させる。
論文参考訳（メタデータ） (2022-11-20T15:49:11Z)
Scaling Forward Gradient With Local Losses [117.22685584919756]
フォワード学習は、ディープニューラルネットワークを学ぶためのバックプロップに代わる生物学的に妥当な代替手段である。重みよりも活性化に摂動を適用することにより、前方勾配のばらつきを著しく低減できることを示す。提案手法はMNIST と CIFAR-10 のバックプロップと一致し,ImageNet 上で提案したバックプロップフリーアルゴリズムよりも大幅に優れていた。
論文参考訳（メタデータ） (2022-10-07T03:52:27Z)
Convolutional Learning on Multigraphs [153.20329791008095]
我々は、多グラフ上の畳み込み情報処理を開発し、畳み込み多グラフニューラルネットワーク(MGNN)を導入する。情報拡散の複雑なダイナミクスを多グラフのエッジのクラス間で捉えるために、畳み込み信号処理モデルを定式化する。我々は,計算複雑性を低減するため,サンプリング手順を含むマルチグラフ学習アーキテクチャを開発した。導入されたアーキテクチャは、最適な無線リソース割り当てとヘイトスピーチローカライゼーションタスクに適用され、従来のグラフニューラルネットワークよりも優れたパフォーマンスを提供する。
論文参考訳（メタデータ） (2022-09-23T00:33:04Z)
Weakly Supervised Change Detection Using Guided Anisotropic Difusion [97.43170678509478]
我々は、このようなデータセットを変更検出の文脈で活用するのに役立つ独自のアイデアを提案する。まず,意味的セグメンテーション結果を改善する誘導異方性拡散(GAD)アルゴリズムを提案する。次に、変化検出に適した2つの弱い教師付き学習戦略の可能性を示す。
論文参考訳（メタデータ） (2021-12-31T10:03:47Z)
Multiscale Laplacian Learning [3.24029503704305]
本稿では,機械学習タスクに対する2つの革新的なマルチスケールラプラシアン学習手法を提案する。マルチカーネル多様体学習(MML)と呼ばれる最初のアプローチは、マルチカーネル情報と多様体学習を統合する。 2つ目のアプローチは、MBO (Multiscale MBO) 法と呼ばれ、有名な古典的なメリマン・バーンス=オッシャースキームの修正にマルチスケールのラプラシアンを導入している。
論文参考訳（メタデータ） (2021-09-08T15:25:32Z)
Solving Sparse Linear Inverse Problems in Communication Systems: A Deep Learning Approach With Adaptive Depth [51.40441097625201]
疎信号回復問題に対するエンドツーエンドの訓練可能なディープラーニングアーキテクチャを提案する。提案手法は,出力するレイヤ数を学習し,各タスクのネットワーク深さを推論フェーズで動的に調整する。
論文参考訳（メタデータ） (2020-10-29T06:32:53Z)
Siloed Federated Learning for Multi-Centric Histopathology Datasets [0.17842332554022694]
本稿では,医学領域における深層学習アーキテクチャのための新しいフェデレーション学習手法を提案する。局所統計バッチ正規化(BN)層が導入され、協調的に訓練されるが中心に固有のモデルが作られる。本研究では,Camelyon16およびCamelyon17データセットから抽出した腫瘍組織像の分類法についてベンチマークを行った。
論文参考訳（メタデータ） (2020-08-17T15:49:30Z)
Dataset Condensation with Gradient Matching [36.14340188365505]
本研究では,大規模なデータセットを,深層ニューラルネットワークをスクラッチからトレーニングするための情報的合成サンプルの小さなセットに凝縮させることを学習する,データセット凝縮という,データ効率のよい学習のためのトレーニングセット合成手法を提案する。いくつかのコンピュータビジョンベンチマークでその性能を厳格に評価し、最先端の手法よりも優れていることを示す。
論文参考訳（メタデータ） (2020-06-10T16:30:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。