Fugu-MT 論文翻訳(概要): Feature Imitating Networks

論文の概要: Feature Imitating Networks

arxiv url: http://arxiv.org/abs/2110.04831v1
Date: Sun, 10 Oct 2021 15:58:58 GMT
ステータス: 処理完了
システム内更新日: 2021-10-12 15:38:44.042675
Title: Feature Imitating Networks
Title（参考訳）: 特徴模倣ネットワーク
Authors: Sari Saba-Sadiya, Tuka Alhanai, Mohammad M Ghassemi
Abstract要約: ニューラルラーニングの新しいアプローチ:FIN(Feature-Imitating-Network)を紹介する。 FINは、シャノンのエントロピーのような1つ以上の閉形式の統計的特徴を確実に近似する重みを持つニューラルネットワークである。我々は、FINが様々なダウンストリーム信号処理および推論タスクに最高の性能を提供することを示した。
参考スコア（独自算出の注目度）: 6.0450568069563735
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In this paper, we introduce a novel approach to neural learning: the Feature-Imitating-Network (FIN). A FIN is a neural network with weights that are initialized to reliably approximate one or more closed-form statistical features, such as Shannon's entropy. In this paper, we demonstrate that FINs (and FIN ensembles) provide best-in-class performance for a variety of downstream signal processing and inference tasks, while using less data and requiring less fine-tuning compared to other networks of similar (or even greater) representational power. We conclude that FINs can help bridge the gap between domain experts and machine learning practitioners by enabling researchers to harness insights from feature-engineering to enhance the performance of contemporary representation learning approaches.
Abstract（参考訳）: 本稿では,ニューラルネットワークの新たなアプローチである機能模倣ネットワーク(fin)を提案する。 FINは、シャノンのエントロピーのような1つ以上の閉形式統計特徴を確実に近似するために初期化される重みを持つニューラルネットワークである。本稿では,フィン(およびフィンアンサンブル)が様々な下流の信号処理および推論タスクに対して最良性能を提供するとともに,データ使用量が少なく,類似する(あるいはさらに大きい)表現力を持つ他のネットワークに比べて微調整が不要であることを示す。 FINは、機能工学の洞察を利用して、現代の表現学習手法の性能を高めることによって、ドメインエキスパートと機械学習実践者のギャップを埋めるのに役立つと結論付けている。

関連論文リスト

Interpreting Neural Networks through Mahalanobis Distance [0.0]
本稿では,ニューラルネットワークの線形層とマハラノビス距離を結合する理論的枠組みを提案する。この研究は理論的であり、経験的データを含んでいないが、提案された距離に基づく解釈は、モデルロバスト性を高め、一般化を改善し、ニューラルネットワークの決定をより直観的な説明を提供する可能性がある。
論文参考訳（メタデータ） (2024-10-25T07:21:44Z)
Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
本稿では,重み空間学習におけるSANEアプローチを紹介する。ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
論文参考訳（メタデータ） (2024-06-14T13:12:07Z)
Operator Learning Meets Numerical Analysis: Improving Neural Networks through Iterative Methods [2.226971382808806]
演算子方程式の反復的手法に基づく理論的枠組みを開発する。拡散モデルやAlphaFoldのような一般的なアーキテクチャは本質的に反復的演算子学習を採用していることを実証する。本研究の目的は,数値解析から洞察を融合させることにより,ディープラーニングの理解を深めることである。
論文参考訳（メタデータ） (2023-10-02T20:25:36Z)
Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
論文参考訳（メタデータ） (2023-10-02T03:25:32Z)
Feature Imitating Networks Enhance The Performance, Reliability And Speed Of Deep Learning On Biomedical Image Processing Tasks [0.5974778743092436]
FIN(Feature-Imitating-Networks)は、他のネットワークに埋め込まれたニューラルネットワークで、パフォーマンスを向上させる。本研究では,バイオメディカル画像処理タスクにおけるFINの最初の評価を行う。
論文参考訳（メタデータ） (2023-06-26T10:33:45Z)
Joint Feature and Differentiable $ k $-NN Graph Learning using Dirichlet Energy [103.74640329539389]
特徴選択と識別可能な$k $-NNグラフ学習を同時に行うディープFS法を提案する。我々は、ニューラルネットワークで$ k $-NNグラフを学習する際の非微分可能性問題に対処するために、最適輸送理論を用いる。本モデルの有効性を,合成データセットと実世界のデータセットの両方で広範な実験により検証する。
論文参考訳（メタデータ） (2023-05-21T08:15:55Z)
Ensemble learning for Physics Informed Neural Networks: a Gradient Boosting approach [10.250994619846416]
段階的強化(GB)と呼ばれる新しい訓練パラダイムを提案する。与えられたPDEの解を1つのニューラルネットワークで直接学習する代わりに、我々のアルゴリズムは、より優れた結果を得るために、一連のニューラルネットワークを用いています。この研究は、PINNでアンサンブル学習技術を採用するための扉も開ける。
論文参考訳（メタデータ） (2023-02-25T19:11:44Z)
Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文参考訳（メタデータ） (2021-06-17T17:26:31Z)
What can linearized neural networks actually say about generalization? [67.83999394554621]
ある無限大のニューラルネットワークにおいて、ニューラル・タンジェント・カーネル(NTK)理論は一般化を完全に特徴づける。線形近似は、ニューラルネットワークの特定のタスクの学習複雑性を確実にランク付けできることを示す。我々の研究は、将来の理論的研究を刺激する新しい深層学習現象の具体例を提供する。
論文参考訳（メタデータ） (2021-06-12T13:05:11Z)
Deep Multi-Task Learning for Cooperative NOMA: System Design and Principles [52.79089414630366]
我々は,近年のディープラーニング(DL)の進歩を反映した,新しいディープ・コラボレーティブなNOMAスキームを開発する。我々は,システム全体を包括的に最適化できるように,新しいハイブリッドカスケードディープニューラルネットワーク(DNN)アーキテクチャを開発した。
論文参考訳（メタデータ） (2020-07-27T12:38:37Z)
A deep learning framework for solution and discovery in solid mechanics [1.4699455652461721]
本稿では,物理情報ニューラルネットワーク(PINN)と呼ばれるディープラーニングのクラスを,固体力学の学習と発見に応用する。本稿では, 運動量バランスと弾性の関係をPINNに組み込む方法について解説し, 線形弾性への応用について詳細に検討する。
論文参考訳（メタデータ） (2020-02-14T08:24:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。