論文の概要: Deep-and-Wide Learning: Enhancing Data-Driven Inference via Synergistic Learning of Inter- and Intra-Data Representations

• arxiv url: http://arxiv.org/abs/2501.17347v1
• Date: Tue, 28 Jan 2025 23:47:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-30 15:54:30.048451
• Title: Deep-and-Wide Learning: Enhancing Data-Driven Inference via Synergistic Learning of Inter- and Intra-Data Representations
• Title（参考訳）: ディープ・アンド・ウェイド・ラーニング:データ間およびデータ内表現の相乗的学習によるデータ駆動推論の強化
• Authors: Md Tauhidul Islam, Lei Xing,
• Abstract要約: 現在のディープニューラルネットワーク(DNN)モデルは、大量のデータと計算リソースの要求など、いくつかの課題に直面している。 本稿では,DWL(Deep-and-wide Learning)と呼ばれる新しい学習手法を導入する。 我々はDWLが最先端のDNNの精度を、限られた訓練データでかなりの差で上回っていることを示す。
• 参考スコア（独自算出の注目度）: 8.013386998355966
• License:
• Abstract: Advancements in deep learning are revolutionizing science and engineering. The immense success of deep learning is largely due to its ability to extract essential high-dimensional (HD) features from input data and make inference decisions based on this information. However, current deep neural network (DNN) models face several challenges, such as the requirements of extensive amounts of data and computational resources. Here, we introduce a new learning scheme, referred to as deep-and-wide learning (DWL), to systematically capture features not only within individual input data (intra-data features) but also across the data (inter-data features). Furthermore, we propose a dual-interactive-channel network (D-Net) to realize the DWL, which leverages our Bayesian formulation of low-dimensional (LD) inter-data feature extraction and its synergistic interaction with the conventional HD representation of the dataset, for substantially enhanced computational efficiency and inference. The proposed technique has been applied to data across various disciplines for both classification and regression tasks. Our results demonstrate that DWL surpasses state-of-the-art DNNs in accuracy by a substantial margin with limited training data and improves the computational efficiency by order(s) of magnitude. The proposed DWL strategy dramatically alters the data-driven learning techniques, including emerging large foundation models, and sheds significant insights into the evolving field of AI.
• Abstract（参考訳）: ディープラーニングの進歩は科学と工学に革命をもたらしている。 ディープラーニングの大きな成功は、入力データから必須の高次元(HD)特徴を抽出し、この情報に基づいて推論決定を行う能力に起因している。 しかし、現在のディープニューラルネットワーク(DNN)モデルは、大量のデータと計算リソースの要求など、いくつかの課題に直面している。 本稿では、個々の入力データ(イントラデータ機能)だけでなく、データ(データ間機能)全体にまたがる特徴を体系的にキャプチャする、ディープ・アンド・ワイド・ラーニング(DWL)と呼ばれる新しい学習手法を提案する。 さらに、低次元(LD)データ間特徴抽出のベイズ的定式化と従来のHD表現との相乗的相互作用を利用して、計算効率と推論を大幅に向上させるDWLを実現するために、DWLを実現するためのデュアル・インタラクティブ・チャネルネットワーク(D-Net)を提案する。 提案手法は,分類タスクと回帰タスクの両方において,様々な分野にわたるデータに適用されている。 以上の結果から,DWL は訓練データに制限のある精度で最先端の DNN を超越し,桁数で計算効率を向上することを示した。 提案されたDWL戦略は、新たな大規模基盤モデルを含むデータ駆動学習テクニックを劇的に変更し、AIの進化する分野に関する重要な洞察を隠蔽する。

関連論文リスト

• Generative Adversarial Networks for Imputing Sparse Learning Performance [3.0350058108125646]
  本稿では,GAIN(Generative Adversarial Imputation Networks)フレームワークを用いて,スパース学習性能データをインプットする手法を提案する。 3次元テンソル空間でスパースデータを計算するGAIN法をカスタマイズした。 この発見は、AIベースの教育における包括的な学習データモデリングと分析を促進する。
  論文  参考訳（メタデータ） (2024-07-26T17:09:48Z)
• A survey of synthetic data augmentation methods in computer vision [0.0]
  本稿では,合成データ拡張技術について概観する。 我々は、重要なデータ生成と拡張技術、アプリケーション全般の範囲、および特定のユースケースに焦点を当てる。 コンピュータビジョンモデルをトレーニングするための一般的な合成データセットの要約を提供する。
  論文  参考訳（メタデータ） (2024-03-15T07:34:08Z)
• Diffusion-Based Neural Network Weights Generation [80.89706112736353]
  D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。 本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。 我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
  論文  参考訳（メタデータ） (2024-02-28T08:34:23Z)
• LESS: Selecting Influential Data for Targeted Instruction Tuning [64.78894228923619]
  本稿では,データの影響を推定し,命令データ選択のための低ランクグレーディエント類似度探索を行うアルゴリズムであるLESSを提案する。 LESS選択したデータの5%のトレーニングは、さまざまなダウンストリームタスクにわたる完全なデータセットでのトレーニングよりも優れています。 我々の方法は、意図した下流アプリケーションに必要な推論スキルを識別するために、表面的なフォームキューを超えています。
  論文  参考訳（メタデータ） (2024-02-06T19:18:04Z)
• Deep Transfer Learning for Automatic Speech Recognition: Towards Better Generalization [3.6393183544320236]
  深層学習(DL)における音声認識の課題 大規模なトレーニングデータセットと高い計算とストレージリソースが必要です。 ディープトランスファーラーニング(DTL)はこれらの問題を克服するために導入された。
  論文  参考訳（メタデータ） (2023-04-27T21:08:05Z)
• Deep networks for system identification: a Survey [56.34005280792013]
  システム識別は、入力出力データから動的システムの数学的記述を学習する。 同定されたモデルの主な目的は、以前の観測から新しいデータを予測することである。 我々は、フィードフォワード、畳み込み、リカレントネットワークなどの文献で一般的に採用されているアーキテクチャについて論じる。
  論文  参考訳（メタデータ） (2023-01-30T12:38:31Z)
• Segmentation-guided Domain Adaptation for Efficient Depth Completion [3.441021278275805]
  本稿では,vgg05型CNNアーキテクチャと半教師付きドメイン適応手法に基づく効率的な深度補完モデルを提案する。 空間的コヒーレンスを高めるため,情報ソースとしてセグメンテーションを用いた学習プロセスを導出する。 提案手法は,計算フットプリントを著しく低くしながら,従来手法の効率的かつ低パラメータ状態を改善する。
  論文  参考訳（メタデータ） (2022-10-14T13:01:25Z)
• Deep Reinforcement Learning Assisted Federated Learning Algorithm for Data Management of IIoT [82.33080550378068]
  産業用IoT(Industrial Internet of Things)の継続的な拡大により、IIoT機器は毎回大量のユーザデータを生成する。 IIoTの分野で、これらの時系列データを効率的かつ安全な方法で管理する方法は、依然として未解決の問題である。 本稿では,無線ネットワーク環境におけるIIoT機器データ管理におけるFL技術の適用について検討する。
  論文  参考訳（メタデータ） (2022-02-03T07:12:36Z)
• Rank-R FNN: A Tensor-Based Learning Model for High-Order Data Classification [69.26747803963907]
  Rank-R Feedforward Neural Network (FNN)は、そのパラメータにCanonical/Polyadic分解を課すテンソルベースの非線形学習モデルである。 まず、入力をマルチリニアアレイとして扱い、ベクトル化の必要性を回避し、すべてのデータ次元に沿って構造情報を十分に活用することができる。 Rank-R FNNの普遍的な近似と学習性の特性を確立し、実世界のハイパースペクトルデータセットのパフォーマンスを検証する。
  論文  参考訳（メタデータ） (2021-04-11T16:37:32Z)
• Model-Based Deep Learning [155.063817656602]
  信号処理、通信、制御は伝統的に古典的な統計モデリング技術に依存している。 ディープニューラルネットワーク(DNN)は、データから操作を学ぶ汎用アーキテクチャを使用し、優れたパフォーマンスを示す。 私たちは、原理数学モデルとデータ駆動システムを組み合わせて両方のアプローチの利点を享受するハイブリッド技術に興味があります。
  論文  参考訳（メタデータ） (2020-12-15T16:29:49Z)
• MARS: Mixed Virtual and Real Wearable Sensors for Human Activity Recognition with Multi-Domain Deep Learning Model [21.971345137218886]
  仮想IMUに基づく大規模データベースの構築を提案し,その上で,3つの技術部分からなる多分野ディープラーニングフレームワークを導入することにより,技術的問題に対処する。 まず,混成畳み込みニューラルネットワーク(CNN)を用いたノイズの多いIMUデータから,単一フレームの人間活動について半教師付き形式で学習することを提案する。 第2の部分は、不確実性を認識した一貫性の原則に従って抽出されたデータ特徴を融合する。 転送学習は、最近リリースされたArchive of Motion Capture as Surface Shapes (AMASS)データセットに基づいて、最後の部分で実行される。
  論文  参考訳（メタデータ） (2020-09-20T10:35:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。