論文の概要: Ex Uno Pluria: Insights on Ensembling in Low Precision Number Systems

• arxiv url: http://arxiv.org/abs/2411.14860v1
• Date: Fri, 22 Nov 2024 11:18:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-25 18:36:34.110529
• Title: Ex Uno Pluria: Insights on Ensembling in Low Precision Number Systems
• Title（参考訳）: Ex Uno Pluria:低精度数システムの構築に関する考察
• Authors: Giung Nam, Juho Lee,
• Abstract要約: ディープニューラルネットワークの組み立ては、一般化性能を改善することを約束している。 本稿では,低精度数値システム内の単一モデルからアンサンブル部材を導出する,低精度アンサンブルを提案する。 実験により,既存のアンサンブル手法と比較し,提案手法の有効性を実証した。
• 参考スコア（独自算出の注目度）: 16.89998201009075
• License:
• Abstract: While ensembling deep neural networks has shown promise in improving generalization performance, scaling current ensemble methods for large models remains challenging. Given that recent progress in deep learning is largely driven by the scale, exemplified by the widespread adoption of large-scale neural network architectures, scalability emerges an increasingly critical issue for machine learning algorithms in the era of large-scale models. In this work, we first showcase the potential of low precision ensembling, where ensemble members are derived from a single model within low precision number systems in a training-free manner. Our empirical analysis demonstrates the effectiveness of our proposed low precision ensembling method compared to existing ensemble approaches.
• Abstract（参考訳）: 深層ニューラルネットワークのアンサンブルは、一般化性能を改善するという約束を示しているが、大規模モデルの現在のアンサンブルメソッドのスケーリングは依然として難しい。 最近のディープラーニングの進歩は、大規模なニューラルネットワークアーキテクチャが広く採用されていることから、大規模モデルの時代において、機械学習アルゴリズムにとって、スケーラビリティがますます重要な問題として現れている。 本研究では,まず,低精度アンサンブルの可能性を示す。そこでは,アンサンブルメンバーは,低精度数システム内の単一モデルから学習自由な方法で導出される。 実験により,既存のアンサンブル手法と比較し,提案手法の有効性を実証した。

関連論文リスト

• Fast training of large kernel models with delayed projections [14.459817519150997]
  データサイズとモデルサイズの両方で効率よくスケールできるカーネルマシンを構築するための新しい手法を提案する。 提案アルゴリズムでは,PSGD(Preconditioned Gradient Descent)に遅延プロジェクションを導入し,従来よりもはるかに大きなモデルのトレーニングを可能にする。 提案アルゴリズムであるEigenPro4を検証し,既存の手法よりも格段に高速な学習速度を示しながら,比較あるいはより優れた分類精度を維持した。
  論文  参考訳（メタデータ） (2024-11-25T18:42:13Z)
• Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
  本稿では,重み空間学習におけるSANEアプローチを紹介する。 ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
  論文  参考訳（メタデータ） (2024-06-14T13:12:07Z)
• LoRA-Ensemble: Efficient Uncertainty Modelling for Self-attention Networks [52.46420522934253]
  本稿では,自己注意ネットワークのためのパラメータ効率の高いディープアンサンブル手法であるLoRA-Ensembleを紹介する。 全メンバー間で重みを共有できる1つの事前学習型自己注意ネットワークを利用することで、注意投影のために、メンバー固有の低ランク行列を訓練する。 提案手法は明示的なアンサンブルよりも優れたキャリブレーションを示し,様々な予測タスクやデータセットに対して類似あるいは良好な精度を実現する。
  論文  参考訳（メタデータ） (2024-05-23T11:10:32Z)
• Accurate Neural Network Pruning Requires Rethinking Sparse Optimization [87.90654868505518]
  標準コンピュータビジョンと自然言語処理の疎度ベンチマークを用いたモデルトレーニングにおいて,高い疎度が与える影響について述べる。 本稿では,視覚モデルのスパース事前学習と言語モデルのスパース微調整の両面において,この問題を軽減するための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-08-03T21:49:14Z)
• Precision Machine Learning [5.15188009671301]
  様々な関数近似法を比較し,パラメータやデータの増加とともにスケールする方法について検討する。 ニューラルネットワークは、しばしば高次元の例において古典的近似法より優れていることが判明した。 我々は,ニューラルネットワークを極端に低損失に訓練する訓練手法を開発した。
  論文  参考訳（メタデータ） (2022-10-24T17:58:30Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Firearm Detection via Convolutional Neural Networks: Comparing a Semantic Segmentation Model Against End-to-End Solutions [68.8204255655161]
  武器の脅威検出とライブビデオからの攻撃的な行動は、潜在的に致命的な事故の迅速検出と予防に使用できる。 これを実現する一つの方法は、人工知能と、特に画像分析のための機械学習を使用することです。 従来のモノリシックなエンド・ツー・エンドのディープラーニングモデルと、セマンティクスセグメンテーションによって火花を検知する単純なニューラルネットワークのアンサンブルに基づく前述したモデルを比較した。
  論文  参考訳（メタデータ） (2020-12-17T15:19:29Z)
• The Self-Simplifying Machine: Exploiting the Structure of Piecewise Linear Neural Networks to Create Interpretable Models [0.0]
  本稿では,分類タスクに対するPiecewise Linear Neural Networksの単純化と解釈性向上のための新しい手法を提案する。 我々の手法には、トレーニングを伴わずに、訓練された深層ネットワークを使用して、良好なパフォーマンスと単一隠れ層ネットワークを生成する方法が含まれる。 これらの手法を用いて,モデル性能の予備的研究およびウェルズ・ファーゴのホームレンディングデータセットのケーススタディを行う。
  論文  参考訳（メタデータ） (2020-12-02T16:02:14Z)
• Neural-iLQR: A Learning-Aided Shooting Method for Trajectory Optimization [17.25824905485415]
  制約のない制御空間上の学習支援シューティング手法であるNeural-iLQRを提案する。 システムモデルにおける不正確さの存在下で、従来のiLQRよりも著しく優れていることが示されている。
  論文  参考訳（メタデータ） (2020-11-21T07:17:28Z)
• Neural networks with late-phase weights [66.72777753269658]
  学習後期に重みのサブセットを組み込むことで,SGDの解をさらに改善できることを示す。 学習の終わりに、重み空間における空間平均を取ることにより、1つのモデルを取得する。
  論文  参考訳（メタデータ） (2020-07-25T13:23:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。