論文の概要: Hyper-Connections

• arxiv url: http://arxiv.org/abs/2409.19606v2
• Date: Thu, 28 Nov 2024 08:09:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-02 15:18:07.432489
• Title: Hyper-Connections
• Title（参考訳）: ハイパーコネクション
• Authors: Defa Zhu, Hongzhi Huang, Zihao Huang, Yutao Zeng, Yunyao Mao, Banggu Wu, Qiyang Min, Xun Zhou,
• Abstract要約: 残余接続の代替として機能する,単純かつ効果的な方法であるハイパーコネクションを提案する。 大規模言語モデルの事前学習に焦点をあてた実験を行い、高結合性により性能が大幅に向上した。 我々は、この手法が幅広いAI問題に広く適用され、有益なものになることを期待する。
• 参考スコア（独自算出の注目度）: 12.156329792353372
• License:
• Abstract: We present hyper-connections, a simple yet effective method that can serve as an alternative to residual connections. This approach specifically addresses common drawbacks observed in residual connection variants, such as the seesaw effect between gradient vanishing and representation collapse. Theoretically, hyper-connections allow the network to adjust the strength of connections between features at different depths and dynamically rearrange layers. We conduct experiments focusing on the pre-training of large language models, including dense and sparse models, where hyper-connections show significant performance improvements over residual connections. Additional experiments conducted on vision tasks also demonstrate similar improvements. We anticipate that this method will be broadly applicable and beneficial across a wide range of AI problems.
• Abstract（参考訳）: 残余接続の代替として機能する,単純かつ効果的な方法であるハイパーコネクションを提案する。 このアプローチは、勾配消滅と表現崩壊の間のシーソー効果のような、残差接続変種で観測される共通の欠点に特に対処する。 理論的には、ハイパーコネクションにより、ネットワークは異なる深さと動的に再配列する層における特徴間の接続の強度を調整できる。 我々は,高接続が残接続よりも顕著な性能向上を示すような高密度およびスパースモデルを含む,大規模言語モデルの事前学習に焦点を当てた実験を行う。 視覚タスクに関する追加の実験でも同様の改善が示された。 我々は、この手法が幅広いAI問題に広く適用され、有益なものになることを期待する。

関連論文リスト

• Multi-Agent Reinforcement Learning for Power Control in Wireless Networks via Adaptive Graphs [1.1861167902268832]
  多エージェント深部強化学習(MADRL)は、電力制御のような幅広い複雑な最適化問題に対処するための有望な手法として登場した。 本稿では,これらの課題を緩和する有効な手段として,分散エージェント間の通信誘導構造としてグラフを用いることを提案する。
  論文  参考訳（メタデータ） (2023-11-27T14:25:40Z)
• Leveraging Low-Rank and Sparse Recurrent Connectivity for Robust Closed-Loop Control [63.310780486820796]
  繰り返し接続のパラメータ化が閉ループ設定のロバスト性にどのように影響するかを示す。 パラメータが少ないクローズドフォーム連続時間ニューラルネットワーク(CfCs)は、フルランクで完全に接続されたニューラルネットワークよりも優れています。
  論文  参考訳（メタデータ） (2023-10-05T21:44:18Z)
• Magnitude Invariant Parametrizations Improve Hypernetwork Learning [0.0]
  Hypernetworksは、別のニューラルネットワークのパラメータを予測する強力なニューラルネットワークである。 トレーニングは通常、非ハイパーネットワークモデルよりもはるかにゆっくりと収束する。 我々は、ハイパーネットワークのトレーニングの課題に寄与する、基本的な未確認の問題を識別する。 我々は、MIP(Magnitude Invariant Parametrizations)と呼ばれる改訂されたハイパーネットワークの定式化を用いて、この問題に対する簡単な解決策を提案する。
  論文  参考訳（メタデータ） (2023-04-15T22:18:29Z)
• Sparse Interaction Additive Networks via Feature Interaction Detection and Sparse Selection [10.191597755296163]
  我々は,必要な特徴の組み合わせを効率的に識別する,抽出可能な選択アルゴリズムを開発した。 提案するスパース・インタラクション・アダプティブ・ネットワーク(SIAN)は,単純かつ解釈可能なモデルから完全に接続されたニューラルネットワークへのブリッジを構築する。
  論文  参考訳（メタデータ） (2022-09-19T19:57:17Z)
• Weak Augmentation Guided Relational Self-Supervised Learning [80.0680103295137]
  本稿では、異なるインスタンス間の関係をモデル化して表現を学習する新しいリレーショナル自己教師型学習(ReSSL)フレームワークを提案する。 提案手法では,異なるインスタンス間でのペアワイズ類似度の分布を,テクトitrelationmetricとして高めている。 実験の結果,提案したReSSLは,ネットワークアーキテクチャの異なる最先端手法よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-03-16T16:14:19Z)
• Semantic Correspondence with Transformers [68.37049687360705]
  本稿では,変換器を用いたコストアグリゲーション(CAT)を提案し,意味論的に類似した画像間の密接な対応を見出す。 初期相関マップと多レベルアグリゲーションを曖昧にするための外観親和性モデリングを含む。 提案手法の有効性を示す実験を行い,広範囲にわたるアブレーション研究を行った。
  論文  参考訳（メタデータ） (2021-06-04T14:39:03Z)
• Rethinking Skip Connection with Layer Normalization in Transformers and ResNets [49.87919454950763]
  スキップ接続は、ディープニューラルネットワークの性能を改善するために広く使われているテクニックである。 本研究では,スキップ接続の有効性におけるスケール要因について検討する。
  論文  参考訳（メタデータ） (2021-05-15T11:44:49Z)
• Centralized Information Interaction for Salient Object Detection [68.8587064889475]
  U字型構造は、多スケールの機能を効率的に組み合わせるサリエント物体検出に長けている。 本稿では,これらの接続を集中化することにより,相互に相互に情報交換を行うことができることを示す。 本手法は, ボトムアップ経路とトップダウン経路の接続を置換することにより, 既存のU字型サルエント物体検出手法と協調することができる。
  論文  参考訳（メタデータ） (2020-12-21T12:42:06Z)
• Recursive Multi-model Complementary Deep Fusion forRobust Salient Object Detection via Parallel Sub Networks [62.26677215668959]
  完全畳み込みネットワークは、正体検出(SOD)分野において優れた性能を示している。 本稿では,全く異なるネットワークアーキテクチャを持つ並列サブネットワークからなる,より広いネットワークアーキテクチャを提案する。 いくつかの有名なベンチマークの実験では、提案されたより広範なフレームワークの優れた性能、優れた一般化、強力な学習能力が明らかに示されている。
  論文  参考訳（メタデータ） (2020-08-07T10:39:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。