論文の概要: Competing Learning in Hybrid Architectures

• arxiv url: http://arxiv.org/abs/2610.26830v1
• Date: Mon, 19 Oct 2026 17:55:55 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:38:06.335079
• Title: Competing Learning in Hybrid Architectures
• Title（参考訳）: ハイブリッドアーキテクチャにおける競合学習
• Abstract要約: 異なる種類のミキサーが同じ関数を学習するために競合する競合学習現象を示す。 本稿では,自然言語によるハイブリッドアーキテクチャの事前学習のための訓練手順を提案する。
• 参考スコア（独自算出の注目度）: 24.044821637617872
• License:
• Abstract: Many modern language models have adopted hybrid architectures that incorporate both linear-time recurrence and softmax attention. Modern recurrence layers provide a highly expressive mixing mechanism while ensuring high throughput by compressing contextual information into a fixed-size state, but underperform softmax attention in contextual information retrieval. In this paper, we reveal a Competing Learning phenomenon where different kinds of mixers compete to learn the same function, and when any layer learns a function, it suppresses the corresponding learning signal for other layers. Layer attribution analysis reveals that under typical data distributions, modern recurrence learns retrieval functions faster than softmax attention, causing attention to fail to learn retrieval in most cases. Stopping weight updates in recurrence in the middle of training helps attention learn retrieval. Based on these results, we propose a staged training procedure for pre-training hybrid architectures on natural language. Empirical results on models up to 1B parameters show that our method results in substantial improvement in language modeling loss, common-sense reasoning, as well as a wide range of retrieval-related tasks across different context lengths.
• Abstract（参考訳）: 多くの現代言語モデルは線形時間繰り返しとソフトマックスの注意を組み込んだハイブリッドアーキテクチャを採用している。 現代の繰り返し層は、文脈情報を一定サイズの状態に圧縮することで高いスループットを確保しつつ、高度に表現力のある混合機構を提供するが、文脈情報検索ではソフトマックスの注意を過小評価する。 本稿では,異なる種類のミキサーが同じ関数を学習するために競合する競合学習現象を明らかにする。 レイヤ属性分析により、典型的なデータ分布下では、現代の再帰はソフトマックスの注意よりも高速に検索関数を学習し、ほとんどの場合、注意が学習に失敗することが明らかとなった。 トレーニング中における重み更新の停止は、注意力の学習に役立つ。 これらの結果に基づいて,自然言語を用いたハイブリッドアーキテクチャの事前学習のための段階的な訓練手順を提案する。 1Bパラメータまでのモデルに対する実験結果から,提案手法は言語モデリングの損失,常識推論,およびコンテキスト長の異なる幅広い検索関連タスクを大幅に改善することが示された。

関連論文リスト

• Weight Factorization and Centralization for Continual Learning in Speech Recognition [55.63455095283984]
  リハーサルのない多言語、言語に依存しない状態でモデルを継続的に訓練することは、破滅的な忘れを招きかねない。 人間の脳が覚醒サイクルを通じて知識を学習・統合する能力に着想を得て,継続的な学習手法を提案する。
  論文  参考訳（メタデータ） (2025-06-19T19:59:24Z)
• Exploring Training and Inference Scaling Laws in Generative Retrieval [50.82554729023865]
  生成検索は、検索を自己回帰生成タスクとして再構成し、大きな言語モデルがクエリから直接ターゲット文書を生成する。 生成的検索におけるトレーニングと推論のスケーリング法則を体系的に検討し,モデルのサイズ,トレーニングデータスケール,推論時間計算が協調的に性能に与える影響について検討した。
  論文  参考訳（メタデータ） (2025-03-24T17:59:03Z)
• In-Context Linear Regression Demystified: Training Dynamics and Mechanistic Interpretability of Multi-Head Softmax Attention [52.159541540613915]
  本研究では,マルチヘッド型ソフトマックスアテンションモデルを用いて,線形データを用いたコンテキスト内学習を行う方法について検討する。 この結果から,学習内容の学習能力は,そのアーキテクチャと基礎となるデータ分布の集約的効果として,訓練されたトランスフォーマーから出現することが明らかとなった。
  論文  参考訳（メタデータ） (2025-03-17T02:00:49Z)
• Entropy Guided Extrapolative Decoding to Improve Factuality in Large Language Models [55.45444773200529]
  大きな言語モデル(LLM)は印象的な自然言語能力を示すが、幻覚に苦しむ。 最近の研究は推論時の事実性を改善するための復号化技術に焦点を当てている。
  論文  参考訳（メタデータ） (2024-04-14T19:45:35Z)
• Continual Contrastive Spoken Language Understanding [33.09005399967931]
  COCONUTは、経験リプレイとコントラスト学習の組み合わせに依存するクラスインクリメンタルラーニング(CIL)手法である。 我々は,COCONUTをデコーダ側で動作するメソッドと組み合わせることで,さらなるメトリクス改善を実現することを示す。
  論文  参考訳（メタデータ） (2023-10-04T10:09:12Z)
• Homological Convolutional Neural Networks [4.615338063719135]
  本稿では,トポロジ的に制約されたネットワーク表現を通じて,データ構造構造を利用した新しいディープラーニングアーキテクチャを提案する。 5つの古典的な機械学習モデルと3つのディープラーニングモデルに対して、18のベンチマークデータセットでモデルをテストします。
  論文  参考訳（メタデータ） (2023-08-26T08:48:51Z)
• Phase Retrieval using Expectation Consistent Signal Recovery Algorithm based on Hypernetwork [73.94896986868146]
  位相検索は現代の計算イメージングシステムにおいて重要な要素である。 近年のディープラーニングの進歩は、堅牢で高速なPRの新たな可能性を開いた。 我々は、既存の制限を克服するために、深層展開のための新しいフレームワークを開発する。
  論文  参考訳（メタデータ） (2021-01-12T08:36:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。