論文の概要: Elastic Architecture Search for Efficient Language Models

• arxiv url: http://arxiv.org/abs/2510.27037v1
• Date: Thu, 30 Oct 2025 22:57:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-03 17:52:15.926986
• Title: Elastic Architecture Search for Efficient Language Models
• Title（参考訳）: 効率的な言語モデルのための弾性アーキテクチャ探索
• Authors: Shang Wang,
• Abstract要約: Elastic Language Model (ELM) は、コンパクト言語モデルに最適化された新しいニューラルアーキテクチャサーチ(NAS)手法である。 ELMは、効率的な変圧器ブロックと次元調整のための動的モジュールを備えたフレキシブルな探索空間を導入することで、既存のNASアプローチを拡張している。 マスク言語モデリングおよび因果言語モデリングタスクの実験により、EMMによって発見されたモデルは既存の手法よりも大幅に優れていることが示された。
• 参考スコア（独自算出の注目度）: 3.8834605840347662
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As large pre-trained language models become increasingly critical to natural language understanding (NLU) tasks, their substantial computational and memory requirements have raised significant economic and environmental concerns. Addressing these challenges, this paper introduces the Elastic Language Model (ELM), a novel neural architecture search (NAS) method optimized for compact language models. ELM extends existing NAS approaches by introducing a flexible search space with efficient transformer blocks and dynamic modules for dimension and head number adjustment. These innovations enhance the efficiency and flexibility of the search process, which facilitates more thorough and effective exploration of model architectures. We also introduce novel knowledge distillation losses that preserve the unique characteristics of each block, in order to improve the discrimination between architectural choices during the search process. Experiments on masked language modeling and causal language modeling tasks demonstrate that models discovered by ELM significantly outperform existing methods.
• Abstract（参考訳）: 大規模な事前学習言語モデルが自然言語理解(NLU)タスクにますます重要になるにつれて、その相当量の計算と記憶の要求が経済的および環境的な懸念を引き起こしている。 これらの課題に対処するために、コンパクト言語モデルに最適化された新しいニューラルアーキテクチャ探索(NAS)手法であるElastic Language Model (ELM)を紹介する。 ELMは、効率的な変圧器ブロックと次元調整のための動的モジュールを備えたフレキシブルな探索空間を導入することで、既存のNASアプローチを拡張している。 これらの革新により、探索プロセスの効率性と柔軟性が向上し、モデルアーキテクチャのより徹底的で効果的な探索が容易になる。 また,各ブロックのユニークな特性を保ちながら,探索過程における建築的選択の区別を改善するために,新しい知識蒸留損失を導入する。 マスク言語モデリングおよび因果言語モデリングタスクの実験により、EMMによって発見されたモデルは既存の手法よりも大幅に優れていることが示された。

関連論文リスト

• Speed Always Wins: A Survey on Efficient Architectures for Large Language Models [51.817121227562964]
  大規模言語モデル(LLM)は、言語理解、生成、推論、マルチモーダルモデルの能力境界の押し付けにおいて、素晴らしい結果をもたらしている。 トランスフォーマーモデルは、現代のLLMの基礎として、優れたスケーリング特性を備えた強力なベースラインを提供する。 従来のトランスフォーマーアーキテクチャは、相当な計算を必要とし、大規模なトレーニングと実践的なデプロイメントに重大な障害を生じさせる。
  論文  参考訳（メタデータ） (2025-08-13T14:13:46Z)
• Continual Learning for Generative AI: From LLMs to MLLMs and Beyond [56.29231194002407]
  本稿では,主流生成型AIモデルに対する連続学習手法の総合的な調査を行う。 これらのアプローチをアーキテクチャベース、正規化ベース、リプレイベースという3つのパラダイムに分類する。 我々は、トレーニング目標、ベンチマーク、コアバックボーンを含む、異なる生成モデルに対する連続的な学習設定を分析する。
  論文  参考訳（メタデータ） (2025-06-16T02:27:25Z)
• A Survey of Model Architectures in Information Retrieval [59.61734783818073]
  2019年から現在までの期間は、情報検索(IR)と自然言語処理(NLP)における最大のパラダイムシフトの1つとなっている。 従来の用語ベースの手法から現代のニューラルアプローチまで,特にトランスフォーマーベースのモデルとそれに続く大規模言語モデル(LLM)の影響が注目されている。 今後の課題と今後の方向性について、先見的な議論で締めくくります。
  論文  参考訳（メタデータ） (2025-02-20T18:42:58Z)
• Chunk-Distilled Language Modeling [25.238256586953487]
  Chunk-Distilled Language Modeling (CD-LM)は、現在の大規模言語モデル(LLM)における2つの課題に対処するテキスト生成のアプローチである。 提案手法は,ディープネットワークベースのLCMと簡単な検索モジュールを組み合わせることで,単一のデコードステップでマルチトークンテキストチャンクを生成する。
  論文  参考訳（メタデータ） (2024-12-31T08:32:15Z)
• A Survey of Small Language Models [104.80308007044634]
  小言語モデル (SLM) は, 計算資源の最小化による言語タスクの効率化と性能の向上により, ますます重要になってきている。 本稿では,SLMのアーキテクチャ,トレーニング技術,モデル圧縮技術に着目した総合的な調査を行う。
  論文  参考訳（メタデータ） (2024-10-25T23:52:28Z)
• Boosting the Capabilities of Compact Models in Low-Data Contexts with Large Language Models and Retrieval-Augmented Generation [2.9921619703037274]
  本稿では,形態素解析の言語タスクにおいて,より小さなモデルの出力を補正するために,大言語モデル(LLM)を基盤とした検索拡張生成(RAG)フレームワークを提案する。 データ不足や訓練可能なパラメータの不足を補うために,言語情報を活用するとともに,LLMを通して解釈・蒸留された記述文法からの入力を許容する。 コンパクトなRAG支援モデルがデータスカース設定に極めて有効であることを示し、このタスクとターゲット言語に対する新しい最先端技術を実現する。
  論文  参考訳（メタデータ） (2024-10-01T04:20:14Z)
• MoE-CT: A Novel Approach For Large Language Models Training With Resistance To Catastrophic Forgetting [53.77590764277568]
  ベースモデルの学習を多言語拡張プロセスから分離する新しいMoE-CTアーキテクチャを提案する。 我々の設計では、元のLLMパラメータを凍結し、高リソース言語のパフォーマンスを保護しますが、様々な言語データセットに基づいてトレーニングされたMoEモジュールは、低リソース言語の習熟度を向上します。
  論文  参考訳（メタデータ） (2024-06-25T11:03:45Z)
• Retrieval-based Knowledge Transfer: An Effective Approach for Extreme Large Language Model Compression [64.07696663255155]
  大規模事前学習型言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて例外的な性能を示した。 しかし、これらのモデルの巨大なサイズは、現実世界のアプリケーションに展開する上で大きな課題をもたらします。 本稿では,LLMの知識を極めて小規模なモデルに効果的に伝達するRetrieval-based Knowledge Transfer (RetriKT)と呼ばれる新しい圧縮パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-10-24T07:58:20Z)
• Do Generative Large Language Models need billions of parameters? [0.0]
  この研究は、モデルの異なる部分がパラメータを共有することを可能にする新しい方法を探究する。 このアプローチは、複雑な言語構造を学習し表現する能力を犠牲にすることなく、モデルがコンパクトであることを保証する。
  論文  参考訳（メタデータ） (2023-09-12T20:25:22Z)
• A Cohesive Distillation Architecture for Neural Language Models [0.0]
  自然言語処理の最近のトレンドは、言語モデル(LM)のサイズが指数関数的に増加することである。 本研究では,大規模モデルの効率的な代替手段を提供するために,知識蒸留法(KD)について検討する。
  論文  参考訳（メタデータ） (2023-01-12T08:01:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。