論文の概要: PLDR-LLM: Large Language Model from Power Law Decoder Representations

• arxiv url: http://arxiv.org/abs/2410.16703v1
• Date: Tue, 22 Oct 2024 05:16:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-23 14:30:27.106088
• Title: PLDR-LLM: Large Language Model from Power Law Decoder Representations
• Title（参考訳）: PLDR-LLM:パワーローデコーダによる大規模言語モデル
• Authors: Burc Gokden,
• Abstract要約: RefinedWebデータセットから小さなバッチサイズ32と$sim$8Bのトークンで、さまざまなレイヤサイズでPLDR-LLMを事前トレーニングします。 ゼロショットおよび少数ショット設定で競合性能を達成することを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: We present the Large Language Model from Power Law Decoder Representations (PLDR-LLM), a language model that leverages non-linear and linear transformations through Power Law Graph Attention mechanism to generate well-defined deductive and inductive outputs. We pretrain the PLDR-LLMs of varying layer sizes with a small batch size of 32 and $\sim$8B tokens from the RefinedWeb dataset, and show that they achieve competitive performance in zero-shot and few-shot settings compared to scaled dot-product LLMs of similar model size reported in the literature. We show that deductive outputs of PLDR-LLMs can be used to compare model characteristics or improve the performance by introducing the Directed Acyclic Graph (DAG) loss as a metric and regularizer. Our results indicate that the initial maximum learning rate and warm-up steps have a lasting impact on deductive outputs throughout the pretraining. We provide a detailed description of PLDR-LLM architecture, its implementation and the pretraining procedure.
• Abstract（参考訳）: 本稿では,Large Language Model from Power Law Decoder Representations (PLDR-LLM)について述べる。 我々はRefinedWebデータセットから32のバッチサイズと8Bの$\sim$8Bのトークンを持つ様々な層サイズのPLDR-LLMを事前訓練し、文献で報告されているようなスケールされたドット生成LCMと比較して、ゼロショットおよび少数ショット設定で競合性能を達成することを示す。 PLDR-LLMの導出出力は, モデル特性を比較したり, DAG損失を計量および正則化器として導入することで, 性能を向上させることができることを示す。 以上の結果から,初回学習率とウォームアップステップが,プレトレーニング期間中の誘引的アウトプットに持続的な影響を及ぼすことが示唆された。 本稿ではPLDR-LLMアーキテクチャの実装と事前学習手順について詳述する。

関連論文リスト

• Predictor-Corrector Enhanced Transformers with Exponential Moving Average Coefficient Learning [73.73967342609603]
  トラクションエラーを最小限に抑えるための予測-相関学習フレームワークを提案する。 また、高次予測器を強化するために、指数関数的移動平均ベース係数学習法を提案する。 我々のモデルは3.8BのDeepNetを平均2.9のSacreBLEUで上回り、1/3のパラメータしか使用していない。
  論文  参考訳（メタデータ） (2024-11-05T12:26:25Z)
• The Graph's Apprentice: Teaching an LLM Low Level Knowledge for Circuit Quality Estimation [34.37154877681809]
  We introduced VeriDistill, the first end-to-end machine learning model that direct process raw Verilog code to predict circuit quality-of-result metrics。 本モデルでは,LLMに基づく低レベル回路インサイトを予測器に転送する,新しい知識蒸留法を採用している。 実験では、VeriDistillは大規模なVerilogデータセット上で最先端のベースラインを上回っている。
  論文  参考訳（メタデータ） (2024-10-30T04:20:10Z)
• Fine-Tuning with Divergent Chains of Thought Boosts Reasoning Through Self-Correction in Language Models [63.36637269634553]
  本稿では,複数の推論連鎖を比較するためにモデルを必要とすることによって,性能を向上する新しい手法を提案する。 DCoTデータセットの命令チューニングにより、より小さく、よりアクセスしやすい言語モデルの性能が向上することがわかった。
  論文  参考訳（メタデータ） (2024-07-03T15:01:18Z)
• Exploring the Role of Large Language Models in Prompt Encoding for Diffusion Models [42.891427362223176]
  デコーダのみの変換器をベースとした大規模言語モデル(LLM)は、優れたテキスト理解能力を示している。 LLMの能力をフル活用するための新しいフレームワークを提案する。 さらに, LLM-Infused Diffusion Transformer (LI-DiT) を設計した。
  論文  参考訳（メタデータ） (2024-06-17T17:59:43Z)
• Tender: Accelerating Large Language Models via Tensor Decomposition and Runtime Requantization [0.6445087473595953]
  大規模言語モデル(LLM)は、機械学習における様々なタスクにおいて優れたパフォーマンスを示す。 LLM推論のデプロイは、高い計算とメモリ要求のために問題となる。 我々は,低精度でLLM推論を効率的に展開できるアルゴリズム-ハードウェア共設計ソリューションであるテンダーを提案する。
  論文  参考訳（メタデータ） (2024-06-16T09:51:55Z)
• Boosting Vision-Language Models with Transduction [12.281505126587048]
  本稿では,視覚言語モデルのための新しい,計算効率の良いトランスダクティブアプローチであるTransCLIPを提案する。 TransCLIPは、一般的なinductive zero- and few-shotモデルの上に、プラグイン・アンド・プレイモジュールとして適用することができる。
  論文  参考訳（メタデータ） (2024-06-03T23:09:30Z)
• Prompt Optimization via Adversarial In-Context Learning [51.18075178593142]
  adv-ICLは、ジェネレータとディスクリミネータの間の2プレイヤーゲームとして実装される。 ジェネレータは、判別器を騙すのに十分な出力を生成する。 本稿では,Adv-ICLが最先端のプロンプト最適化技術を大幅に改善することを示す。
  論文  参考訳（メタデータ） (2023-12-05T09:44:45Z)
• LaMini-LM: A Diverse Herd of Distilled Models from Large-Scale Instructions [28.937552799649808]
  命令を微調整した大規模言語モデル(LLM)は、優れた生成能力を示す。 我々は既存の命令と新しく生成された命令の両方に基づいて258万の命令を大規模に開発する。 我々は、エンコーダデコーダとデコーダのみのファミリーの両方のモデルを含む、LaMini-LMと呼ばれる様々なモデルの群を微調整する。
  論文  参考訳（メタデータ） (2023-04-27T17:58:49Z)
• Scaling Pre-trained Language Models to Deeper via Parameter-efficient Architecture [68.13678918660872]
  行列積演算子(MPO)に基づくより有能なパラメータ共有アーキテクチャを設計する。 MPO分解はパラメータ行列の情報を再編成し、2つの部分に分解することができる。 私たちのアーキテクチャは、モデルのサイズを減らすために、すべてのレイヤで中央テンソルを共有しています。
  論文  参考訳（メタデータ） (2023-03-27T02:34:09Z)
• Examining Scaling and Transfer of Language Model Architectures for Machine Translation [51.69212730675345]
  言語モデル(LM)は単一のレイヤのスタックで処理し、エンコーダ・デコーダモデル(EncDec)は入力と出力の処理に別々のレイヤスタックを使用する。 機械翻訳において、EncDecは長年好まれてきたアプローチであるが、LMの性能についての研究はほとんどない。
  論文  参考訳（メタデータ） (2022-02-01T16:20:15Z)
• Perceiver IO: A General Architecture for Structured Inputs & Outputs [84.60656759687477]
  Perceiver IOは、任意のサイズとセマンティクスの出力を生成するために、モデルの潜在空間を柔軟にクエリすることを学ぶ。 このモデルは、高度に構造化された出力空間を持つタスクに対して強い結果を得る。 Perceiver IOは、GLUE言語ベンチマークでTransformerベースのBERTベースラインにマッチする。
  論文  参考訳（メタデータ） (2021-07-30T17:53:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。