論文の概要: ComplexityNet: Increasing LLM Inference Efficiency by Learning Task Complexity

• arxiv url: http://arxiv.org/abs/2312.11511v3
• Date: Tue, 15 Oct 2024 02:09:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-16 13:59:57.799087
• Title: ComplexityNet: Increasing LLM Inference Efficiency by Learning Task Complexity
• Title（参考訳）: ComplexityNet: タスク複雑度学習によるLLM推論効率の向上
• Authors: Henry Bae, Aghyad Deeb, Alex Fleury, Kehang Zhu,
• Abstract要約: 本稿では,タスクの複雑さを評価するために設計された言語モデルであるComplexityNetを紹介する。 私たちは、タスクの複雑さを定義するために、最初のラベルセットを作成しました。 ComplexityNetは、最も高い複雑性モデルを使用する場合と比較して、計算リソースの使用量を90%削減する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: We present ComplexityNet, a streamlined language model designed for assessing task complexity. This model predicts the likelihood of accurate output by various language models, each with different capabilities. Our initial application of ComplexityNet involves the Mostly Basic Python Problems (MBPP) dataset. We pioneered the creation of the first set of labels to define task complexity. ComplexityNet achieved a notable 79% accuracy in determining task complexity, a significant improvement over the 34% accuracy of the original, non fine-tuned model. Furthermore, ComplexityNet effectively reduces computational resource usage by 90% compared to using the highest complexity model, while maintaining a high code generation accuracy of 86.7%. This study demonstrates that fine-tuning smaller models to categorize tasks based on their complexity can lead to a more balanced trade-off between accuracy and efficiency in the use of Large Language Models. Our findings suggest a promising direction for optimizing LLM applications, especially in resource-constrained environments.
• Abstract（参考訳）: 本稿では,タスクの複雑さを評価するために設計された言語モデルであるComplexityNetを紹介する。 このモデルは、様々な言語モデルによる正確な出力の確率を予測し、それぞれ異なる能力を持つ。 ComplexityNetの初期アプリケーションには、MBPP(Mostly Basic Python Problems)データセットが含まれています。 私たちは、タスクの複雑さを定義するために、最初のラベルセットを作成しました。 ComplexityNetは、タスクの複雑さを決定する上で、注目すべき79%の精度を達成した。 さらに、ComplexityNetは、高いコード生成精度を86.7%を維持しながら、最も高い複雑さモデルを使用する場合と比較して、計算リソースの使用量を90%削減する。 本研究は,タスクの複雑性に基づいてタスクを分類する微調整モデルが,大規模言語モデルを用いた場合の精度と効率のバランスのとれたトレードオフにつながることを示した。 この結果から, LLM アプリケーション, 特に資源制約環境において, 最適化に期待できる方向性が示唆された。

関連論文リスト

• Duo-LLM: A Framework for Studying Adaptive Computation in Large Language Models [16.16372459671255]
  大規模言語モデル(LLM)は通常、固定された計算予算を使用してトークンによって出力トークンを生成する。 LLMの各フィードフォワードネットワーク層に小さな補助モジュールを統合する新しいフレームワークを提案する。 訓練されたルータがオーラクルと異なる動作をしており、しばしば準最適解が得られることを示す。
  論文  参考訳（メタデータ） (2024-10-01T16:10:21Z)
• Towards Efficient Pareto Set Approximation via Mixture of Experts Based Model Fusion [53.33473557562837]
  大規模深層ニューラルネットワークに対する多目的最適化問題を解くことは、損失ランドスケープの複雑さと高価な計算コストのために難しい課題である。 本稿では,専門家(MoE)をベースとしたモデル融合を用いて,この問題を実用的でスケーラブルに解決する手法を提案する。 特殊な単一タスクモデルの重みをまとめることで、MoEモジュールは複数の目的間のトレードオフを効果的に捉えることができる。
  論文  参考訳（メタデータ） (2024-06-14T07:16:18Z)
• Adaptive-RAG: Learning to Adapt Retrieval-Augmented Large Language Models through Question Complexity [59.57065228857247]
  Retrieval-augmented Large Language Models (LLMs) は、質問回答(QA)のようなタスクにおける応答精度を高めるための有望なアプローチとして登場した。 本稿では,クエリの複雑さに基づいて,LLMの最適戦略を動的に選択できる適応型QAフレームワークを提案する。 オープンドメインのQAデータセットを用いて、複数のクエリの複雑さを網羅し、QAシステムの全体的な効率性と精度を高めることを示す。
  論文  参考訳（メタデータ） (2024-03-21T13:52:30Z)
• TriSum: Learning Summarization Ability from Large Language Models with Structured Rationale [66.01943465390548]
  本稿では,大規模言語モデルのテキスト要約能力を,コンパクトで局所的なモデルに抽出するフレームワークであるTriSumを紹介する。 本手法は,様々なベンチマーク上での局所モデル性能を向上させる。 また、要約の合理性に関する洞察を提供することで、解釈可能性も向上する。
  論文  参考訳（メタデータ） (2024-03-15T14:36:38Z)
• Pruning Large Language Models via Accuracy Predictor [0.0]
  数十億のパラメータ(あるいはそれ以上)を含む大規模言語モデル(LLM)は、様々なNLPタスクにおいて印象的な機能を示している。 まず,一定の数のアーキテクチャと精度のペアのトレーニングセットを構築し,非ニューラルネットワークモデルを精度予測器として訓練する。
  論文  参考訳（メタデータ） (2023-09-18T06:38:24Z)
• TaskLAMA: Probing the Complex Task Understanding of Language Models [13.336015994186955]
  構造化複雑タスク分解(Structured Complex Task Decomposition, SCTD)は、複雑な現実世界のタスクを、タスク達成に寄与する個々のステップ上の有向非巡回グラフに分解する問題である。 我々は,Large Language Models (LLMs) から抽出した知識を用いて,SCTDの精度を検証した。 実験の結果,LLMは複雑なタスクを個々のステップに効果的に分解できることがわかった。
  論文  参考訳（メタデータ） (2023-08-29T13:36:45Z)
• FedNet2Net: Saving Communication and Computations in Federated Learning with Model Growing [0.0]
  フェデレート・ラーニング(Federated Learning, FL)は、最近開発された機械学習の分野である。 本稿では「モデル成長」の概念に基づく新しいスキームを提案する。 提案手法は3つの標準ベンチマークで広範囲に検証され、通信とクライアントの計算の大幅な削減を実現することが示されている。
  論文  参考訳（メタデータ） (2022-07-19T21:54:53Z)
• GLaM: Efficient Scaling of Language Models with Mixture-of-Experts [84.33607245023049]
  我々はGLaM(Generalist Language Model)という言語モデル群を提案し,開発する。 GLaMは、厳密な変種に比べてトレーニングコストを大幅に削減しつつ、モデルのキャパシティを拡大するために、わずかに活性化されたミックス・オブ・エキスパートアーキテクチャを使用する。 GPT-3の訓練に使用するエネルギーの1/3しか消費せず、推論にはフロップの半分しか必要とせず、29のNLPタスクにまたがる全体的なゼロショットとワンショットのパフォーマンスは向上している。
  論文  参考訳（メタデータ） (2021-12-13T18:58:19Z)
• Improving Classifier Training Efficiency for Automatic Cyberbullying Detection with Feature Density [58.64907136562178]
  言語支援の異なる特徴前処理手法を用いて特徴密度(FD)の有効性を検討した。 データセットの複雑さを推定することで、必要な実験の数を削減できると仮定する。 データセットの言語的複雑さの違いにより、言語的に支援された単語前処理の有効性を議論することが可能になる。
  論文  参考訳（メタデータ） (2021-11-02T15:48:28Z)
• Generalizable Mixed-Precision Quantization via Attribution Rank Preservation [90.26603048354575]
  効率的な推論のための一般化可能な混合精度量子化法(GMPQ)を提案する。 提案手法は,最先端の混合精度ネットワークと比較し,競合精度・複雑度トレードオフを求める。
  論文  参考訳（メタデータ） (2021-08-05T16:41:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。