論文の概要: Assessing Resource-Performance Trade-off of Natural Language Models using Data Envelopment Analysis

• arxiv url: http://arxiv.org/abs/2211.01486v1
• Date: Wed, 2 Nov 2022 21:17:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-04 13:34:39.441036
• Title: Assessing Resource-Performance Trade-off of Natural Language Models using Data Envelopment Analysis
• Title（参考訳）: データ包絡分析を用いた自然言語モデルの資源パフォーマンストレードオフの評価
• Authors: Zachary Zhou, Alisha Zachariah, Devin Conathan, Jeffery Kline
• Abstract要約: データ・エンベロープメント・アナリティクス(DEA)を資源・資源間のトレードオフを評価する問題に適用する。 DEAは1つ以上の入力を消費し、少なくとも1つの出力を出力する抽象単位の生産性を測定する非パラメトリックな方法である。 我々は、自然言語モデルをDEAに適した単位として再キャストし、モデルの性能と効率を定量化するための効果的なフレームワークを構築するためにDEAを使用できることを示す。
• 参考スコア（独自算出の注目度）: 1.0323063834827415
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Natural language models are often summarized through a high-dimensional set of descriptive metrics including training corpus size, training time, the number of trainable parameters, inference times, and evaluation statistics that assess performance across tasks. The high dimensional nature of these metrics yields challenges with regard to objectively comparing models; in particular it is challenging to assess the trade-off models make between performance and resources (compute time, memory, etc.). We apply Data Envelopment Analysis (DEA) to this problem of assessing the resource-performance trade-off. DEA is a nonparametric method that measures productive efficiency of abstract units that consume one or more inputs and yield at least one output. We recast natural language models as units suitable for DEA, and we show that DEA can be used to create an effective framework for quantifying model performance and efficiency. A central feature of DEA is that it identifies a subset of models that live on an efficient frontier of performance. DEA is also scalable, having been applied to problems with thousands of units. We report empirical results of DEA applied to 14 different language models that have a variety of architectures, and we show that DEA can be used to identify a subset of models that effectively balance resource demands against performance.
• Abstract（参考訳）: 自然言語モデルは、トレーニングコーパスのサイズ、トレーニング時間、トレーニング可能なパラメータの数、推論時間、タスク間のパフォーマンスを評価する評価統計を含む、高次元の記述的メトリクスセットを通じてしばしば要約される。 特に、パフォーマンスとリソース(計算時間、メモリなど)の間のトレードオフモデルを評価するのは困難である。 データエンベロープメント分析(Data Envelopment Analysis, DEA)を資源性能トレードオフを評価する問題に適用する。 DEAは1つ以上の入力を消費し、少なくとも1つの出力を出力する抽象単位の生産性を測定する非パラメトリックな方法である。 我々は、自然言語モデルをDEAに適した単位として再キャストし、モデルの性能と効率を定量化するための効果的なフレームワークを構築するためにDEAを使用できることを示す。 DEAの中心的な特徴は、パフォーマンスの効率的なフロンティアに存在するモデルのサブセットを特定することである。 DEAはスケーラブルで、何千ものユニットの問題にも適用されている。 様々なアーキテクチャを持つ14の異なる言語モデルに適用されたDEAの実証結果を報告し、性能に対するリソース要求を効果的にバランスさせるモデルのサブセットを特定するためにDEAが使用できることを示す。

関連論文リスト

• Boosting the Capabilities of Compact Models in Low-Data Contexts with Large Language Models and Retrieval-Augmented Generation [2.9921619703037274]
  本稿では,形態素解析の言語タスクにおいて,より小さなモデルの出力を補正するために,大言語モデル(LLM)を基盤とした検索拡張生成(RAG)フレームワークを提案する。 データ不足や訓練可能なパラメータの不足を補うために,言語情報を活用するとともに,LLMを通して解釈・蒸留された記述文法からの入力を許容する。 コンパクトなRAG支援モデルがデータスカース設定に極めて有効であることを示し、このタスクとターゲット言語に対する新しい最先端技術を実現する。
  論文  参考訳（メタデータ） (2024-10-01T04:20:14Z)
• Revisiting SMoE Language Models by Evaluating Inefficiencies with Task Specific Expert Pruning [78.72226641279863]
  SMOE(Sparse Mixture of Expert)モデルは、言語モデリングにおける高密度モデルに代わるスケーラブルな代替品として登場した。 本研究は,SMoEアーキテクチャの設計に関する意思決定を行うために,タスク固有のモデルプルーニングについて検討する。 適応型タスク対応プルーニング手法 UNCURL を導入し,MoE 層当たりの専門家数をオフラインで学習する手法を提案する。
  論文  参考訳（メタデータ） (2024-09-02T22:35:03Z)
• Diversifying the Expert Knowledge for Task-Agnostic Pruning in Sparse Mixture-of-Experts [75.85448576746373]
  本稿では,モデルのパラメータ効率を向上させるために,類似の専門家をグループ化し,グループ化する方法を提案する。 提案手法の有効性を3つの最先端MoEアーキテクチャを用いて検証する。 評価の結果,本手法は自然言語タスクにおいて,他のモデルプルーニング手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2024-07-12T17:25:02Z)
• DPP-Based Adversarial Prompt Searching for Lanugage Models [56.73828162194457]
  Auto-Regressive Selective Replacement Ascent (ASRA)は、決定点プロセス(DPP)と品質と類似性の両方に基づいてプロンプトを選択する離散最適化アルゴリズムである。 6種類の事前学習言語モデルに対する実験結果から,ASRAによる有害成分の抽出の有効性が示された。
  論文  参考訳（メタデータ） (2024-03-01T05:28:06Z)
• Learning to Extract Structured Entities Using Language Models [52.281701191329]
  機械学習の最近の進歩は、情報抽出の分野に大きな影響を与えている。 タスクをエンティティ中心にすることで、さまざまなメトリクスの使用を可能にします。 我々は、Structured Entity extractを導入し、Adroximate Entity Set OverlaPメトリックを提案し、この分野にコントリビュートします。
  論文  参考訳（メタデータ） (2024-02-06T22:15:09Z)
• Assessing Privacy Risks in Language Models: A Case Study on Summarization Tasks [65.21536453075275]
  我々は要約作業に焦点をあて、会員推測(MI)攻撃について調査する。 テキストの類似性や文書修正に対するモデルの抵抗をMI信号として活用する。 我々は、MI攻撃から保護するための要約モデルの訓練と、プライバシとユーティリティの本質的にのトレードオフについて議論する。
  論文  参考訳（メタデータ） (2023-10-20T05:44:39Z)
• EvEntS ReaLM: Event Reasoning of Entity States via Language Models [24.077262847151232]
  残念なことに、Large Language Model(LLM)は、オブジェクトの相互作用に関する手続き的な知識を公開しています。 特に,本研究の結果は,未確認属性(ドメイン外)や限られたデータしか利用できない場合に特に有用であることが示唆された。
  論文  参考訳（メタデータ） (2022-11-10T07:48:01Z)
• Discover, Explanation, Improvement: An Automatic Slice Detection Framework for Natural Language Processing [72.14557106085284]
  スライス検出モデル(SDM)は、データポイントの低パフォーマンスなグループを自動的に識別する。 本稿では,NLPタスクの分類のための "Discover, Explain, improve (DEIM)" というベンチマークを提案する。 評価の結果,Edisaは情報的セマンティックな特徴を持つ誤り発生データポイントを正確に選択できることがわかった。
  論文  参考訳（メタデータ） (2022-11-08T19:00:00Z)
• A global analysis of metrics used for measuring performance in natural language processing [9.433496814327086]
  自然言語処理の性能測定に使用されるメトリクスの,最初の大規模断面積解析を行う。 結果から,現在使用されている自然言語処理メトリクスの大部分は,モデルの性能を不適切に反映する特性を持っていることが示唆された。
  論文  参考訳（メタデータ） (2022-04-25T11:41:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。