論文の概要: How Many Parameters Does it Take to Change a Light Bulb? Evaluating Performance in Self-Play of Conversational Games as a Function of Model Characteristics

• arxiv url: http://arxiv.org/abs/2406.14051v1
• Date: Thu, 20 Jun 2024 07:17:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-21 15:00:17.617563
• Title: How Many Parameters Does it Take to Change a Light Bulb? Evaluating Performance in Self-Play of Conversational Games as a Function of Model Characteristics
• Title（参考訳）: 光球の変更に要するパラメータはいくつあるか? : モデル特性の関数としての会話ゲーム自己プレイの性能評価
• Authors: Nidhir Bhavsar, Jonathan Jordan, Sherzod Hakimov, David Schlangen,
• Abstract要約: パラメータの数やトレーニングの種類といったモデル特性の関数としてのパフォーマンスがどのように発達するかを分析する。 パラメータの数とパフォーマンスの間には明確な関係があるが、特定のサイズのブラケット内にはまだ幅広いパフォーマンスポイントが分散している。 また、未公表のサンプリングパラメータによって可能となるアクセスメソッド間の性能について、ある程度の予測不可能性も見出す。
• 参考スコア（独自算出の注目度）: 17.086867242274813
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: What makes a good Large Language Model (LLM)? That it performs well on the relevant benchmarks -- which hopefully measure, with some validity, the presence of capabilities that are also challenged in real application. But what makes the model perform well? What gives a model its abilities? We take a recently introduced type of benchmark that is meant to challenge capabilities in a goal-directed, agentive context through self-play of conversational games, and analyse how performance develops as a function of model characteristics like number of parameters, or type of training. We find that while there is a clear relationship between number of parameters and performance, there is still a wide spread of performance points within a given size bracket, which is to be accounted for by training parameters such as fine-tuning data quality and method. From a more practical angle, we also find a certain degree of unpredictability about performance across access methods, possible due to unexposed sampling parameters, and a, very welcome, performance stability against at least moderate weight quantisation during inference.
• Abstract（参考訳）: 優れたLarge Language Model(LLM)とは何か? 関連するベンチマークでうまく機能していること -- ある程度の妥当性で、実際のアプリケーションでも問題となる機能の存在を測定することが望まれます。 しかし、なぜモデルがうまく機能するのか? モデルに能力を与えるものは何か? 最近導入されたタイプのベンチマークは、対話型ゲームの自己プレイを通じて、目標指向のエージェント的コンテキストにおける能力に挑戦することを目的としており、パラメータの数やトレーニングの種類といったモデル特性の関数として、パフォーマンスがどのように発達するかを分析する。 パラメータの数と性能の間には明確な関係があるが,データ品質や手法の微調整など,パラメータの訓練によって考慮すべき,特定のサイズのブラケット内にはまだ幅広いパフォーマンスポイントが分散していることがわかった。 より実践的な角度から見ると、未公表のサンプリングパラメータによって可能となるアクセスメソッド間の性能に関するある程度の予測不可能性や、推論中の少なくとも適度な量化に対するパフォーマンスの安定性が、非常に歓迎される。

関連論文リスト

• Parameters vs FLOPs: Scaling Laws for Optimal Sparsity for Mixture-of-Experts Language Models [10.517704202614091]
  sparse Mixture-of-Experts (MoEs) は、例ごとのFLOPを比例的に増やさずにパラメータの数をスケールできる。 本研究では,不活性パラメータの比率が,事前学習および下流数ショット評価におけるモデルの性能に与える影響について検討する。
  論文  参考訳（メタデータ） (2025-01-21T18:51:15Z)
• Statistical Uncertainty Quantification for Aggregate Performance Metrics in Machine Learning Benchmarks [0.0]
  複数のタスクにまたがって集約されたメトリクスの不確かさを定量化するために,統計的手法がいかに用いられるかを示す。 これらの技術は、全体的なパフォーマンスが劣っているにもかかわらず、特定のタスクに対する特定のモデルの優位性のような洞察を浮き彫りにする。
  論文  参考訳（メタデータ） (2025-01-08T02:17:34Z)
• Parameter-Efficient and Memory-Efficient Tuning for Vision Transformer: A Disentangled Approach [87.8330887605381]
  本稿では,学習可能なパラメータをわずかに限定して,事前学習した視覚変換器を下流認識タスクに適用する方法を示す。 学習可能で軽量なモジュールを用いてタスク固有のクエリを合成する。 本手法はメモリ制約下での最先端性能を実現し,実環境における適用性を示す。
  論文  参考訳（メタデータ） (2024-07-09T15:45:04Z)
• FamiCom: Further Demystifying Prompts for Language Models with Task-Agnostic Performance Estimation [73.454943870226]
  言語モデルは、コンテキスト内学習能力に優れています。 本稿では,タスク非依存のパフォーマンス推定のためのより包括的な尺度であるFamiComを提案する。
  論文  参考訳（メタデータ） (2024-06-17T06:14:55Z)
• Dynamic Adapter Meets Prompt Tuning: Parameter-Efficient Transfer Learning for Point Cloud Analysis [51.14136878142034]
  ポイントクラウド分析は、事前訓練されたモデルのポイントクラウドの転送によって、優れたパフォーマンスを実現している。 モデル適応のための既存の方法は通常、高い計算コストに依存するため、非効率な全てのモデルパラメータを更新する。 本稿では,タスク性能とパラメータ効率のトレードオフを考慮した,ポイントクラウド解析のためのパラメータ効率変換学習を提案する。
  論文  参考訳（メタデータ） (2024-03-03T08:25:04Z)
• PUB: A Pragmatics Understanding Benchmark for Assessing LLMs' Pragmatics Capabilities [40.55743949223173]
  Pragmatics Understanding Benchmark (PUB) は、4つの実用的現象における14のタスクからなるデータセットである。 PUBには合計28kのデータポイントが含まれており、そのうち6.1kは私たちによって作成され、残りは既存のデータセットから適応されている。 本研究は,命令追従とチャットの微調整により,より小さな言語モデルの実用性を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2024-01-13T13:46:14Z)
• Emergent inabilities? Inverse scaling over the course of pretraining [0.6091702876917281]
  本研究は,訓練期間を通じて,一般的な性能を維持しながら,特定のタスクにおける言語モデルの性能が低下するか否かを考察する。 逆スケーリングチャレンジの2つのタスク – 引用-繰り返しと再定義-マス – に対して,これは事実です。 これは、たとえ全体的なパフォーマンスが改善したとしても、追加データでトレーニングされるたびに、すべての関連するベンチマークでモデルパフォーマンスをテストすることの重要性を強調します。
  論文  参考訳（メタデータ） (2023-05-24T03:42:43Z)
• Differentiable Entailment for Parameter Efficient Few Shot Learning [0.0]
  本稿では,パラメータ効率を向上する新しい手法を提案する。 数ショット体制におけるパラメータ効率と性能のトレードオフを定量化する。 任意のタスクに拡張可能な,シンプルなモデルに依存しないアプローチを提案する。
  論文  参考訳（メタデータ） (2023-01-31T00:31:11Z)
• On the Effectiveness of Parameter-Efficient Fine-Tuning [79.6302606855302]
  現在、多くの研究が、パラメータのごく一部のみを微調整し、異なるタスク間で共有されるパラメータのほとんどを保持することを提案している。 これらの手法は, いずれも細粒度モデルであり, 新たな理論的解析を行う。 我々の理論に根ざした空間性の有効性にもかかわらず、調整可能なパラメータをどう選ぶかという問題はまだ未解決のままである。
  論文  参考訳（メタデータ） (2022-11-28T17:41:48Z)
• Few-Shot Parameter-Efficient Fine-Tuning is Better and Cheaper than In-Context Learning [81.3514358542452]
  ICL (Few-shot in-context Learning) は、予測を行うたびにトレーニング例を全て処理するので、かなりの計算、メモリ、ストレージコストを発生させる。 パラメータ効率の良い微調整は、モデルの新たなタスクの実行を可能にするために、小さなパラメータセットをトレーニングする、代替パラダイムを提供する。 本稿では,少数ショットICLとパラメータ効率の微調整を厳密に比較し,後者が計算コストを劇的に削減できることを示す。
  論文  参考訳（メタデータ） (2022-05-11T17:10:41Z)
• MoEfication: Conditional Computation of Transformer Models for Efficient Inference [66.56994436947441]
  トランスフォーマーベースの事前学習言語モデルは、パラメータ容量が大きいため、ほとんどのNLPタスクにおいて優れた性能を実現することができるが、計算コストも大きい。 スパースアクティベーション現象に基づく条件計算により,大規模モデル推論を高速化する。 そこで本研究では,モデルサイズが等しいMoE(Mix-of-experts)バージョン,すなわちMoEficationに変換することを提案する。
  論文  参考訳（メタデータ） (2021-10-05T02:14:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。