論文の概要: Quantifying Emergence in Large Language Models

• arxiv url: http://arxiv.org/abs/2405.12617v1
• Date: Tue, 21 May 2024 09:12:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-22 13:49:12.114029
• Title: Quantifying Emergence in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける創発性の定量化
• Authors: Hang Chen, Xinyu Yang, Jiaying Zhu, Wenya Wang,
• Abstract要約: LLMの出現を推定するための定量化ソリューションを提案する。 分子動力学における創発性に着想を得て, ミクロ(トケン)レベルのエントロピー低減とミクロ(セマンティック)レベルのエントロピー低減を比較して, 出現の強さを定量化する。 本手法は,テキスト内学習(ICL)と自然文の両方で,一貫した振る舞いを示す。
• 参考スコア（独自算出の注目度）: 31.608080868988825
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Emergence, broadly conceptualized as the ``intelligent'' behaviors of LLMs, has recently been studied and proved challenging to quantify due to the lack of a measurable definition. Most commonly, it has been estimated statistically through model performances across extensive datasets and tasks, which consumes significant resources. In addition, such estimation is difficult to interpret and may not accurately reflect the models' intrinsic emergence. In this work, we propose a quantifiable solution for estimating emergence. Inspired by emergentism in dynamics, we quantify the strength of emergence by comparing the entropy reduction of the macroscopic (semantic) level with that of the microscopic (token) level, both of which are derived from the representations within the transformer block. Using a low-cost estimator, our quantification method demonstrates consistent behaviors across a suite of LMs (GPT-2, GEMMA, etc.) under both in-context learning (ICL) and natural sentences. Empirical results show that (1) our method gives consistent measurements which align with existing observations based on performance metrics, validating the effectiveness of our emergence quantification; (2) our proposed metric uncovers novel emergence patterns such as the correlations between the variance of our metric and the number of ``shots'' in ICL, which further suggests a new way of interpreting hallucinations in LLMs; (3) we offer a potential solution towards estimating the emergence of larger and closed-resource LMs via smaller LMs like GPT-2. Our codes are available at: https://github.com/Zodiark-ch/Emergence-of-LLMs/.
• Abstract（参考訳）: LLMの'インテリジェント'な振る舞いとして広く概念化されている創発性は、最近研究され、測定可能な定義が欠如していることから、定量化が困難であることが証明されている。 最も一般的には、重要なリソースを消費する広範囲なデータセットやタスクにわたるモデルパフォーマンスを通じて統計的に推定されている。 さらに、そのような推定は解釈が困難であり、モデルの本質的な出現を正確に反映していない可能性がある。 そこで本研究では,出現を推定するための定量化ソリューションを提案する。 動的現象の創発性に着想を得て, 変圧器ブロック内の表現から導かれる, 微視的(意味)レベルのエントロピー低下と微視的(トークン)レベルのエントロピー低下を比較することで, 出現の強さを定量化する。 低コストな推定器を用いて,本手法は,テキスト内学習(ICL)と自然文の両方において,一連のLM(GPT-2, GEMMAなど)に対して一貫した振る舞いを示す。 実験結果から,本手法は,評価指標に基づく既存の観測結果と整合性のある測定結果を提供し,その妥当性を検証し,また,提案手法はICLにおける測定値のばらつきと<shots''数との相関関係などの新たな出現パターンを明らかにするとともに,LCMにおける幻覚の新たな解釈方法を示すとともに,GPT-2のような小型のLMによる大規模かつ閉鎖的なLMの出現を推定するための潜在的解決策を提供する。 私たちのコードは、https://github.com/Zodiark-ch/Emergence-of-LLMs/で利用可能です。

関連論文リスト

• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• Surgical Feature-Space Decomposition of LLMs: Why, When and How? [8.826164604720738]
  トランス言語モデルにおける重みと特徴空間の分解の有効性を実験的に検討する。 本稿では, 外科的切除が, 圧縮と言語モデリング性能のトレードオフに関する重要な洞察を与えることを示す。 モデルバイアスに対する低ランク近似の影響について検討する。
  論文  参考訳（メタデータ） (2024-05-17T07:34:03Z)
• DB-LLM: Accurate Dual-Binarization for Efficient LLMs [83.70686728471547]
  大規模言語モデル(LLM)は自然言語処理の分野を著しく進歩させてきた。 既存の超低ビット量子化は、常に深刻な精度低下を引き起こす。 本稿では,LLM,すなわちDB-LLMのための新しいデュアルバイナライズ手法を提案する。
  論文  参考訳（メタデータ） (2024-02-19T09:04:30Z)
• Do Emergent Abilities Exist in Quantized Large Language Models: An Empirical Study [90.34226812493083]
  本研究の目的は,LLMを小言語モデルと区別する重要な特徴である現象能力に対する量子化の影響を検討することである。 実験により、これらの創発能力は4ビット量子化モデルに残っており、2ビットモデルは深刻な性能劣化に直面していることがわかった。 低ビットモデルの性能向上のために,(1) 部品(またはサブ構造)が量子化に敏感である場合の微視的影響解析,(2) モデル微視化による性能補償の2つの実験を行った。
  論文  参考訳（メタデータ） (2023-07-16T15:11:01Z)
• Learning Efficient Coding of Natural Images with Maximum Manifold Capacity Representations [4.666056064419346]
  効率的な符号化仮説は、感覚系の応答特性が入力の統計に適応していることを提案する。 エレガントではあるものの、情報理論の特性は実際的な設定や最適化の目的関数として使うのが難しいことで知られている。 ここでは、多様体の容量を直接最適化し、最大多様体容量表現(MMCR)が得られるという仮定を概説する。
  論文  参考訳（メタデータ） (2023-03-06T17:26:30Z)
• Building Robust Machine Learning Models for Small Chemical Science Data: The Case of Shear Viscosity [3.4761212729163313]
  我々はLennard-Jones (LJ)流体のせん断粘度を予測するために、いくつかの機械学習モデルを訓練する。 具体的には,モデル選択,性能評価,不確実性定量化に関する課題について検討した。
  論文  参考訳（メタデータ） (2022-08-23T07:33:14Z)
• Counterfactual Maximum Likelihood Estimation for Training Deep Networks [83.44219640437657]
  深層学習モデルは、予測的手がかりとして学習すべきでない急激な相関を学習する傾向がある。 本研究では,観測可能な共同設立者による相関関係の緩和を目的とした因果関係に基づくトレーニングフレームワークを提案する。 自然言語推論(NLI)と画像キャプションという2つの実世界の課題について実験を行った。
  論文  参考訳（メタデータ） (2021-06-07T17:47:16Z)
• Neural Methods for Point-wise Dependency Estimation [129.93860669802046]
  我々は,2つの結果が共起する確率を定量的に測定する点依存度(PD)の推定に焦点をあてる。 提案手法の有効性を,1)MI推定,2)自己教師付き表現学習,3)クロスモーダル検索タスクで示す。
  論文  参考訳（メタデータ） (2020-06-09T23:26:15Z)
• Localized Debiased Machine Learning: Efficient Inference on Quantile Treatment Effects and Beyond [69.83813153444115]
  因果推論における(局所)量子化処理効果((L)QTE)の効率的な推定式を検討する。 Debiased Machine Learning (DML)は、高次元のニュアンスを推定するデータ分割手法である。 本稿では、この負担のかかるステップを避けるために、局所的脱バイアス機械学習(LDML)を提案する。
  論文  参考訳（メタデータ） (2019-12-30T14:42:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。