論文の概要: Quantifying Emergence in Large Language Models

• arxiv url: http://arxiv.org/abs/2405.12617v1
• Date: Tue, 21 May 2024 09:12:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-22 13:49:12.114029
• Title: Quantifying Emergence in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける創発性の定量化
• Authors: Hang Chen, Xinyu Yang, Jiaying Zhu, Wenya Wang,
• Abstract要約: LLMの出現を推定するための定量化ソリューションを提案する。 分子動力学における創発性に着想を得て, ミクロ(トケン)レベルのエントロピー低減とミクロ(セマンティック)レベルのエントロピー低減を比較して, 出現の強さを定量化する。 本手法は,テキスト内学習(ICL)と自然文の両方で,一貫した振る舞いを示す。
• 参考スコア（独自算出の注目度）: 31.608080868988825
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Emergence, broadly conceptualized as the ``intelligent'' behaviors of LLMs, has recently been studied and proved challenging to quantify due to the lack of a measurable definition. Most commonly, it has been estimated statistically through model performances across extensive datasets and tasks, which consumes significant resources. In addition, such estimation is difficult to interpret and may not accurately reflect the models' intrinsic emergence. In this work, we propose a quantifiable solution for estimating emergence. Inspired by emergentism in dynamics, we quantify the strength of emergence by comparing the entropy reduction of the macroscopic (semantic) level with that of the microscopic (token) level, both of which are derived from the representations within the transformer block. Using a low-cost estimator, our quantification method demonstrates consistent behaviors across a suite of LMs (GPT-2, GEMMA, etc.) under both in-context learning (ICL) and natural sentences. Empirical results show that (1) our method gives consistent measurements which align with existing observations based on performance metrics, validating the effectiveness of our emergence quantification; (2) our proposed metric uncovers novel emergence patterns such as the correlations between the variance of our metric and the number of ``shots'' in ICL, which further suggests a new way of interpreting hallucinations in LLMs; (3) we offer a potential solution towards estimating the emergence of larger and closed-resource LMs via smaller LMs like GPT-2. Our codes are available at: https://github.com/Zodiark-ch/Emergence-of-LLMs/.
• Abstract（参考訳）: LLMの'インテリジェント'な振る舞いとして広く概念化されている創発性は、最近研究され、測定可能な定義が欠如していることから、定量化が困難であることが証明されている。 最も一般的には、重要なリソースを消費する広範囲なデータセットやタスクにわたるモデルパフォーマンスを通じて統計的に推定されている。 さらに、そのような推定は解釈が困難であり、モデルの本質的な出現を正確に反映していない可能性がある。 そこで本研究では,出現を推定するための定量化ソリューションを提案する。 動的現象の創発性に着想を得て, 変圧器ブロック内の表現から導かれる, 微視的(意味)レベルのエントロピー低下と微視的(トークン)レベルのエントロピー低下を比較することで, 出現の強さを定量化する。 低コストな推定器を用いて,本手法は,テキスト内学習(ICL)と自然文の両方において,一連のLM(GPT-2, GEMMAなど)に対して一貫した振る舞いを示す。 実験結果から,本手法は,評価指標に基づく既存の観測結果と整合性のある測定結果を提供し,その妥当性を検証し,また,提案手法はICLにおける測定値のばらつきと<shots''数との相関関係などの新たな出現パターンを明らかにするとともに,LCMにおける幻覚の新たな解釈方法を示すとともに,GPT-2のような小型のLMによる大規模かつ閉鎖的なLMの出現を推定するための潜在的解決策を提供する。 私たちのコードは、https://github.com/Zodiark-ch/Emergence-of-LLMs/で利用可能です。

関連論文リスト

• Unveiling the Statistical Foundations of Chain-of-Thought Prompting Methods [59.779795063072655]
  CoT(Chain-of-Thought)の促進とその変種は、多段階推論問題を解決する効果的な方法として人気を集めている。 統計的推定の観点からCoTのプロンプトを解析し,その複雑さを包括的に評価する。
  論文  参考訳（メタデータ） (2024-08-25T04:07:18Z)
• Measuring Variable Importance in Individual Treatment Effect Estimation with High Dimensional Data [35.104681814241104]
  因果機械学習(ML)は、個々の治療効果を推定するための強力なツールを提供する。 ML手法は、医療応用にとって重要な解釈可能性の重要な課題に直面している。 統計的に厳密な変数重要度評価のための条件置換重要度(CPI)法に基づく新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-08-23T11:44:07Z)
• Graph-based Unsupervised Disentangled Representation Learning via Multimodal Large Language Models [42.17166746027585]
  複素データ内の因子化属性とその相互関係を学習するための双方向重み付きグラフベースフレームワークを提案する。 具体的には、グラフの初期ノードとして要素を抽出する$beta$-VAEベースのモジュールを提案する。 これらの相補的加群を統合することで、我々は細粒度、実用性、教師なしの絡み合いをうまく達成できる。
  論文  参考訳（メタデータ） (2024-07-26T15:32:21Z)
• DB-LLM: Accurate Dual-Binarization for Efficient LLMs [83.70686728471547]
  大規模言語モデル(LLM)は自然言語処理の分野を著しく進歩させてきた。 既存の超低ビット量子化は、常に深刻な精度低下を引き起こす。 本稿では,LLM,すなわちDB-LLMのための新しいデュアルバイナライズ手法を提案する。
  論文  参考訳（メタデータ） (2024-02-19T09:04:30Z)
• Do Emergent Abilities Exist in Quantized Large Language Models: An Empirical Study [90.34226812493083]
  本研究の目的は,LLMを小言語モデルと区別する重要な特徴である現象能力に対する量子化の影響を検討することである。 実験により、これらの創発能力は4ビット量子化モデルに残っており、2ビットモデルは深刻な性能劣化に直面していることがわかった。 低ビットモデルの性能向上のために,(1) 部品(またはサブ構造)が量子化に敏感である場合の微視的影響解析,(2) モデル微視化による性能補償の2つの実験を行った。
  論文  参考訳（メタデータ） (2023-07-16T15:11:01Z)
• Learning Efficient Coding of Natural Images with Maximum Manifold Capacity Representations [4.666056064419346]
  効率的な符号化仮説は、感覚系の応答特性が入力の統計に適応していることを提案する。 エレガントではあるものの、情報理論の特性は実際的な設定や最適化の目的関数として使うのが難しいことで知られている。 ここでは、多様体の容量を直接最適化し、最大多様体容量表現(MMCR)が得られるという仮定を概説する。
  論文  参考訳（メタデータ） (2023-03-06T17:26:30Z)
• Counterfactual Maximum Likelihood Estimation for Training Deep Networks [83.44219640437657]
  深層学習モデルは、予測的手がかりとして学習すべきでない急激な相関を学習する傾向がある。 本研究では,観測可能な共同設立者による相関関係の緩和を目的とした因果関係に基づくトレーニングフレームワークを提案する。 自然言語推論(NLI)と画像キャプションという2つの実世界の課題について実験を行った。
  論文  参考訳（メタデータ） (2021-06-07T17:47:16Z)
• Neural Methods for Point-wise Dependency Estimation [129.93860669802046]
  我々は,2つの結果が共起する確率を定量的に測定する点依存度(PD)の推定に焦点をあてる。 提案手法の有効性を,1)MI推定,2)自己教師付き表現学習,3)クロスモーダル検索タスクで示す。
  論文  参考訳（メタデータ） (2020-06-09T23:26:15Z)
• Localized Debiased Machine Learning: Efficient Inference on Quantile Treatment Effects and Beyond [69.83813153444115]
  因果推論における(局所)量子化処理効果((L)QTE)の効率的な推定式を検討する。 Debiased Machine Learning (DML)は、高次元のニュアンスを推定するデータ分割手法である。 本稿では、この負担のかかるステップを避けるために、局所的脱バイアス機械学習(LDML)を提案する。
  論文  参考訳（メタデータ） (2019-12-30T14:42:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。