Fugu-MT 論文翻訳(概要): Critical Phase Transition in a Large Language Model

論文の概要: Critical Phase Transition in a Large Language Model

arxiv url: http://arxiv.org/abs/2406.05335v1
Date: Sat, 8 Jun 2024 03:37:05 GMT
ステータス: 処理完了
システム内更新日: 2024-06-11 20:14:35.893234
Title: Critical Phase Transition in a Large Language Model
Title（参考訳）: 大規模言語モデルにおける臨界相転移
Authors: Kai Nakaishi, Yoshihiko Nishikawa, Koji Hukushima,
Abstract要約: この2つの状態の違いは、単に滑らかな変化ではなく、特異な統計量の相転移であることを示す。我々の広範な分析は、テキスト中の相関関係のパワー-ロッド崩壊のような臨界挙動が、遷移温度で LLM に現れることを示している。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The performance of large language models (LLMs) strongly depends on the \textit{temperature} parameter. Empirically, at very low temperatures, LLMs generate sentences with clear repetitive structures, while at very high temperatures, generated sentences are often incomprehensible. In this study, using GPT-2, we numerically demonstrate that the difference between the two regimes is not just a smooth change but a phase transition with singular, divergent statistical quantities. Our extensive analysis shows that critical behaviors, such as a power-law decay of correlation in a text, emerge in the LLM at the transition temperature as well as in a natural language dataset. We also discuss that several statistical quantities characterizing the criticality should be useful to evaluate the performance of LLMs.
Abstract（参考訳）: 大規模言語モデル (LLM) の性能は, <textit{temperature} パラメータに強く依存する。経験的に、非常に低温では、LLMは明確な繰り返し構造を持つ文を生成するが、非常に高温では、生成された文はしばしば理解できない。本研究は, GPT-2を用いて, 両者の相違は単に滑らかな変化ではなく, 特異な発散した統計量による相転移であることを示す。我々の広範な分析は、テキスト中の相関関係のパワー-ロッド崩壊のような臨界挙動が、遷移温度および自然言語データセットで LLM に現れることを示している。また, 臨界度を特徴付ける統計量は, LLMの性能評価に有用であると考えられる。

関連論文リスト

DARG: Dynamic Evaluation of Large Language Models via Adaptive Reasoning Graph [70.79413606968814]
本稿では,適応推論グラフ展開(DARG)によるLCMの動的評価を導入し,複雑性と多様性を制御した現在のベンチマークを動的に拡張する。具体的には、まず現在のベンチマークでデータポイントの推論グラフを抽出し、それから推論グラフを摂動させて新しいテストデータを生成する。このような新しく生成されたテストサンプルは、元のベンチマークと同様の言語的多様性を維持しながら、複雑さのレベルが異なる可能性がある。
論文参考訳（メタデータ） (2024-06-25T04:27:53Z)
Phase Transitions in the Output Distribution of Large Language Models [0.9374652839580183]
物理系において、温度などのパラメータの変化は、ある物質の状態から別の状態への急激な変化である相転移を誘導することができる。相転移を識別するタスクは、人間の分析とシステムの事前理解を必要とし、どの低次元特性をモニターし分析するかを絞り込む。近年,データから位相遷移を自動的に検出する統計手法が物理学界で提案されている。統計的距離を用いて生成した出力の分布変化を定量化し、次点上の確率分布にアクセスして効率的に推定する。
論文参考訳（メタデータ） (2024-05-27T12:04:36Z)
Quantifying Emergence in Large Language Models [31.608080868988825]
LLMの出現を推定するための定量化ソリューションを提案する。分子動力学における創発性に着想を得て, ミクロ(トケン)レベルのエントロピー低減とミクロ(セマンティック)レベルのエントロピー低減を比較して, 出現の強さを定量化する。本手法は,テキスト内学習(ICL)と自然文の両方で,一貫した振る舞いを示す。
論文参考訳（メタデータ） (2024-05-21T09:12:20Z)
EDT: Improving Large Language Models' Generation by Entropy-based Dynamic Temperature Sampling [31.663507929452564]
生成品質と多様性のバランスをとるために,効率的なエントロピーに基づく動的温度サンプリング法を提案する。我々の実験によると、EDTは様々なタスクで既存の戦略を著しく上回ります。
論文参考訳（メタデータ） (2024-03-21T16:41:12Z)
Characterizing Truthfulness in Large Language Model Generations with Local Intrinsic Dimension [63.330262740414646]
大規模言語モデル(LLM)から生成されたテキストの真偽を特徴付ける方法と予測法について検討する。モデルアクティベーションの局所固有次元 (LID) を用いて, 内部アクティベーションを調査し, LLMの真偽を定量化する。
論文参考訳（メタデータ） (2024-02-28T04:56:21Z)
Large Language Models Are Zero-Shot Time Series Forecasters [48.73953666153385]
時系列を数値桁の列として符号化することにより、テキストの次トーケン予測として時系列予測をフレーム化することができる。 GPT-3 や LLaMA-2 のような大規模言語モデル (LLM) は、ダウンストリームタスクでトレーニングされた目的構築された時系列モデルの性能に匹敵する、あるいはそれ以上のレベルにおいて、驚くほどゼロショット・エクスポレート・時系列を生成できる。
論文参考訳（メタデータ） (2023-10-11T19:01:28Z)
Dynamically Scaled Temperature in Self-Supervised Contrastive Learning [11.133502139934437]
本稿では,コサインの類似性に依存した温度スケーリング機能を提案することで,自己教師型学習におけるInfoNCE損失の性能向上に着目する。実験的な証拠は、提案フレームワークが損失ベースのSSLアルゴリズムよりも優れていることを示している。
論文参考訳（メタデータ） (2023-08-02T13:31:41Z)
To Repeat or Not To Repeat: Insights from Scaling LLM under Token-Crisis [50.31589712761807]
大規模言語モデル(LLM)は、事前トレーニング中にトークンに悩まされていることで知られており、Web上の高品質なテキストデータは、LSMのスケーリング制限に近づいている。本研究では,事前学習データの再学習の結果について検討し,モデルが過度に適合する可能性が示唆された。第2に, マルチエポック劣化の原因となる要因について検討し, データセットのサイズ, モデルパラメータ, トレーニング目標など, 重要な要因について検討した。
論文参考訳（メタデータ） (2023-05-22T17:02:15Z)
Not All Semantics are Created Equal: Contrastive Self-supervised Learning with Automatic Temperature Individualization [51.41175648612714]
分散ロバスト最適化(DRO)に着想を得た新しい頑健なコントラスト損失を提案する。提案アルゴリズムは,各サンプルに対して適切な$tau$を自動で学習することを示す。提案手法は, 単モーダル・バイモーダル・データセットにおいて, 従来の強いベースラインよりも優れていた。
論文参考訳（メタデータ） (2023-05-19T19:25:56Z)
Large Language Models Are Latent Variable Models: Explaining and Finding Good Demonstrations for In-Context Learning [104.58874584354787]
近年,事前学習型大規模言語モデル (LLM) は,インコンテキスト学習(in-context learning)として知られる推論時少数ショット学習能力を実現する上で,顕著な効率性を示している。本研究では,現実のLLMを潜在変数モデルとみなし,ベイズレンズによる文脈内学習現象を考察することを目的とする。
論文参考訳（メタデータ） (2023-01-27T18:59:01Z)
Work statistics and thermal phase transitions [4.8229512034776]
我々はDickeモデルにおいて、有限温度で発生する平均的な作業の非解析的挙動を報告する。その結果, クエンチされたパラメータが臨界線を越えて調整された場合, 作業統計は熱相転移のサインと見なせることがわかった。
論文参考訳（メタデータ） (2022-06-09T11:25:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。