論文の概要: Critical Phase Transition in Large Language Models

• arxiv url: http://arxiv.org/abs/2406.05335v2
• Date: Tue, 22 Oct 2024 09:32:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-23 14:24:16.073561
• Title: Critical Phase Transition in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける臨界相転移
• Authors: Kai Nakaishi, Yoshihiko Nishikawa, Koji Hukushima,
• Abstract要約: 大きな言語モデル(LLM)は素晴らしいパフォーマンスを示しています。 それらの振る舞いを理解するためには、LCMが時折質的な変化を示すという事実を考慮する必要がある。 温度パラメータが変化すると, LLM に相転移が生じることが示唆された。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Large Language Models (LLMs) have demonstrated impressive performance. To understand their behaviors, we need to consider the fact that LLMs sometimes show qualitative changes. The natural world also presents such changes called phase transitions, which are defined by singular, divergent statistical quantities. Therefore, an intriguing question is whether qualitative changes in LLMs are phase transitions. In this work, we have conducted extensive analysis on texts generated by LLMs and suggested that a phase transition occurs in LLMs when varying the temperature parameter. Specifically, statistical quantities have divergent properties just at the point between the low-temperature regime, where LLMs generate sentences with clear repetitive structures, and the high-temperature regime, where generated sentences are often incomprehensible. In addition, critical behaviors near the phase transition point, such as a power-law decay of correlation and slow convergence toward the stationary state, are similar to those in natural languages. Our results suggest a meaningful analogy between LLMs and natural phenomena.
• Abstract（参考訳）: 大きな言語モデル(LLM)は素晴らしいパフォーマンスを示しています。 それらの振る舞いを理解するためには、LCMが時として質的な変化を示すという事実を考慮する必要がある。 自然界は相転移と呼ばれる変化も示しており、これは特異な発散した統計量によって定義される。 したがって、興味深い疑問は、LCMの質的変化が相転移であるかどうかである。 本研究では, LLMが生成するテキストについて広範な解析を行い, 温度パラメータが変化すると相転移が発生することを示唆した。 特に、統計量は、LLMが明確な繰り返し構造を持つ文を生成する低温状態と、生成された文がしばしば理解できない高温状態との間の点において、分岐特性を持つ。 さらに、位相遷移点付近の臨界挙動、例えば相関のパワー-ロッド崩壊や定常状態への緩やかな収束は、自然言語のものと類似している。 その結果, LLMと自然現象の間に有意な類似性があることが示唆された。

関連論文リスト

• Exploring Continual Fine-Tuning for Enhancing Language Ability in Large Language Model [14.92282077647913]
  CFT(Continuous Fine-tuning)は、LLMを逐次微調整することで、モデルが下流のタスクに適応できるようにするプロセスである。 多言語データセット上で英語のみの細調整LDMを逐次微調整する2相CFTプロセスについて検討する。 第2相タスクと第1相タスクの類似性'''がLCMの適応性を決定することを観察する。
  論文  参考訳（メタデータ） (2024-10-21T13:39:03Z)
• Unconditional Truthfulness: Learning Conditional Dependency for Uncertainty Quantification of Large Language Models [96.43562963756975]
  対象変数が条件と非条件生成信頼度のギャップである回帰モデルを訓練する。 この学習条件依存モデルを用いて、前のステップの不確実性に基づいて、現在の生成ステップの不確かさを変調する。
  論文  参考訳（メタデータ） (2024-08-20T09:42:26Z)
• Semantic Change Characterization with LLMs using Rhetorics [0.1474723404975345]
  本研究では,LLMが3種類の意味変化(思考,関係,方向)を特徴づける可能性について検討する。 本結果は,意味的変化の捕捉と解析におけるLLMの有効性を強調し,計算言語応用を改善する上で有用な洞察を提供するものである。
  論文  参考訳（メタデータ） (2024-07-23T16:32:49Z)
• DARG: Dynamic Evaluation of Large Language Models via Adaptive Reasoning Graph [70.79413606968814]
  本稿では,適応推論グラフ展開(DARG)によるLCMの動的評価を導入し,複雑性と多様性を制御した現在のベンチマークを動的に拡張する。 具体的には、まず現在のベンチマークでデータポイントの推論グラフを抽出し、それから推論グラフを摂動させて新しいテストデータを生成する。 このような新しく生成されたテストサンプルは、元のベンチマークと同様の言語的多様性を維持しながら、複雑さのレベルが異なる可能性がある。
  論文  参考訳（メタデータ） (2024-06-25T04:27:53Z)
• MARS: Benchmarking the Metaphysical Reasoning Abilities of Language Models with a Multi-task Evaluation Dataset [50.36095192314595]
  大きな言語モデル(LLM)は、一般化可能な推論能力を持つ意識的なエージェントとして機能する。 この能力は、イベントにおける無限の可能な変更をモデル化する複雑さのために、まだ探索されていない。 我々は,各ステップに対応する3つのタスクからなる最初のベンチマークMARSを紹介する。
  論文  参考訳（メタデータ） (2024-06-04T08:35:04Z)
• Phase Transitions in the Output Distribution of Large Language Models [0.9374652839580183]
  物理系において、温度などのパラメータの変化は、ある物質の状態から別の状態への急激な変化である相転移を誘導することができる。 相転移を識別するタスクは、人間の分析とシステムの事前理解を必要とし、どの低次元特性をモニターし分析するかを絞り込む。 近年,データから位相遷移を自動的に検出する統計手法が物理学界で提案されている。 統計的距離を用いて生成した出力の分布変化を定量化し、次点上の確率分布にアクセスして効率的に推定する。
  論文  参考訳（メタデータ） (2024-05-27T12:04:36Z)
• The Strong Pull of Prior Knowledge in Large Language Models and Its Impact on Emotion Recognition [74.04775677110179]
  In-context Learning (ICL) は、Large Language Models (LLM) を用いた自然言語処理のための強力なパラダイムとして登場した。 LLMには、感情認識において強いが矛盾する先行性があり、その予測に影響を及ぼすことが示される。 以上の結果から,ICLをより大きなLCMで事前学習領域外の情動中心タスクに使用する場合,注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2024-03-25T19:07:32Z)
• Characterizing Truthfulness in Large Language Model Generations with Local Intrinsic Dimension [63.330262740414646]
  大規模言語モデル(LLM)から生成されたテキストの真偽を特徴付ける方法と予測法について検討する。 モデルアクティベーションの局所固有次元 (LID) を用いて, 内部アクティベーションを調査し, LLMの真偽を定量化する。
  論文  参考訳（メタデータ） (2024-02-28T04:56:21Z)
• Explaining Emergent In-Context Learning as Kernel Regression [61.57151500616111]
  大規模言語モデル(LLM)は、伝達学習のパラダイムシフトを開始した。 本稿では,トランスフォーマーに基づく言語モデルが事前学習後に文脈内学習を達成できる理由について検討する。 ICL中、LLMの注意と隠れた特徴は、カーネル回帰の挙動と一致していることがわかった。
  論文  参考訳（メタデータ） (2023-05-22T06:45:02Z)
• Dissipative Floquet Dynamics: from Steady State to Measurement Induced Criticality in Trapped-ion Chains [0.0]
  量子系は単位的に進化し、量子測定の対象となり、様々なタイプの非平衡相転移を示す。 時間に依存しないリウビリアンの定常状態における散逸相転移と測定誘起相転移は2つの主要な例である。 強磁性秩序相と常磁性乱相の間の散逸相転移が長距離系に現れることを示す。
  論文  参考訳（メタデータ） (2021-07-12T18:18:54Z)
• Measurement-Driven Phase Transition within a Volume-Law Entangled Phase [0.0]
  本研究では,非局所的かつ少数身体的ユニタリダイナミクスにおける2種類のボリュームロー絡み合い相の遷移について検討する。 一相では、有限分数は完全に絡み合った状態に属し、二相では、定常状態は広範囲に多くの有限部分系上の積状態である。
  論文  参考訳（メタデータ） (2020-05-06T18:01:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。