Fugu-MT 論文翻訳(概要): Critical Phase Transition in a Large Language Model

論文の概要: Critical Phase Transition in a Large Language Model

arxiv url: http://arxiv.org/abs/2406.05335v1
Date: Sat, 8 Jun 2024 03:37:05 GMT
ステータス: 処理完了
システム内更新日: 2024-06-11 20:14:35.893234
Title: Critical Phase Transition in a Large Language Model
Title（参考訳）: 大規模言語モデルにおける臨界相転移
Authors: Kai Nakaishi, Yoshihiko Nishikawa, Koji Hukushima,
Abstract要約: この2つの状態の違いは、単に滑らかな変化ではなく、特異な統計量の相転移であることを示す。我々の広範な分析は、テキスト中の相関関係のパワー-ロッド崩壊のような臨界挙動が、遷移温度で LLM に現れることを示している。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The performance of large language models (LLMs) strongly depends on the \textit{temperature} parameter. Empirically, at very low temperatures, LLMs generate sentences with clear repetitive structures, while at very high temperatures, generated sentences are often incomprehensible. In this study, using GPT-2, we numerically demonstrate that the difference between the two regimes is not just a smooth change but a phase transition with singular, divergent statistical quantities. Our extensive analysis shows that critical behaviors, such as a power-law decay of correlation in a text, emerge in the LLM at the transition temperature as well as in a natural language dataset. We also discuss that several statistical quantities characterizing the criticality should be useful to evaluate the performance of LLMs.
Abstract（参考訳）: 大規模言語モデル (LLM) の性能は, <textit{temperature} パラメータに強く依存する。経験的に、非常に低温では、LLMは明確な繰り返し構造を持つ文を生成するが、非常に高温では、生成された文はしばしば理解できない。本研究は, GPT-2を用いて, 両者の相違は単に滑らかな変化ではなく, 特異な発散した統計量による相転移であることを示す。我々の広範な分析は、テキスト中の相関関係のパワー-ロッド崩壊のような臨界挙動が、遷移温度および自然言語データセットで LLM に現れることを示している。また, 臨界度を特徴付ける統計量は, LLMの性能評価に有用であると考えられる。

関連論文リスト

Exploring Continual Fine-Tuning for Enhancing Language Ability in Large Language Model [14.92282077647913]
CFT(Continuous Fine-tuning)は、LLMを逐次微調整することで、モデルが下流のタスクに適応できるようにするプロセスである。多言語データセット上で英語のみの細調整LDMを逐次微調整する2相CFTプロセスについて検討する。第2相タスクと第1相タスクの類似性'''がLCMの適応性を決定することを観察する。
論文参考訳（メタデータ） (2024-10-21T13:39:03Z)
Unconditional Truthfulness: Learning Conditional Dependency for Uncertainty Quantification of Large Language Models [96.43562963756975]
対象変数が条件と非条件生成信頼度のギャップである回帰モデルを訓練する。この学習条件依存モデルを用いて、前のステップの不確実性に基づいて、現在の生成ステップの不確かさを変調する。
論文参考訳（メタデータ） (2024-08-20T09:42:26Z)
Semantic Change Characterization with LLMs using Rhetorics [0.1474723404975345]
本研究では,LLMが3種類の意味変化(思考,関係,方向)を特徴づける可能性について検討する。本結果は,意味的変化の捕捉と解析におけるLLMの有効性を強調し,計算言語応用を改善する上で有用な洞察を提供するものである。
論文参考訳（メタデータ） (2024-07-23T16:32:49Z)
DARG: Dynamic Evaluation of Large Language Models via Adaptive Reasoning Graph [70.79413606968814]
本稿では,適応推論グラフ展開(DARG)によるLCMの動的評価を導入し,複雑性と多様性を制御した現在のベンチマークを動的に拡張する。具体的には、まず現在のベンチマークでデータポイントの推論グラフを抽出し、それから推論グラフを摂動させて新しいテストデータを生成する。このような新しく生成されたテストサンプルは、元のベンチマークと同様の言語的多様性を維持しながら、複雑さのレベルが異なる可能性がある。
論文参考訳（メタデータ） (2024-06-25T04:27:53Z)
MARS: Benchmarking the Metaphysical Reasoning Abilities of Language Models with a Multi-task Evaluation Dataset [50.36095192314595]
大きな言語モデル(LLM)は、一般化可能な推論能力を持つ意識的なエージェントとして機能する。この能力は、イベントにおける無限の可能な変更をモデル化する複雑さのために、まだ探索されていない。我々は,各ステップに対応する3つのタスクからなる最初のベンチマークMARSを紹介する。
論文参考訳（メタデータ） (2024-06-04T08:35:04Z)
Phase Transitions in the Output Distribution of Large Language Models [0.9374652839580183]
物理系において、温度などのパラメータの変化は、ある物質の状態から別の状態への急激な変化である相転移を誘導することができる。相転移を識別するタスクは、人間の分析とシステムの事前理解を必要とし、どの低次元特性をモニターし分析するかを絞り込む。近年,データから位相遷移を自動的に検出する統計手法が物理学界で提案されている。統計的距離を用いて生成した出力の分布変化を定量化し、次点上の確率分布にアクセスして効率的に推定する。
論文参考訳（メタデータ） (2024-05-27T12:04:36Z)
The Strong Pull of Prior Knowledge in Large Language Models and Its Impact on Emotion Recognition [74.04775677110179]
In-context Learning (ICL) は、Large Language Models (LLM) を用いた自然言語処理のための強力なパラダイムとして登場した。 LLMには、感情認識において強いが矛盾する先行性があり、その予測に影響を及ぼすことが示される。以上の結果から,ICLをより大きなLCMで事前学習領域外の情動中心タスクに使用する場合,注意が必要であることが示唆された。
論文参考訳（メタデータ） (2024-03-25T19:07:32Z)
Characterizing Truthfulness in Large Language Model Generations with Local Intrinsic Dimension [63.330262740414646]
大規模言語モデル(LLM)から生成されたテキストの真偽を特徴付ける方法と予測法について検討する。モデルアクティベーションの局所固有次元 (LID) を用いて, 内部アクティベーションを調査し, LLMの真偽を定量化する。
論文参考訳（メタデータ） (2024-02-28T04:56:21Z)
Explaining Emergent In-Context Learning as Kernel Regression [61.57151500616111]
大規模言語モデル(LLM)は、伝達学習のパラダイムシフトを開始した。本稿では,トランスフォーマーに基づく言語モデルが事前学習後に文脈内学習を達成できる理由について検討する。 ICL中、LLMの注意と隠れた特徴は、カーネル回帰の挙動と一致していることがわかった。
論文参考訳（メタデータ） (2023-05-22T06:45:02Z)
Dissipative Floquet Dynamics: from Steady State to Measurement Induced Criticality in Trapped-ion Chains [0.0]
量子系は単位的に進化し、量子測定の対象となり、様々なタイプの非平衡相転移を示す。時間に依存しないリウビリアンの定常状態における散逸相転移と測定誘起相転移は2つの主要な例である。強磁性秩序相と常磁性乱相の間の散逸相転移が長距離系に現れることを示す。
論文参考訳（メタデータ） (2021-07-12T18:18:54Z)
Measurement-Driven Phase Transition within a Volume-Law Entangled Phase [0.0]
本研究では,非局所的かつ少数身体的ユニタリダイナミクスにおける2種類のボリュームロー絡み合い相の遷移について検討する。一相では、有限分数は完全に絡み合った状態に属し、二相では、定常状態は広範囲に多くの有限部分系上の積状態である。
論文参考訳（メタデータ） (2020-05-06T18:01:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。