論文の概要: Phase Transitions in the Output Distribution of Large Language Models

• arxiv url: http://arxiv.org/abs/2405.17088v1
• Date: Mon, 27 May 2024 12:04:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-28 15:32:42.544727
• Title: Phase Transitions in the Output Distribution of Large Language Models
• Title（参考訳）: 大規模言語モデルの出力分布における相転移
• Authors: Julian Arnold, Flemming Holtorf, Frank Schäfer, Niels Lörch,
• Abstract要約: 物理系において、温度などのパラメータの変化は、ある物質の状態から別の状態への急激な変化である相転移を誘導することができる。 相転移を識別するタスクは、人間の分析とシステムの事前理解を必要とし、どの低次元特性をモニターし分析するかを絞り込む。 近年,データから位相遷移を自動的に検出する統計手法が物理学界で提案されている。 統計的距離を用いて生成した出力の分布変化を定量化し、次点上の確率分布にアクセスして効率的に推定する。
• 参考スコア（独自算出の注目度）: 0.9374652839580183
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In a physical system, changing parameters such as temperature can induce a phase transition: an abrupt change from one state of matter to another. Analogous phenomena have recently been observed in large language models. Typically, the task of identifying phase transitions requires human analysis and some prior understanding of the system to narrow down which low-dimensional properties to monitor and analyze. Statistical methods for the automated detection of phase transitions from data have recently been proposed within the physics community. These methods are largely system agnostic and, as shown here, can be adapted to study the behavior of large language models. In particular, we quantify distributional changes in the generated output via statistical distances, which can be efficiently estimated with access to the probability distribution over next-tokens. This versatile approach is capable of discovering new phases of behavior and unexplored transitions -- an ability that is particularly exciting in light of the rapid development of language models and their emergent capabilities.
• Abstract（参考訳）: 物理系において、温度などのパラメータの変化は、ある物質の状態から別の状態への急激な変化である相転移を誘導することができる。 最近、大きな言語モデルでアナロジー現象が観測されている。 通常、相転移を識別するタスクは、人間の分析とシステムの事前理解を必要とし、どの低次元特性をモニターし分析するかを絞り込む。 近年,データから位相遷移を自動的に検出する統計手法が物理学界で提案されている。 これらの手法は主にシステムに依存しないものであり、ここで示すように、大きな言語モデルの振る舞いを研究するために適応することができる。 特に, 統計的距離を用いて生成した出力の分布変化を定量化し, 次点上の確率分布にアクセスして効率的に推定することができる。 この汎用的なアプローチは、振る舞いの新しいフェーズと探索されていないトランジションを発見できる -- 言語モデルの急速な開発と、その創発的な能力を背景に、特にエキサイティングな能力である。

関連論文リスト

• Synthetic location trajectory generation using categorical diffusion models [50.809683239937584]
  拡散モデル(DPM)は急速に進化し、合成データのシミュレーションにおける主要な生成モデルの一つとなっている。 本稿では,個人が訪れた物理的位置を表す変数列である合成個別位置軌跡(ILT)の生成にDPMを用いることを提案する。
  論文  参考訳（メタデータ） (2024-02-19T15:57:39Z)
• Stochastic Latent Transformer: Efficient Modelling of Stochastically Forced Zonal Jets [0.0]
  本稿では,SLT(Stochastic Latent Transformer)という新しい確率論的学習手法を提案する。 SLTは、様々な統合期間にわたってシステムダイナミクスを正確に再現し、定量的診断を通じて検証する。 水平平均流をエミュレートする際の5次のマグニチュードスピードアップを実現する。
  論文  参考訳（メタデータ） (2023-10-25T16:17:00Z)
• Neural-Network Decoders for Measurement Induced Phase Transitions [0.0]
  観測量子系における測定誘起絡み合い相転移は顕著な例である。 測定結果に基づいて基準量子ビットの状態を決定するニューラルネットワークデコーダを提案する。 エンタングルメント相転移は,デコーダ関数の学習可能性に変化をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-04-22T19:40:26Z)
• Stochastic Trajectory Prediction via Motion Indeterminacy Diffusion [88.45326906116165]
  運動不確定性拡散(MID)の逆過程として軌道予測タスクを定式化する新しい枠組みを提案する。 我々は,履歴行動情報と社会的相互作用を状態埋め込みとしてエンコードし,トランジトリの時間的依存性を捉えるためにトランスフォーマーに基づく拡散モデルを考案する。 スタンフォード・ドローンやETH/UCYデータセットなど,人間の軌道予測ベンチマーク実験により,本手法の優位性を実証した。
  論文  参考訳（メタデータ） (2022-03-25T16:59:08Z)
• Replacing neural networks by optimal analytical predictors for the detection of phase transitions [0.10152838128195464]
  位相遷移を検出するために広く使われている3つのNN法を最適に出力する解析式を導出する。 提案手法の内部動作は,入力データに対する最適出力の明示的依存によって明らかにされる。 我々の理論的結果は、トポロジカル、量子、多体局在相転移などの広範な数値シミュレーションによって支えられている。
  論文  参考訳（メタデータ） (2022-02-14T19:00:03Z)
• Finite-size scalings in measurement-induced dynamical phase transition [0.0]
  系がユニタリダイナミクスの下で反復的に進化することが許された場合、多体量子ゼノ遷移の運命を研究する。 我々は、長期に進化した絡み合いエントロピー、純度、およびそれらの変動などの異なる診断法を用いて、遷移を特徴づける。
  論文  参考訳（メタデータ） (2021-07-30T14:11:22Z)
• Probing the topological Anderson transition with quantum walks [48.7576911714538]
  光線形ネットワークにおける1次元量子ウォークについて考察する。 ウォーカーの確率分布を直接監視するオプションは、この光学プラットフォームを1次元トポロジカルアンダーソン転移のユニークなシグネチャの実験的観察に最適である。
  論文  参考訳（メタデータ） (2021-02-01T21:19:15Z)
• Unsupervised machine learning of topological phase transitions from experimental data [52.77024349608834]
  超低温原子からの実験データに教師なし機械学習技術を適用する。 我々は、完全にバイアスのない方法で、ハルダンモデルの位相位相図を得る。 我々の研究は、複雑な多体系における新しいエキゾチック位相の教師なし検出のためのベンチマークを提供する。
  論文  参考訳（メタデータ） (2021-01-14T16:38:21Z)
• Measurement-Driven Phase Transition within a Volume-Law Entangled Phase [0.0]
  本研究では,非局所的かつ少数身体的ユニタリダイナミクスにおける2種類のボリュームロー絡み合い相の遷移について検討する。 一相では、有限分数は完全に絡み合った状態に属し、二相では、定常状態は広範囲に多くの有限部分系上の積状態である。
  論文  参考訳（メタデータ） (2020-05-06T18:01:32Z)
• Unsupervised machine learning of quantum phase transitions using diffusion maps [77.34726150561087]
  本研究では, 測定データの非線形次元減少とスペクトルクラスタリングを行う拡散写像法が, 教師なしの複雑な位相遷移を学習する上で有意なポテンシャルを持つことを示す。 この方法は、局所観測可能量の単一の基底での測定に役立ち、多くの実験的な量子シミュレータに容易に適用できる。
  論文  参考訳（メタデータ） (2020-03-16T18:40:13Z)
• Transformer Hawkes Process [79.16290557505211]
  本稿では,長期的依存関係を捕捉する自己認識機構を利用したTransformer Hawkes Process (THP) モデルを提案する。 THPは、有意なマージンによる可能性と事象予測の精度の両方の観点から、既存のモデルより優れている。 本稿では、THPが関係情報を組み込む際に、複数の点過程を学習する際の予測性能の改善を実現する具体例を示す。
  論文  参考訳（メタデータ） (2020-02-21T13:48:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。