論文の概要: Large Language Models as Markov Chains

• arxiv url: http://arxiv.org/abs/2410.02724v1
• Date: Thu, 3 Oct 2024 17:45:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-04 01:13:18.756059
• Title: Large Language Models as Markov Chains
• Title（参考訳）: マルコフチェインとしての大規模言語モデル
• Authors: Oussama Zekri, Ambroise Odonnat, Abdelhakim Benechehab, Linus Bleistein, Nicolas Boullé, Ievgen Redko,
• Abstract要約: 大規模言語モデル(LLM)は、幅広い自然言語処理タスクにおいて極めて効率的であることが証明されている。 サイズが$T$の一般自己回帰言語モデルと、サイズが$K$のコンテキストウィンドウと、サイズが$mathcalO(TK)$の有限状態空間上で定義されたマルコフ連鎖の同値性を描く。
• 参考スコア（独自算出の注目度）: 7.078696932669912
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) have proven to be remarkably efficient, both across a wide range of natural language processing tasks and well beyond them. However, a comprehensive theoretical analysis of the origins of their impressive performance remains elusive. In this paper, we approach this challenging task by drawing an equivalence between generic autoregressive language models with vocabulary of size $T$ and context window of size $K$ and Markov chains defined on a finite state space of size $\mathcal{O}(T^K)$. We derive several surprising findings related to the existence of a stationary distribution of Markov chains that capture the inference power of LLMs, their speed of convergence to it, and the influence of the temperature on the latter. We then prove pre-training and in-context generalization bounds and show how the drawn equivalence allows us to enrich their interpretation. Finally, we illustrate our theoretical guarantees with experiments on several recent LLMs to highlight how they capture the behavior observed in practice.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、広範囲にわたる自然言語処理タスクとそれを超える処理の両方において、極めて効率的であることが証明されている。 しかし、その印象的なパフォーマンスの起源に関する包括的な理論的分析は、いまだ解明されていない。 本稿では,サイズ$T$の語彙を持つ汎用自己回帰言語モデルと,サイズ$K$のコンテキストウィンドウと,サイズ$\mathcal{O}(T^K)$の有限状態空間上で定義されたマルコフ連鎖とを同値にすることで,この問題に対処する。 我々は, LLMの推論パワーを捉えるマルコフ鎖の定常分布の存在, それに収束する速度, 温度の影響に関するいくつかの驚くべき知見を導出した。 次に、事前学習および文脈内一般化境界を証明し、描画された同値がどのようにそれらの解釈を豊かにすることができるかを示す。 最後に,近年のLLM実験による理論的保証について概説し,実際に観察された行動の捉え方を明らかにする。

関連論文リスト

• Thought-Like-Pro: Enhancing Reasoning of Large Language Models through Self-Driven Prolog-based Chain-of-Thought [31.964412924094656]
  大規模言語モデル(LLM)は汎用アシスタントとして非常に優れた性能を示している。 多様な推論タスクにおける学習と一般化を容易にする新しい学習フレームワークTHOUGHT-LIKE-PROを導入する。 実験結果から,本手法はLLMの推論能力を大幅に向上させる可能性が示唆された。
  論文  参考訳（メタデータ） (2024-07-18T18:52:10Z)
• Quantifying Emergence in Large Language Models [31.608080868988825]
  LLMの出現を推定するための定量化ソリューションを提案する。 分子動力学における創発性に着想を得て, ミクロ(トケン)レベルのエントロピー低減とミクロ(セマンティック)レベルのエントロピー低減を比較して, 出現の強さを定量化する。 本手法は,テキスト内学習(ICL)と自然文の両方で,一貫した振る舞いを示す。
  論文  参考訳（メタデータ） (2024-05-21T09:12:20Z)
• Zero-shot Causal Graph Extrapolation from Text via LLMs [50.596179963913045]
  我々は,自然言語から因果関係を推定する大規模言語モデル (LLM) の能力を評価する。 LLMは、(特別な)トレーニングサンプルを必要とせずにペア関係のベンチマークで競合性能を示す。 我々は、反復的なペアワイズクエリを通して因果グラフを外挿するアプローチを拡張した。
  論文  参考訳（メタデータ） (2023-12-22T13:14:38Z)
• Why Can Large Language Models Generate Correct Chain-of-Thoughts? [10.888196404348093]
  自然言語生成に適した2階層階層型グラフィカルモデルを提案する。 我々は、LLM生成した思考の連鎖の可能性を測る魅力的な幾何学的収束率を確立する。
  論文  参考訳（メタデータ） (2023-10-20T15:09:46Z)
• Simple Linguistic Inferences of Large Language Models (LLMs): Blind Spots and Blinds [59.71218039095155]
  我々は,ほとんどの人間が自明に感じる単純な推論タスクにおいて,言語理解能力を評価する。 我々は, (i) 文法的に特定された含意, (ii) 不確実性のある明らかな副詞を持つ前提, (iii) 単調性含意を目標とする。 モデルはこれらの評価セットに対して中程度から低い性能を示す。
  論文  参考訳（メタデータ） (2023-05-24T06:41:09Z)
• Evaluating statistical language models as pragmatic reasoners [39.72348730045737]
  我々は,語学的な発話の意味を推測するために,大規模言語モデルの能力を評価する。 LLMは、複数の複雑な実用的発話の解釈に対して、文脈的、人間的な分布を導出することができる。 結果は,統計的言語モデルの推論能力と,実践的・意味論的解析への応用について報告する。
  論文  参考訳（メタデータ） (2023-05-01T18:22:10Z)
• Multimodal Chain-of-Thought Reasoning in Language Models [94.70184390935661]
  言語(テキスト)と視覚(画像)のモダリティを2段階のフレームワークに組み込んだマルチモーダルCoTを提案する。 その結果,ScienceQA と A-OKVQA のベンチマークは,提案手法の有効性を示した。
  論文  参考訳（メタデータ） (2023-02-02T07:51:19Z)
• Synergies between Disentanglement and Sparsity: Generalization and Identifiability in Multi-Task Learning [79.83792914684985]
  我々は,最大スパース基底予測器が不整合表現をもたらす条件を提供する新しい識別可能性の結果を証明した。 この理論的な結果から,両レベル最適化問題に基づくアンタングル表現学習の実践的アプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-26T21:02:09Z)
• Emergent Linguistic Structures in Neural Networks are Fragile [20.692540987792732]
  大規模言語モデル (LLM) は自然言語処理タスクにおいて高い性能を示すと報告されている。 言語表現の一貫性と堅牢性を評価するための枠組みを提案する。
  論文  参考訳（メタデータ） (2022-10-31T15:43:57Z)
• Better Language Model with Hypernym Class Prediction [101.8517004687825]
  クラスベース言語モデル (LM) は、コンテキストの疎結合に$n$-gramのLMで対処するために長年開発されてきた。 本研究では,このアプローチをニューラルLMの文脈で再考する。
  論文  参考訳（メタデータ） (2022-03-21T01:16:44Z)
• Masked Language Modeling and the Distributional Hypothesis: Order Word Matters Pre-training for Little [74.49773960145681]
  マスク言語モデル(MLM)トレーニングの印象的なパフォーマンスの可能な説明は、そのようなモデルがNLPパイプラインで広く普及している構文構造を表現することを学びました。 本稿では,先行訓練がダウンストリームタスクでほぼ完全に成功する理由として,高次単語共起統計をモデル化できることを挙げる。 以上の結果から,純粋分布情報は,事前学習の成功を主に説明し,深い言語知識を必要とする難易度評価データセットのキュレーションの重要性を強調する。
  論文  参考訳（メタデータ） (2021-04-14T06:30:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。