論文の概要: Markovian Generation Chains in Large Language Models

• arxiv url: http://arxiv.org/abs/2603.11228v1
• Date: Wed, 11 Mar 2026 18:54:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-13 14:46:25.594945
• Title: Markovian Generation Chains in Large Language Models
• Title（参考訳）: 大規模言語モデルにおけるマルコフ生成系
• Authors: Mingmeng Geng, Amr Mohamed, Guokan Shang, Michalis Vazirgiannis, Thierry Poibeau,
• Abstract要約: 大規模言語モデル(LLM)によって繰り返し処理されたテキストの進化過程について検討する。 本稿では,この反復推論過程をマルコフ生成鎖として定義する。 繰り返し処理は、温度パラメータや初期入力文などの要因に応じて、文の多様性を増大または減少させることができることを示す。
• 参考スコア（独自算出の注目度）: 26.873145186799608
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The widespread use of large language models (LLMs) raises an important question: how do texts evolve when they are repeatedly processed by LLMs? In this paper, we define this iterative inference process as Markovian generation chains, where each step takes a specific prompt template and the previous output as input, without including any prior memory. In iterative rephrasing and round-trip translation experiments, the output either converges to a small recurrent set or continues to produce novel sentences over a finite horizon. Through sentence-level Markov chain modeling and analysis of simulated data, we show that iterative process can either increase or reduce sentence diversity depending on factors such as the temperature parameter and the initial input sentence. These results offer valuable insights into the dynamics of iterative LLM inference and their implications for multi-agent LLM systems.
• Abstract（参考訳）: 大規模言語モデル(LLM)の普及は、LLMによって繰り返し処理されたテキストをどのように進化させるのかという重要な疑問を提起する。 本稿では,この反復推論過程をマルコフ生成連鎖として定義し,各ステップが特定のプロンプトテンプレートと前の出力を入力として取り込む。 反復的言い換えやラウンドトリップ翻訳の実験では、出力は小さな反復集合に収束するか、あるいは有限の地平線上で新しい文を生成し続ける。 シミュレーションデータの文レベルのマルコフ連鎖モデリングと解析により、温度パラメータや初期入力文などの要因に応じて反復処理が文の多様性を増大または減少させることができることを示す。 これらの結果は、反復LDM推論の力学とマルチエージェントLDMシステムへのその影響に関する貴重な知見を提供する。

関連論文リスト

• Unveiling Attractor Cycles in Large Language Models: A Dynamical Systems View of Successive Paraphrasing [28.646627695015646]
  反復変換は、固定点や極限サイクルを含む引き付け子として知られる安定な構成をもたらす。 この視点を入力テキストを出力テキストに反復的にマッピングする大規模言語モデル(LLM)に適用すると、長期的な振る舞いを特徴づけるための原則化されたアプローチが得られる。 代々の言い回しはそのような力学を探求するための説得力のあるテストベッドとして機能し、言い回しは言語的変化を伴う同じ基礎的な意味を再表現する。
  論文  参考訳（メタデータ） (2025-02-21T04:46:57Z)
• Idiosyncrasies in Large Language Models [54.26923012617675]
  大規模言語モデル(LLM)における慣用句の公開と研究 LLM生成テキストへの微調整テキスト埋め込みモデルにより,優れた分類精度が得られることがわかった。 我々はLLMを審査員として利用し、各モデルの慣用句の詳細かつオープンな記述を生成する。
  論文  参考訳（メタデータ） (2025-02-17T18:59:02Z)
• Balancing Diversity and Risk in LLM Sampling: How to Select Your Method and Parameter for Open-Ended Text Generation [60.493180081319785]
  本稿では,各復号ステップにおける多様性とリスクのトレードオフを考慮し,トラクションサンプリング手法のキャパシティを推定する体系的手法を提案する。 本研究は,既存のトラクションサンプリング手法を総合的に比較し,パラメータ選択のための実用的なユーザガイドとして機能する。
  論文  参考訳（メタデータ） (2024-08-24T14:14:32Z)
• Unraveling Text Generation in LLMs: A Stochastic Differential Equation Approach [3.4039202831583903]
  本稿では,GPT-4 のような大規模言語モデル (LLM) のテキスト生成過程を解釈するための微分方程式 (SDE) の適用について検討する。 我々はSDEを用いてこの生成過程を表現し、決定論的傾向と摂動の両方を捉える。 ニューラルネットワークを用いてこれらの関数を適合させ、実世界のテキストコーパス上でモデルを検証する。
  論文  参考訳（メタデータ） (2024-08-17T15:30:27Z)
• Nearest Neighbor Speculative Decoding for LLM Generation and Attribution [87.3259169631789]
  Nearest Speculative Decoding (NEST)は、任意の長さの実世界のテキストスパンをLM世代に組み込むことができ、それらのソースへの属性を提供する。 NESTは、様々な知識集約タスクにおいて、基本LMの生成品質と帰属率を大幅に向上させる。 さらに、NESTは、Llama-2-Chat 70Bに適用した場合の推論時間において1.8倍のスピードアップを達成することにより、生成速度を大幅に改善する。
  論文  参考訳（メタデータ） (2024-05-29T17:55:03Z)
• Instruction Position Matters in Sequence Generation with Large Language Models [67.87516654892343]
  大規模言語モデル(LLM)は、翻訳や要約といった条件付きシーケンス生成タスクを実行することができる。 入力文の後にタスク命令の位置をシフトさせることにより,LLMの指示追従能力を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-08-23T12:36:57Z)
• A Simple Explanation for the Phase Transition in Large Language Models with List Decoding [3.898689841227059]
  大規模言語モデル(LLM)は,小モデルに存在しない創発的能力を示す。 各ステップに候補シーケンスのリストを保持するリストデコーダを使用し、最後に出力シーケンスを生成する。
  論文  参考訳（メタデータ） (2023-03-23T09:00:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。