論文の概要: Unveiling Attractor Cycles in Large Language Models: A Dynamical Systems View of Successive Paraphrasing

• arxiv url: http://arxiv.org/abs/2502.15208v1
• Date: Fri, 21 Feb 2025 04:46:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-24 16:09:54.738251
• Title: Unveiling Attractor Cycles in Large Language Models: A Dynamical Systems View of Successive Paraphrasing
• Title（参考訳）: 大規模言語モデルにおけるトラクターサイクルの展開:逐次パラフレーズの動的システムビュー
• Authors: Zhilin Wang, Yafu Li, Jianhao Yan, Yu Cheng, Yue Zhang,
• Abstract要約: 反復変換は、固定点や極限サイクルを含む引き付け子として知られる安定な構成をもたらす。 この視点を入力テキストを出力テキストに反復的にマッピングする大規模言語モデル(LLM)に適用すると、長期的な振る舞いを特徴づけるための原則化されたアプローチが得られる。 代々の言い回しはそのような力学を探求するための説得力のあるテストベッドとして機能し、言い回しは言語的変化を伴う同じ基礎的な意味を再表現する。
• 参考スコア（独自算出の注目度）: 28.646627695015646
• License:
• Abstract: Dynamical systems theory provides a framework for analyzing iterative processes and evolution over time. Within such systems, repetitive transformations can lead to stable configurations, known as attractors, including fixed points and limit cycles. Applying this perspective to large language models (LLMs), which iteratively map input text to output text, provides a principled approach to characterizing long-term behaviors. Successive paraphrasing serves as a compelling testbed for exploring such dynamics, as paraphrases re-express the same underlying meaning with linguistic variation. Although LLMs are expected to explore a diverse set of paraphrases in the text space, our study reveals that successive paraphrasing converges to stable periodic states, such as 2-period attractor cycles, limiting linguistic diversity. This phenomenon is attributed to the self-reinforcing nature of LLMs, as they iteratively favour and amplify certain textual forms over others. This pattern persists with increasing generation randomness or alternating prompts and LLMs. These findings underscore inherent constraints in LLM generative capability, while offering a novel dynamical systems perspective for studying their expressive potential.
• Abstract（参考訳）: 動的システム理論は、時間の経過とともに反復的なプロセスと進化を分析するためのフレームワークを提供する。 このようなシステム内では、繰り返し変換は、固定点や極限サイクルを含む引き付け子と呼ばれる安定した構成につながる。 この視点を入力テキストを出力テキストに反復的にマッピングする大規模言語モデル(LLM)に適用すると、長期的な振る舞いを特徴づけるための原則化されたアプローチが得られる。 代々の言い回しはそのような力学を探求するための説得力のあるテストベッドとして機能し、言い回しは言語的変化を伴う同じ基礎的な意味を再表現する。 LLMはテキスト空間における多様なパラフレーズの集合を探索することが期待されているが、連続したパラフレーズは2周期のアトラクタサイクルのような安定した周期状態に収束し、言語的多様性を制限している。 この現象は LLM の自己強化的な性質に起因しており、あるテキスト形式を他人よりも反復的に好んで増幅している。 このパターンは、生成ランダム性や交互プロンプト、LLMの増加とともに持続する。 これらの知見は, LLM生成能力に固有の制約を浮き彫りにしつつ, その発現能力を研究するための新しい力学系的視点を提供する。

関連論文リスト

• Unified Generative and Discriminative Training for Multi-modal Large Language Models [88.84491005030316]
  生成的トレーニングにより、視覚言語モデル(VLM)は様々な複雑なタスクに取り組むことができる。 CLIPのようなモデルで実証された差別的トレーニングは、ゼロショットイメージテキストの分類と検索に優れています。 本稿では,両パラダイムの強みを統合する統一的アプローチを提案する。
  論文  参考訳（メタデータ） (2024-11-01T01:51:31Z)
• LLMTemporalComparator: A Tool for Analysing Differences in Temporal Adaptations of Large Language Models [17.021220773165016]
  本研究では、異なる期間のデータに基づいて訓練された大規模言語モデル(LLM)における時間的不一致を分析することの課題に対処する。 本稿では,ユーザ定義クエリに基づく2つのLLMバージョンの出力を体系的に比較するシステムを提案する。
  論文  参考訳（メタデータ） (2024-10-05T15:17:07Z)
• Unraveling Text Generation in LLMs: A Stochastic Differential Equation Approach [3.4039202831583903]
  本稿では,GPT-4 のような大規模言語モデル (LLM) のテキスト生成過程を解釈するための微分方程式 (SDE) の適用について検討する。 我々はSDEを用いてこの生成過程を表現し、決定論的傾向と摂動の両方を捉える。 ニューラルネットワークを用いてこれらの関数を適合させ、実世界のテキストコーパス上でモデルを検証する。
  論文  参考訳（メタデータ） (2024-08-17T15:30:27Z)
• Semantic Change Characterization with LLMs using Rhetorics [0.1474723404975345]
  本研究では,LLMが3種類の意味変化(思考,関係,方向)を特徴づける可能性について検討する。 本結果は,意味的変化の捕捉と解析におけるLLMの有効性を強調し,計算言語応用を改善する上で有用な洞察を提供するものである。
  論文  参考訳（メタデータ） (2024-07-23T16:32:49Z)
• LangSuitE: Planning, Controlling and Interacting with Large Language Models in Embodied Text Environments [70.91258869156353]
  テキストエンボディの世界における6つの代表的具体的タスクを特徴とする多目的・シミュレーション不要なテストベッドであるLangSuitEを紹介する。 以前のLLMベースのテストベッドと比較すると、LangSuitEは複数のシミュレーションエンジンを使わずに、多様な環境への適応性を提供する。 具体化された状態の履歴情報を要約した新しいチェーン・オブ・ソート(CoT)スキーマであるEmMemを考案する。
  論文  参考訳（メタデータ） (2024-06-24T03:36:29Z)
• In-Context Learning Dynamics with Random Binary Sequences [16.645695664776433]
  テキスト内学習のダイナミクスを解析できるフレームワークを提案する。 人間の知覚の認知科学に触発されて、ランダムなバイナリシーケンスをコンテキストとして使用する。 最新のGPT-3.5+モデルでは、一見ランダムな数を生成し、基本形式言語を学習する創発的な能力を見出す。
  論文  参考訳（メタデータ） (2023-10-26T17:54:52Z)
• Large Language Models can Contrastively Refine their Generation for Better Sentence Representation Learning [57.74233319453229]
  大規模言語モデル(LLM)は画期的な技術として登場し、それらの非並列テキスト生成能力は、基本的な文表現学習タスクへの関心を喚起している。 コーパスを生成するためにLLMの処理を分解するマルチレベルコントラスト文表現学習フレームワークであるMultiCSRを提案する。 実験の結果,MultiCSRはより高度なLCMをChatGPTの性能を超えつつ,ChatGPTに適用することで最先端の成果を得られることがわかった。
  論文  参考訳（メタデータ） (2023-10-17T03:21:43Z)
• Unified Language-Vision Pretraining in LLM with Dynamic Discrete Visual Tokenization [52.935150075484074]
  非言語的なイメージを外国語のような個別のトークン列に変換するために、よく設計されたビジュアルトークン化器を導入する。 結果として得られる視覚トークンは、単語に相応しいハイレベルな意味論を含み、画像から変化する動的シーケンス長もサポートする。 この統合によりLaVITは、マルチモーダルコンテンツの理解と生成を同時に行うための印象的な汎用インターフェースとして機能する。
  論文  参考訳（メタデータ） (2023-09-09T03:01:38Z)
• Iterative Forward Tuning Boosts In-Context Learning in Language Models [88.25013390669845]
  本研究では,大規模言語モデル(LLM)における文脈内学習を促進する新しい2段階フレームワークを提案する。 具体的には、当社のフレームワークでは、ICLプロセスをDeep-ThinkingとTest Stageの2つの別々のステージに分類しています。 ディープシンキング段階にはユニークな注意機構、すなわち反復的な注意強化機構が組み込まれており、複数の情報の蓄積を可能にしている。
  論文  参考訳（メタデータ） (2023-05-22T13:18:17Z)
• APo-VAE: Text Generation in Hyperbolic Space [116.11974607497986]
  本稿では,双曲型潜在空間におけるテキスト生成について検討し,連続的な階層表現を学習する。 適応型ポインケア可変オートエンコーダ (APo-VAE) を提示し, ポインケア球上における潜伏変数の事前および変動後部の両方を包み込み正規分布により定義する。 言語モデリングと対話応答生成における実験は,提案したAPo-VAEモデルの有効性を示す。
  論文  参考訳（メタデータ） (2020-04-30T19:05:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。