論文の概要: Using Composition Operators to Linearize LLM Semantic Transformations

• arxiv url: http://arxiv.org/abs/2609.22143v1
• Date: Tue, 25 Aug 2026 22:33:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.731513
• Title: Using Composition Operators to Linearize LLM Semantic Transformations
• Title（参考訳）: 合成演算子を用いたLLM意味変換の線形化
• Abstract要約: クープマニズムの傘の下に落下する力学系からの手法を用いて変換を近似する手法を提案する。 コンポジション作用素はクープマン作用素を一般化し、決定的に異なる空間間の写像が可能である。 次に、LLM演算子の有限次元近似を構成する方法の概要と、特異値スペクトルを用いてタスクとモデルを比較する方法を示す。
• 参考スコア（独自算出の注目度）: 1.7842332554022695
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine learning learns functions: prompt to response, image to caption. What these functions are mathematically remains hard to say. We present a method to approximate these kinds of transformations using techniques from dynamical systems that fall under the umbrella of Koopmanism. We introduce the use of composition operators, which generalize the Koopman operator and, crucially, can map between distinct spaces, motivating the perspective that LLM transformations are rectangular infinite-dimensional operators. This formalism reveals useful structure: under natural assumptions on the prompt and response distributions, the LLM operator is an isometry, and misalignment between learned representations manifests as spectral pollution of its finite sections. We then outline a method of constructing finite-dimensional approximations of an LLM operator, and demonstrate how the singular value spectrum can be used to compare tasks and models.
• Abstract（参考訳）: 機械学習は関数を学ぶ: 応答のプロンプト、キャプションのイメージ。 これらの関数が数学的に何であるかはいまだに言い難い。 クープマニズムの傘の下に落下する力学系からの手法を用いて,このような変換を近似する手法を提案する。 コンポジション作用素は、クープマン作用素を一般化し、決定的に異なる空間間の写像が可能であり、LLM変換が無限次元の無限作用素であるという視点を動機付ける。 プロンプト分布と応答分布の自然な仮定の下で、LLM作用素は等距離であり、学習された表現間の不整合はその有限区間のスペクトル汚染として表される。 次に, LLM演算子の有限次元近似を構成する手法を概説し, 特異値スペクトルを用いてタスクとモデルを比較する方法を示す。

関連論文リスト

• Learning dynamically inspired invariant subspaces for Koopman and transfer operator approximation [0.0]
  我々は一般作用素と表現学習を用いて転移とクープマン作用素を近似する。 具体的には、システムに動的に適合する機械学習正則基底関数について述べる。 本稿では,推定演算子からスペクトル特性を抽出した例を紹介する。
  論文  参考訳（メタデータ） (2025-05-08T09:32:39Z)
• Computation Mechanism Behind LLM Position Generalization [59.013857707250814]
  大規模言語モデル(LLM)は、テキストの位置を扱う際の柔軟性を示す。 彼らは位置摂動のあるテキストを理解し、より長いテキストに一般化することができる。 この研究は言語現象とLLMの計算機構を結びつける。
  論文  参考訳（メタデータ） (2025-03-17T15:47:37Z)
• Unraveling Arithmetic in Large Language Models: The Role of Algebraic Structures [2.8311048083168657]
  大型言語モデル (LLM) は顕著な数学的能力を示しており、主にチェーン・オブ・シント (CoT) のプロンプトによって駆動されている。 LLMは可換性や恒等性などの代数的構造を捉えることによって算術を学習する。
  論文  参考訳（メタデータ） (2024-11-25T10:23:11Z)
• On Conditional and Compositional Language Model Differentiable Prompting [75.76546041094436]
  プロンプトは、下流タスクでうまく機能するために、凍結した事前訓練言語モデル(PLM)を適応するための効果的な方法であることが示されている。 タスク命令や入力メタデータを連続的なプロンプトに変換することを学習する新しいモデル Prompt Production System (PRopS) を提案する。
  論文  参考訳（メタデータ） (2023-07-04T02:47:42Z)
• Linear Spaces of Meanings: Compositional Structures in Vision-Language Models [110.00434385712786]
  事前学習された視覚言語モデル(VLM)からのデータ埋め込みにおける構成構造について検討する。 まず,幾何学的観点から構成構造を理解するための枠組みを提案する。 次に、これらの構造がVLM埋め込みの場合の確率論的に持つものを説明し、実際に発生する理由の直観を提供する。
  論文  参考訳（メタデータ） (2023-02-28T08:11:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。