論文の概要: Information Shapes Koopman Representation

• arxiv url: http://arxiv.org/abs/2510.13025v1
• Date: Tue, 14 Oct 2025 22:48:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-16 20:13:28.438381
• Title: Information Shapes Koopman Representation
• Title（参考訳）: Information Shapes Koopman Representation
• Authors: Xiaoyuan Cheng, Wenxuan Yuan, Yiming Yang, Yuanzhao Zhang, Sibo Cheng, Yi He, Zhuo Sun,
• Abstract要約: 我々は、潜在変数が表現力と単純さのバランスをとるのに失敗する、最適下表現学習の難しさを論じる。 このレンズを通してクープマンの学習を再考し、潜伏した相互情報によって単純さが促進されるが、単純さに対する過度な強調は潜伏空間を崩壊させる可能性があることを示した。 本稿では, 単純さと表現性を両立させ, 安定かつ解釈可能なクープマン表現をもたらすラグランジアン定式化に基づく新しいアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 41.27407463371503
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The Koopman operator provides a powerful framework for modeling dynamical systems and has attracted growing interest from the machine learning community. However, its infinite-dimensional nature makes identifying suitable finite-dimensional subspaces challenging, especially for deep architectures. We argue that these difficulties come from suboptimal representation learning, where latent variables fail to balance expressivity and simplicity. This tension is closely related to the information bottleneck (IB) dilemma: constructing compressed representations that are both compact and predictive. Rethinking Koopman learning through this lens, we demonstrate that latent mutual information promotes simplicity, yet an overemphasis on simplicity may cause latent space to collapse onto a few dominant modes. In contrast, expressiveness is sustained by the von Neumann entropy, which prevents such collapse and encourages mode diversity. This insight leads us to propose an information-theoretic Lagrangian formulation that explicitly balances this tradeoff. Furthermore, we propose a new algorithm based on the Lagrangian formulation that encourages both simplicity and expressiveness, leading to a stable and interpretable Koopman representation. Beyond quantitative evaluations, we further visualize the learned manifolds under our representations, observing empirical results consistent with our theoretical predictions. Finally, we validate our approach across a diverse range of dynamical systems, demonstrating improved performance over existing Koopman learning methods. The implementation is publicly available at https://github.com/Wenxuan52/InformationKoopman.
• Abstract（参考訳）: Koopmanオペレータは動的システムのモデリングのための強力なフレームワークを提供しており、機械学習コミュニティから関心を集めている。 しかし、その無限次元の性質は、特に深いアーキテクチャにおいて、適切な有限次元部分空間を特定することを困難にしている。 これらの困難は、潜在変数が表現性と単純さのバランスをとるのに失敗する、最適下表現学習から生じている、と我々は主張する。 この緊張は情報ボトルネック(IB)ジレンマと密接に関連しており、コンパクトかつ予測的である圧縮表現を構成する。 このレンズを通してのクープマンの学習を再考し、潜時的相互情報は単純性を促進するが、単純性に対する過度な強調は潜時空間をいくつかの支配的なモードに崩壊させる可能性があることを示した。 対照的に、表現性はフォン・ノイマンエントロピーによって維持され、これはそのような崩壊を防ぎ、モードの多様性を促進する。 この洞察は、このトレードオフを明確にバランスさせる情報理論ラグランジアン定式化の提案につながる。 さらに,Lagrangian の定式化に基づく新しいアルゴリズムを提案し,単純さと表現性を両立させ,安定かつ解釈可能なクープマン表現を実現する。 定量的評価の他に、我々の表現の下で学習された多様体を可視化し、我々の理論的予測と一致した経験的結果を観察する。 最後に,既存のクープマン学習法よりも優れた性能を示すとともに,多様な力学系にまたがるアプローチを検証する。 実装はhttps://github.com/Wenxuan52/InformationKoopman.comで公開されている。

関連論文リスト

• I Predict Therefore I Am: Is Next Token Prediction Enough to Learn Human-Interpretable Concepts from Data? [76.15163242945813]
  大規模言語モデル (LLM) は、多くの人が知能の形式を示すと結論づけている。 本稿では,潜在離散変数として表現される人間解釈可能な概念に基づいてトークンを生成する新しい生成モデルを提案する。
  論文  参考訳（メタデータ） (2025-03-12T01:21:17Z)
• Neural Interpretable Reasoning [12.106771300842945]
  ディープラーニングにおける解釈可能性を実現するための新しいモデリングフレームワークを定式化する。 この複雑性はマルコフ的性質として解釈可能性を扱うことにより緩和できることを示す。 我々はニューラルジェネレーションと解釈可能な実行という新しいモデリングパラダイムを提案する。
  論文  参考訳（メタデータ） (2025-02-17T10:33:24Z)
• Flow Factorized Representation Learning [109.51947536586677]
  本稿では、異なる入力変換を定義する潜在確率パスの別個のセットを規定する生成モデルを提案する。 本モデルは,ほぼ同変モデルに近づきながら,標準表現学習ベンチマークにおいて高い確率を達成することを示す。
  論文  参考訳（メタデータ） (2023-09-22T20:15:37Z)
• Understanding Self-Predictive Learning for Reinforcement Learning [61.62067048348786]
  強化学習のための自己予測学習の学習ダイナミクスについて検討する。 本稿では,2つの表現を同時に学習する新しい自己予測アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-06T20:43:37Z)
• Dynamic Latent Separation for Deep Learning [67.62190501599176]
  機械学習の中核的な問題は、複雑なデータに対するモデル予測のための表現力のある潜在変数を学習することである。 本稿では,表現性を向上し,部分的解釈を提供し,特定のアプリケーションに限定されないアプローチを開発する。
  論文  参考訳（メタデータ） (2022-10-07T17:56:53Z)
• From latent dynamics to meaningful representations [0.5728954513076778]
  純粋に動的に制約された表現学習フレームワークを提案する。 これは力学系における表現学習のより自然な制約であることを示す。 我々は,現実の蛍光DNAフィルムデータセットを含む様々なシステムに対して,我々の枠組みを検証する。
  論文  参考訳（メタデータ） (2022-09-02T09:27:37Z)
• A Free Lunch from the Noise: Provable and Practical Exploration for Representation Learning [55.048010996144036]
  ある雑音仮定の下では、対応するマルコフ遷移作用素の線型スペクトル特性を自由な閉形式で得られることを示す。 本稿では,スペクトルダイナミクス埋め込み(SPEDE)を提案する。これはトレードオフを破り,雑音の構造を利用して表現学習のための楽観的な探索を完遂する。
  論文  参考訳（メタデータ） (2021-11-22T19:24:57Z)
• Human-interpretable model explainability on high-dimensional data [8.574682463936007]
  2つのモジュールからなる高次元データに対する人間解釈可能な説明可能性のためのフレームワークを提案する。 まず、データの生の次元性を減らし、人間の解釈可能性を確保するために、意味的に意味のある潜在表現を適用する。 第2に、モデルに依存しないこれらの潜在的特徴を扱うために、Shapleyパラダイムを適用し、理論的に制御され、計算的に抽出可能なモデル説明をもたらす。
  論文  参考訳（メタデータ） (2020-10-14T20:06:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。