論文の概要: Persistent Topological Features in Large Language Models

• arxiv url: http://arxiv.org/abs/2410.11042v2
• Date: Thu, 12 Jun 2025 14:39:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-13 15:37:22.063425
• Title: Persistent Topological Features in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける持続的トポロジ的特徴
• Authors: Yuri Gardinazzi, Karthik Viswanathan, Giada Panerai, Alessio Ansuini, Alberto Cazzaniga, Matteo Biagetti,
• Abstract要約: トポロジカルな特徴である$p$次元の穴が層全体に持続し、進化していくかを測定するトポロジカル記述子を導入する。 このことは、プロンプトがどのように再配置され、それらの相対的な位置が表現空間で変化するかという統計的視点を与える。 ショーケースアプリケーションとして、レイヤプルーニングの基準を確立するためにzigzag Persistenceを使用し、最先端の手法に匹敵する結果を得る。
• 参考スコア（独自算出の注目度）: 0.6597195879147556
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Understanding the decision-making processes of large language models is critical given their widespread applications. To achieve this, we aim to connect a formal mathematical framework -- zigzag persistence from topological data analysis -- with practical and easily applicable algorithms. Zigzag persistence is particularly effective for characterizing data as it dynamically transforms across model layers. Within this framework, we introduce topological descriptors that measure how topological features, $p$-dimensional holes, persist and evolve throughout the layers. Unlike methods that assess each layer individually and then aggregate the results, our approach directly tracks the full evolutionary path of these features. This offers a statistical perspective on how prompts are rearranged and their relative positions changed in the representation space, providing insights into the system's operation as an integrated whole. To demonstrate the expressivity and applicability of our framework, we highlight how sensitive these descriptors are to different models and a variety of datasets. As a showcase application to a downstream task, we use zigzag persistence to establish a criterion for layer pruning, achieving results comparable to state-of-the-art methods while preserving the system-level perspective.
• Abstract（参考訳）: 大規模な言語モデルの意思決定プロセスを理解することは、その広範な応用を考えると、非常に重要である。 これを実現するために、我々は、トポロジカルデータ分析からのジグザグ永続性という形式的な数学的フレームワークを、実用的で容易に適用可能なアルゴリズムと結びつけることを目指している。 Zigzagの永続性は、モデル層を動的に変換するデータの特徴付けに特に有効である。 このフレームワーク内では、位相的特徴、$p$次元の穴、そして層全体の持続と進化を計測するトポロジ的記述子を導入する。 それぞれの層を個別に評価して結果を集約する手法とは異なり、我々の手法はこれらの特徴の完全な進化経路を直接追跡する。 これは、プロンプトがどのように再構成され、それらの相対的な位置が表現空間で変化するかという統計的な視点を提供し、システム全体の操作に関する洞察を与える。 フレームワークの表現性と適用性を示すために、これらの記述子が異なるモデルやさまざまなデータセットに対してどれほど敏感であるかを強調します。 下流タスクへのショーケースアプリケーションとして、システムレベルの視点を維持しながら、レイヤプルーニングの基準を確立するためにzigzagの永続性を使用し、最先端の手法に匹敵する結果を得る。

関連論文リスト

• Mesh Mamba: A Unified State Space Model for Saliency Prediction in Non-Textured and Textured Meshes [50.23625950905638]
  メッシュサリエンシは、自然に視覚的注意を引き付ける領域を特定して強調することにより、3D視覚の適応性を高める。 状態空間モデル (SSM) に基づく統合唾液度予測モデルであるメッシュ・マンバを導入する。 Mesh Mambaは、トポロジカルフレームワークにテクスチャ機能をシームレスに組み込んだまま、メッシュの幾何学的構造を効果的に分析する。
  論文  参考訳（メタデータ） (2025-04-02T08:22:25Z)
• Unraveling the Localized Latents: Learning Stratified Manifold Structures in LLM Embedding Space with Sparse Mixture-of-Experts [3.9426000822656224]
  大規模な言語モデルでは、埋め込みは入力データの難易度や領域によって異なる次元の局所多様体構造に存在していると推測する。 注意に基づくソフトゲーティングネットワークを組み込むことで,我々のモデルは入力データソースのアンサンブルのために,特別なサブマニフォールドを学習することを確認した。
  論文  参考訳（メタデータ） (2025-02-19T09:33:16Z)
• Geometry Matters: Benchmarking Scientific ML Approaches for Flow Prediction around Complex Geometries [23.111935712144277]
  複雑な幾何学体を取り巻く流体力学の迅速かつ正確なシミュレーションは、様々な工学的・科学的応用において重要である。 科学機械学習(SciML)はかなりの可能性を示してきたが、この分野のほとんどの研究は単純な幾何学に限られている。 本稿では,複雑な地形上での流動予測のための多種多様なSciMLモデルのベンチマークにより,このギャップを解消する。
  論文  参考訳（メタデータ） (2024-12-31T00:23:15Z)
• Interpetable Target-Feature Aggregation for Multi-Task Learning based on Bias-Variance Analysis [53.38518232934096]
  マルチタスク学習(MTL)は、タスク間の共有知識を活用し、一般化とパフォーマンスを改善するために設計された強力な機械学習パラダイムである。 本稿では,タスククラスタリングと特徴変換の交点におけるMTL手法を提案する。 両段階において、鍵となる側面は減った目標と特徴の解釈可能性を維持することである。
  論文  参考訳（メタデータ） (2024-06-12T08:30:16Z)
• Topological Perspectives on Optimal Multimodal Embedding Spaces [0.0]
  本稿では,CLIPと最近のCLOOBの比較分析について述べる。 提案手法は,モダリティギャップドライバ,高次元と低次元の両方に存在するクラスタリング構造,および各埋め込み空間を形成する上で,次元崩壊が果たす重要な役割を包括的に検討することを含む。
  論文  参考訳（メタデータ） (2024-05-29T08:28:23Z)
• Topological Parallax: A Geometric Specification for Deep Perception Models [0.778001492222129]
  本稿では,学習したモデルを参照データセットと比較する理論的・計算ツールとしてトポロジカルパララックスを導入する。 我々の例では、データセットとモデルの間のこの幾何学的類似性は、信頼性と摂動に不可欠である。 この新しい概念は、ディープラーニングの応用における過度な適合と一般化の間の不明瞭な関係について、現在の議論に価値をもたらすだろう。
  論文  参考訳（メタデータ） (2023-06-20T18:45:24Z)
• Latent Variable Representation for Reinforcement Learning [131.03944557979725]
  モデルに基づく強化学習のサンプル効率を改善するために、潜在変数モデルが学習、計画、探索をいかに促進するかは理論上、実証上、不明である。 状態-作用値関数に対する潜在変数モデルの表現ビューを提供する。これは、抽出可能な変分学習アルゴリズムと楽観主義/悲観主義の原理の効果的な実装の両方を可能にする。 特に,潜伏変数モデルのカーネル埋め込みを組み込んだUPB探索を用いた計算効率の良い計画アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-17T00:26:31Z)
• $k$-Means Clustering for Persistent Homology [0.0]
  永続図空間上の$k$-meansクラスタリングアルゴリズムの収束性を証明する。 また、Karush--Kuhn--Tucker フレームワークにおける最適化問題の解の理論的性質も確立する。
  論文  参考訳（メタデータ） (2022-10-18T17:18:51Z)
• Dynamic Latent Separation for Deep Learning [67.62190501599176]
  機械学習の中核的な問題は、複雑なデータに対するモデル予測のための表現力のある潜在変数を学習することである。 本稿では,表現性を向上し,部分的解釈を提供し,特定のアプリケーションに限定されないアプローチを開発する。
  論文  参考訳（メタデータ） (2022-10-07T17:56:53Z)
• The Geometry of Self-supervised Learning Models and its Impact on Transfer Learning [62.601681746034956]
  自己教師型学習(SSL)はコンピュータビジョンにおいて望ましいパラダイムとして登場した。 本稿では,各特徴空間内の局所的近傍を用いて異なるSSLモデルを分析するためのデータ駆動幾何学的手法を提案する。
  論文  参考訳（メタデータ） (2022-09-18T18:15:38Z)
• Image Synthesis via Semantic Composition [74.68191130898805]
  本稿では,その意味的レイアウトに基づいて現実的なイメージを合成する新しい手法を提案する。 類似した外観を持つ物体に対して、類似した表現を共有するという仮説が立てられている。 本手法は, 空間的変化と関連表現の両方を生じる, 外観相関による領域間の依存関係を確立する。
  論文  参考訳（メタデータ） (2021-09-15T02:26:07Z)
• Learning Robust State Abstractions for Hidden-Parameter Block MDPs [55.31018404591743]
  我々は、ブロックMDPにインスパイアされた堅牢な状態抽象化を実現するために、HiP-MDP設定からの共通構造の概念を活用する。 マルチタスク強化学習 (MTRL) とメタ強化学習 (Meta-RL) の両方のための新しいフレームワークのインスタンス化を導出する。
  論文  参考訳（メタデータ） (2020-07-14T17:25:27Z)
• Deep Learning modeling of Limit Order Book: a comparative perspective [0.0]
  本研究は、高周波取引のためのディープラーニング分野における理論的および実践的な問題に対処する。 ランダムモデル、ロジスティック回帰、LSTM、アテンションマスクを備えたLSTM、CNN-LSTM、アテンションなどの最先端モデルについてレビューし、同じタスクで比較する。 モデリング手法の根底にある次元は、リミット・オーダー・ブックの力学に固有のものかどうかを理解するために研究される。
  論文  参考訳（メタデータ） (2020-07-12T17:06:30Z)
• Hierarchical regularization networks for sparsification based learning on noisy datasets [0.0]
  階層は、連続的により微細なスケールで特定される近似空間から従う。 各スケールでのモデル一般化を促進するため,複数次元にわたる新規な射影型ペナルティ演算子も導入する。 その結果、合成データセットと実データセットの両方において、データ削減およびモデリング戦略としてのアプローチの性能が示された。
  論文  参考訳（メタデータ） (2020-06-09T18:32:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。