論文の概要: Multi-Scale Manifold Alignment for Interpreting Large Language Models: A Unified Information-Geometric Framework

• arxiv url: http://arxiv.org/abs/2505.20333v2
• Date: Mon, 13 Oct 2025 16:09:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 15:48:08.657031
• Title: Multi-Scale Manifold Alignment for Interpreting Large Language Models: A Unified Information-Geometric Framework
• Title（参考訳）: 大規模言語モデル解釈のためのマルチスケールマニフォールドアライメント:統一情報幾何学フレームワーク
• Authors: Yukun Zhang, Qi Dong,
• Abstract要約: 我々は,LLM表現を局所的,中間的,大域的多様体に分解する情報幾何学的フレームワークであるマルチスケールマニフォールドアライメント(MSMA)を提案する。 我々は一貫した階層パターンを観察し、MSMAが複数の推定値の下でアライメントの指標を改善することを発見した。 異なるスケールでの制御された介入は、語彙の多様性、文構造、談話のコヒーレンスに区別され、アーキテクチャに依存した効果をもたらす。
• 参考スコア（独自算出の注目度）: 4.935224714809964
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present Multi-Scale Manifold Alignment(MSMA), an information-geometric framework that decomposes LLM representations into local, intermediate, and global manifolds and learns cross-scale mappings that preserve geometry and information. Across GPT-2, BERT, RoBERTa, and T5, we observe consistent hierarchical patterns and find that MSMA improves alignment metrics under multiple estimators (e.g., relative KL reduction and MI gains with statistical significance across seeds). Controlled interventions at different scales yield distinct and architecture-dependent effects on lexical diversity, sentence structure, and discourse coherence. While our theoretical analysis relies on idealized assumptions, the empirical results suggest that multi-objective alignment offers a practical lens for analyzing cross-scale information flow and guiding representation-level control.
• Abstract（参考訳）: 本稿では, LLM表現を局所的, 中間的, グローバルな多様体に分解し, 幾何や情報を保存するためのクロススケールマッピングを学習する情報幾何学的フレームワークであるMulti-Scale Manifold Alignment(MSMA)を提案する。 GPT-2,BERT,RoBERTa,T5の全体にわたって、一貫した階層パターンを観察し、MSMAが複数の推定値(例えば、相対的なKL減少とMIは種子間で統計的に有意な上昇)の下でアライメントの指標を改善することを発見した。 異なるスケールでの制御された介入は、語彙の多様性、文構造、談話のコヒーレンスに区別され、アーキテクチャに依存した効果をもたらす。 我々の理論分析は理想的な仮定に依存しているが、実証的な結果は、多目的アライメントは、クロススケール情報フローを解析し、表現レベル制御を導くための実用的なレンズを提供することを示している。

関連論文リスト

• Graft: Integrating the Domain Knowledge via Efficient Parameter Synergy for MLLMs [56.76586846269894]
  MLLM(Multimodal Large Language Models)は、様々な領域で成功している。 その重要性にもかかわらず、ドメイン固有のMLLM間の知識共有の研究はほとんど未調査のままである。 専門家機能のモジュール構成を可能にする統一パラメータ統合フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-30T15:07:41Z)
• Multimodal LLM-Guided Semantic Correction in Text-to-Image Diffusion [52.315729095824906]
  MLLM Semantic-Corrected Ping-Pong-Ahead Diffusion (PPAD) は,マルチモーダル大言語モデル(MLLM)を推論中の意味的オブザーバとして導入する新しいフレームワークである。 中間世代をリアルタイムに分析し、潜在意味的不整合を識別し、フィードバックを制御可能な信号に変換し、残りの認知ステップを積極的に導く。 大規模な実験ではPPADの大幅な改善が示されている。
  論文  参考訳（メタデータ） (2025-05-26T14:42:35Z)
• LatentLLM: Attention-Aware Joint Tensor Compression [50.33925662486034]
  大規模言語モデル(LLM)と大規模マルチモーダルモデル(LMM)は膨大な計算量とメモリ資源を必要とする。 本稿では,LLM/LMMを低次元潜在構造に変換するための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-23T22:39:54Z)
• Multi-Scale Probabilistic Generation Theory: A Hierarchical Framework for Interpreting Large Language Models [1.2027959564488593]
  大規模なTransformerベースの言語モデルは、優れたパフォーマンスを達成するが、テキストの計画、構造、実現には不透明である。 階層的なフレームワークであるMulti_Scale Probabilistic Generation Theory (MSPGT)を導入し、生成を3つの意味尺度_globalコンテキスト、中間構造、局所的な単語選択に分解する。
  論文  参考訳（メタデータ） (2025-05-23T16:55:35Z)
• Syntactic and Semantic Control of Large Language Models via Sequential Monte Carlo [90.78001821963008]
  広い範囲のLMアプリケーションは、構文的制約や意味論的制約に適合するテキストを生成する必要がある。 我々は、連続モンテカルロ(SMC)に基づく制御LM生成のためのアーキテクチャを開発する。 我々のシステムはLew et al. (2023) のフレームワーク上に構築されており、言語モデル確率型プログラミング言語と統合されている。
  論文  参考訳（メタデータ） (2025-04-17T17:49:40Z)
• Model Hemorrhage and the Robustness Limits of Large Language Models [119.46442117681147]
  大規模言語モデル(LLM)は、自然言語処理タスク全体で強力なパフォーマンスを示すが、デプロイメント用に修正された場合、大幅なパフォーマンス低下を経験する。 この現象をモデル出血(パラメータ変更とアーキテクチャ変更によるパフォーマンス低下)と定義する。
  論文  参考訳（メタデータ） (2025-03-31T10:16:03Z)
• Distributional Vision-Language Alignment by Cauchy-Schwarz Divergence [83.15764564701706]
  本稿では、コーシーシュワルツの発散を相互情報と統合して視覚言語アライメントを行う新しいフレームワークを提案する。 CS分散はInfoNCEのアライメント・ユニフォーム性競合にシームレスに対処し,InfoNCEと補完的な役割を担っていることがわかった。 テキスト・画像生成およびモダリティ横断検索タスクの実験により,本手法が視覚言語アライメントに与える影響を実証した。
  論文  参考訳（メタデータ） (2025-02-24T10:29:15Z)
• Contextual Subspace Manifold Projection for Structural Refinement of Large Language Model Representations [0.0]
  ディープ・ニューラル・アーキテクチャの内部表現は言語構造の高次元抽象化を符号化する。 本稿では,制御された部分空間制約によりトークン埋め込みを選択的に再構成する構造的精細化手法を提案する。 実験により、構造的介入により異方性が減少し、表現のコンパクト性が改善された。
  論文  参考訳（メタデータ） (2025-02-12T00:00:37Z)
• Latent Lexical Projection in Large Language Models: A Novel Approach to Implicit Representation Refinement [0.0]
  ラテントレキシカル射影 (LLP) は、構造化された空間からラテント空間への変換を通じて、レキシカル表現を洗練するために導入された。 LLPは既存の言語モデルアーキテクチャに最適化されたプロジェクション機構を統合する。 評価は、パープレキシティの低下とBLEUスコアの上昇を示し、予測精度と流布率の改善を示唆している。
  論文  参考訳（メタデータ） (2025-02-03T23:18:53Z)
• Intrinsic Tensor Field Propagation in Large Language Models: A Novel Approach to Contextual Information Flow [0.0]
  内在的場伝播は、様々な言語構造にわたる文脈的保持、依存性の解決、推論を改善する。 オープンソーストランスフォーマーベースのモデルで行った実験では、様々な言語構造にわたる文脈保持、依存関係の解決、推論において測定可能な改善が提供されている。
  論文  参考訳（メタデータ） (2025-01-31T08:32:32Z)
• Semantic Layered Embedding Diffusion in Large Language Models for Multi-Contextual Consistency [0.0]
  Semantic Layered Embedding Diffusion (SLED) メカニズムは、トランスフォーマーベースのアーキテクチャにおける階層的セマンティクスの表現を再定義する。 スペクトル解析に基づく多層拡散プロセスを導入することにより、大域的および局所的セマンティックコヒーレンスの間の複雑なバランスを実現する。 実験結果は、様々な領域で効果的に適応するメカニズムの能力を強調し、パープレキシティとBLEUスコアを著しく改善した。
  論文  参考訳（メタデータ） (2025-01-26T05:17:04Z)
• Vocabulary-Defined Semantics: Latent Space Clustering for Improving In-Context Learning [32.178931149612644]
  コンテキスト内学習により、言語モデルは下流のデータに適応したり、プロンプト内のデモとして少数のサンプルでタスクを組み込むことができる。 しかし、文脈内学習のパフォーマンスは、実演の質、形式、順序によって不安定である可能性がある。 語彙定義意味論(vocabulary-defined semantics)を提案する。
  論文  参考訳（メタデータ） (2024-01-29T14:29:48Z)
• Sparsity-Guided Holistic Explanation for LLMs with Interpretable Inference-Time Intervention [53.896974148579346]
  大規模言語モデル(LLM)は、様々な自然言語処理領域において前例のないブレークスルーを達成した。 LLMの謎的なブラックボックスの性質は、透過的で説明可能なアプリケーションを妨げる、解釈可能性にとって重要な課題である。 本稿では,LLMの全体的解釈を提供することを目的として,スポーシティ誘導技術に係わる新しい方法論を提案する。
  論文  参考訳（メタデータ） (2023-12-22T19:55:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。