論文の概要: Multi-Scale Manifold Alignment: A Unified Framework for Enhanced Explainability of Large Language Models

• arxiv url: http://arxiv.org/abs/2505.20333v1
• Date: Sat, 24 May 2025 10:25:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-28 17:05:58.179644
• Title: Multi-Scale Manifold Alignment: A Unified Framework for Enhanced Explainability of Large Language Models
• Title（参考訳）: マルチスケールマニフォールドアライメント:大規模言語モデルの説明可能性向上のための統一フレームワーク
• Authors: Yukun Zhang, Qi Dong,
• Abstract要約: 近年のLLM(Large Language Models)の進歩は高いパフォーマンスを達成しているが、内部の推論は不透明であり、解釈可能性や重要なアプリケーションに対する信頼が制限されている。 提案するMulti_Scale Manifold Alignmentフレームワークは,潜在空間を大域的,中間的,局所的な意味的なマニフォールドに分解し,テーマ,文脈,単語レベルの詳細を抽出する。 このフレームワークは、LLMがマルチスケールセマンティクスをどのように構成し、解釈可能性を高め、バイアス検出やロバストネス向上などのアプリケーションを可能にするか、統一的な説明を提供する。
• 参考スコア（独自算出の注目度）: 4.084134914321567
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in Large Language Models (LLMs) have achieved strong performance, yet their internal reasoning remains opaque, limiting interpretability and trust in critical applications. We propose a novel Multi_Scale Manifold Alignment framework that decomposes the latent space into global, intermediate, and local semantic manifolds capturing themes, context, and word-level details. Our method introduces cross_scale mapping functions that jointly enforce geometric alignment (e.g., Procrustes analysis) and information preservation (via mutual information constraints like MINE or VIB). We further incorporate curvature regularization and hyperparameter tuning for stable optimization. Theoretical analysis shows that alignment error, measured by KL divergence, can be bounded under mild assumptions. This framework offers a unified explanation of how LLMs structure multi-scale semantics, advancing interpretability and enabling applications such as bias detection and robustness enhancement.
• Abstract（参考訳）: 近年のLLM(Large Language Models)の進歩は高いパフォーマンスを達成しているが、内部の推論は不透明であり、解釈可能性や重要なアプリケーションに対する信頼が制限されている。 テーマ, 文脈, 単語レベルの詳細を抽出した, 潜在空間を大域的, 中間的, 局所的な意味多様体に分解する, 新規なマルチスケール・マニフォールド・アライメント・フレームワークを提案する。 本手法では,MINE や VIB などの相互情報制約を介し,幾何学的アライメント(例えば Procrustes 解析)と情報保存を併用するクロススケールマッピング機能を導入する。 さらに、安定な最適化のために、曲率正則化とハイパーパラメータチューニングを組み込む。 理論的解析により、KLの発散によって測定されたアライメント誤差は、軽微な仮定の下では有界であることが示された。 このフレームワークは、LLMがマルチスケールセマンティクスをどのように構成し、解釈可能性を高め、バイアス検出やロバストネス向上などのアプリケーションを可能にするか、統一的な説明を提供する。

関連論文リスト

• MS-ISSM: Objective Quality Assessment of Point Clouds Using Multi-scale Implicit Structural Similarity [65.85858856481131]
  点雲の非構造的で不規則な性質は、客観的品質評価(PCQA)に重大な課題をもたらす マルチスケールインシシシット構造類似度測定(MS-ISSM)を提案する。
  論文  参考訳（メタデータ） (2026-01-03T14:58:52Z)
• SIGMMA: Hierarchical Graph-Based Multi-Scale Multi-modal Contrastive Alignment of Histopathology Image and Spatial Transcriptome [0.5748432401788427]
  HE画像の階層的表現と空間トランスクリプトームプロファイルを学習するためのマルチモーダルコントラストアライメントフレームワークであるSigmmaを提案する。 細胞間相互作用をグラフとして表現することにより,組織内微小環境内での微細な細胞間相互作用を効果的に捉えることができる。 我々は、Sigmmが、クロスモーダル対応をよりよく捉えた表現を学習し、遺伝子発現予測タスクの9.78%、データセット間のクロスモーダル検索タスクの26.93%の改善をもたらすことを実証した。
  論文  参考訳（メタデータ） (2025-11-19T14:22:23Z)
• Graft: Integrating the Domain Knowledge via Efficient Parameter Synergy for MLLMs [56.76586846269894]
  MLLM(Multimodal Large Language Models)は、様々な領域で成功している。 その重要性にもかかわらず、ドメイン固有のMLLM間の知識共有の研究はほとんど未調査のままである。 専門家機能のモジュール構成を可能にする統一パラメータ統合フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-30T15:07:41Z)
• EarthMind: Leveraging Cross-Sensor Data for Advanced Earth Observation Interpretation with a Unified Multimodal LLM [103.7537991413311]
  地球観測(EO)データ分析は、環境と人間の動態のモニタリングに不可欠である。 最近のMultimodal Large Language Models (MLLM) は、EO理解の可能性を秘めているが、シングルセンサー入力に限定されている。 我々は、シングルセンサーとクロスセンサーの両方の入力を処理する統合視覚言語フレームワークであるEarthMindを提案する。
  論文  参考訳（メタデータ） (2025-06-02T13:36:05Z)
• The Shape of Adversarial Influence: Characterizing LLM Latent Spaces with Persistent Homology [4.280045926995889]
  本研究では,大規模言語モデルの内部表現空間に対して,逆入力が体系的にどう影響するかに着目した。 アクティベーションの形状と神経情報の流れを定量化することにより、アーキテクチャに依存しない枠組みは、表現的変化の基本的な不変性を明らかにする。
  論文  参考訳（メタデータ） (2025-05-26T18:31:49Z)
• Multimodal LLM-Guided Semantic Correction in Text-to-Image Diffusion [52.315729095824906]
  MLLM Semantic-Corrected Ping-Pong-Ahead Diffusion (PPAD) は,マルチモーダル大言語モデル(MLLM)を推論中の意味的オブザーバとして導入する新しいフレームワークである。 中間世代をリアルタイムに分析し、潜在意味的不整合を識別し、フィードバックを制御可能な信号に変換し、残りの認知ステップを積極的に導く。 大規模な実験ではPPADの大幅な改善が示されている。
  論文  参考訳（メタデータ） (2025-05-26T14:42:35Z)
• LatentLLM: Attention-Aware Joint Tensor Compression [50.33925662486034]
  大規模言語モデル(LLM)と大規模マルチモーダルモデル(LMM)は膨大な計算量とメモリ資源を必要とする。 本稿では,LLM/LMMを低次元潜在構造に変換するための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-23T22:39:54Z)
• Multi-Scale Probabilistic Generation Theory: A Hierarchical Framework for Interpreting Large Language Models [1.2027959564488593]
  大規模なTransformerベースの言語モデルは、優れたパフォーマンスを達成するが、テキストの計画、構造、実現には不透明である。 階層的なフレームワークであるMulti_Scale Probabilistic Generation Theory (MSPGT)を導入し、生成を3つの意味尺度_globalコンテキスト、中間構造、局所的な単語選択に分解する。
  論文  参考訳（メタデータ） (2025-05-23T16:55:35Z)
• Syntactic and Semantic Control of Large Language Models via Sequential Monte Carlo [90.78001821963008]
  広い範囲のLMアプリケーションは、構文的制約や意味論的制約に適合するテキストを生成する必要がある。 我々は、連続モンテカルロ(SMC)に基づく制御LM生成のためのアーキテクチャを開発する。 我々のシステムはLew et al. (2023) のフレームワーク上に構築されており、言語モデル確率型プログラミング言語と統合されている。
  論文  参考訳（メタデータ） (2025-04-17T17:49:40Z)
• Model Hemorrhage and the Robustness Limits of Large Language Models [119.46442117681147]
  大規模言語モデル(LLM)は、自然言語処理タスク全体で強力なパフォーマンスを示すが、デプロイメント用に修正された場合、大幅なパフォーマンス低下を経験する。 この現象をモデル出血(パラメータ変更とアーキテクチャ変更によるパフォーマンス低下)と定義する。
  論文  参考訳（メタデータ） (2025-03-31T10:16:03Z)
• Distributional Vision-Language Alignment by Cauchy-Schwarz Divergence [83.15764564701706]
  本稿では、コーシーシュワルツの発散を相互情報と統合して視覚言語アライメントを行う新しいフレームワークを提案する。 CS分散はInfoNCEのアライメント・ユニフォーム性競合にシームレスに対処し,InfoNCEと補完的な役割を担っていることがわかった。 テキスト・画像生成およびモダリティ横断検索タスクの実験により,本手法が視覚言語アライメントに与える影響を実証した。
  論文  参考訳（メタデータ） (2025-02-24T10:29:15Z)
• Contextual Subspace Manifold Projection for Structural Refinement of Large Language Model Representations [0.0]
  ディープ・ニューラル・アーキテクチャの内部表現は言語構造の高次元抽象化を符号化する。 本稿では,制御された部分空間制約によりトークン埋め込みを選択的に再構成する構造的精細化手法を提案する。 実験により、構造的介入により異方性が減少し、表現のコンパクト性が改善された。
  論文  参考訳（メタデータ） (2025-02-12T00:00:37Z)
• Latent Lexical Projection in Large Language Models: A Novel Approach to Implicit Representation Refinement [0.0]
  ラテントレキシカル射影 (LLP) は、構造化された空間からラテント空間への変換を通じて、レキシカル表現を洗練するために導入された。 LLPは既存の言語モデルアーキテクチャに最適化されたプロジェクション機構を統合する。 評価は、パープレキシティの低下とBLEUスコアの上昇を示し、予測精度と流布率の改善を示唆している。
  論文  参考訳（メタデータ） (2025-02-03T23:18:53Z)
• Intrinsic Tensor Field Propagation in Large Language Models: A Novel Approach to Contextual Information Flow [0.0]
  内在的場伝播は、様々な言語構造にわたる文脈的保持、依存性の解決、推論を改善する。 オープンソーストランスフォーマーベースのモデルで行った実験では、様々な言語構造にわたる文脈保持、依存関係の解決、推論において測定可能な改善が提供されている。
  論文  参考訳（メタデータ） (2025-01-31T08:32:32Z)
• Semantic Layered Embedding Diffusion in Large Language Models for Multi-Contextual Consistency [0.0]
  Semantic Layered Embedding Diffusion (SLED) メカニズムは、トランスフォーマーベースのアーキテクチャにおける階層的セマンティクスの表現を再定義する。 スペクトル解析に基づく多層拡散プロセスを導入することにより、大域的および局所的セマンティックコヒーレンスの間の複雑なバランスを実現する。 実験結果は、様々な領域で効果的に適応するメカニズムの能力を強調し、パープレキシティとBLEUスコアを著しく改善した。
  論文  参考訳（メタデータ） (2025-01-26T05:17:04Z)
• Does Representation Matter? Exploring Intermediate Layers in Large Language Models [22.704926222438456]
  大規模言語モデル(LLM)における中間表現の品質について検討する。 中間層は、最終層よりも下流のタスクに対してより情報的な表現をもたらすことがよくあります。 本研究は,LLMの内部力学とアーキテクチャ最適化とトレーニングのためのガイド戦略を照らしたものである。
  論文  参考訳（メタデータ） (2024-12-12T18:48:51Z)
• Aligning Large Language Models and Geometric Deep Models for Protein Representation [57.59506688299817]
  遅延表現アライメントは、異なるモダリティからの埋め込みを共有空間にマッピングするために使用され、しばしば大きな言語モデル(LLM)の埋め込み空間と一致している。 プリミティブなタンパク質中心の大規模言語モデル (MLLM) が登場したが、それらは表現の至る所で最適なアライメントの実践に関する根本的な理解が欠如しているアプローチに大きく依存している。 本研究では,タンパク質領域におけるLLMと幾何学的深部モデル(GDM)のマルチモーダル表現のアライメントについて検討する。 本研究は, モデルおよびタンパク質の観点からのアライメント要因について検討し, 現行アライメント手法の課題を特定し, アライメントプロセスを改善するための戦略を提案する。
  論文  参考訳（メタデータ） (2024-11-08T04:15:08Z)
• A Theoretical Analysis of Self-Supervised Learning for Vision Transformers [66.08606211686339]
  マスク付きオートエンコーダ(MAE)とコントラスト学習(CL)は異なる種類の表現をキャプチャする。 我々は,MAEとCLの両目的に対して,一層ソフトマックス型視覚変換器(ViT)のトレーニングダイナミクスについて検討した。
  論文  参考訳（メタデータ） (2024-03-04T17:24:03Z)
• Vocabulary-Defined Semantics: Latent Space Clustering for Improving In-Context Learning [32.178931149612644]
  コンテキスト内学習により、言語モデルは下流のデータに適応したり、プロンプト内のデモとして少数のサンプルでタスクを組み込むことができる。 しかし、文脈内学習のパフォーマンスは、実演の質、形式、順序によって不安定である可能性がある。 語彙定義意味論(vocabulary-defined semantics)を提案する。
  論文  参考訳（メタデータ） (2024-01-29T14:29:48Z)
• Sparsity-Guided Holistic Explanation for LLMs with Interpretable Inference-Time Intervention [53.896974148579346]
  大規模言語モデル(LLM)は、様々な自然言語処理領域において前例のないブレークスルーを達成した。 LLMの謎的なブラックボックスの性質は、透過的で説明可能なアプリケーションを妨げる、解釈可能性にとって重要な課題である。 本稿では,LLMの全体的解釈を提供することを目的として,スポーシティ誘導技術に係わる新しい方法論を提案する。
  論文  参考訳（メタデータ） (2023-12-22T19:55:58Z)
• The Geometry of Self-supervised Learning Models and its Impact on Transfer Learning [62.601681746034956]
  自己教師型学習(SSL)はコンピュータビジョンにおいて望ましいパラダイムとして登場した。 本稿では,各特徴空間内の局所的近傍を用いて異なるSSLモデルを分析するためのデータ駆動幾何学的手法を提案する。
  論文  参考訳（メタデータ） (2022-09-18T18:15:38Z)
• Deep Relational Metric Learning [84.95793654872399]
  本稿では,画像クラスタリングと検索のためのディープリレーショナルメトリック学習フレームワークを提案する。 我々は、クラス間分布とクラス内分布の両方をモデル化するために、異なる側面から画像を特徴付ける特徴のアンサンブルを学ぶ。 広く使われているCUB-200-2011、Cars196、Stanford Online Productsデータセットの実験は、我々のフレームワークが既存の深層学習方法を改善し、非常に競争力のある結果をもたらすことを示した。
  論文  参考訳（メタデータ） (2021-08-23T09:31:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。