論文の概要: Semantic Convergence: Investigating Shared Representations Across Scaled LLMs

• arxiv url: http://arxiv.org/abs/2507.22918v1
• Date: Mon, 21 Jul 2025 07:09:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-03 20:19:02.938462
• Title: Semantic Convergence: Investigating Shared Representations Across Scaled LLMs
• Title（参考訳）: セマンティック・コンバージェンス(Semantic Convergence) - 大規模LLMにおける共有表現の検討
• Authors: Daniel Son, Sanjana Rathore, Andrew Rufail, Adrian Simon, Daniel Zhang, Soham Dave, Cole Blondin, Kevin Zhu, Sean O'Brien,
• Abstract要約: 大きな言語モデルは、サイズの違いにもかかわらず、世界全体を広く類似した解釈可能な特徴に彫り込み、クロスモデル解釈の基盤として普遍性を補強する。 予備実験では、単一トークンからマルチトークン部分空間への解析を拡張し、意味論的に類似した部分空間が言語モデルと同様に相互作用することを示す。
• 参考スコア（独自算出の注目度）: 4.172347145536457
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We investigate feature universality in Gemma-2 language models (Gemma-2-2B and Gemma-2-9B), asking whether models with a four-fold difference in scale still converge on comparable internal concepts. Using the Sparse Autoencoder (SAE) dictionary-learning pipeline, we utilize SAEs on each model's residual-stream activations, align the resulting monosemantic features via activation correlation, and compare the matched feature spaces with SVCCA and RSA. Middle layers yield the strongest overlap, while early and late layers show far less similarity. Preliminary experiments extend the analysis from single tokens to multi-token subspaces, showing that semantically similar subspaces interact similarly with language models. These results strengthen the case that large language models carve the world into broadly similar, interpretable features despite size differences, reinforcing universality as a foundation for cross-model interpretability.
• Abstract（参考訳）: Gemma-2 言語モデル (Gemma-2-2B と Gemma-2-9B) の特徴的普遍性について検討し,4倍のスケール差を持つモデルが依然として同等の内部概念に収束しているかどうかを問う。 Sparse Autoencoder (SAE) 辞書学習パイプラインを用いて、各モデルの残差ストリームアクティベーションにSAEを使用し、アクティベーション相関によって得られたモノセマンティック特徴をアライメントし、一致する特徴空間をSVCCAとRSAと比較する。 中層が最重なり合うのに対して、前期層と後期層ははるかに類似度が低い。 予備実験では、単一トークンからマルチトークン部分空間への解析を拡張し、意味論的に類似した部分空間が言語モデルと同様に相互作用することを示す。 これらの結果は、大きな言語モデルが、大きさの違いにもかかわらず世界全体を広く類似した解釈可能な特徴に彫り上げ、クロスモデル解釈可能性の基礎として普遍性を補強する、というケースを強化した。

関連論文リスト

• SGC-Net: Stratified Granular Comparison Network for Open-Vocabulary HOI Detection [16.89965584177711]
  近年のオープン・ボキャブラリ・ヒューマン・オブジェクト・インタラクション(OV-HOI)検出手法は,補助的な記述を生成するために大規模言語モデル(LLM)に依存し,CLIPから抽出した知識を活用して未知の相互作用カテゴリを検出する。 1) テキストアライメントのための最終層視覚的特徴に依存し、中間層から重要なオブジェクトレベルの詳細を無視すること、(2) CLIPの特定のクラスに対する固有のバイアスに起因する意味的類似性混同、そしてラベルのみに基づくLCM生成記述は、クラス間の類似性を適切に捉えることができないこと、である。
  論文  参考訳（メタデータ） (2025-03-01T09:26:05Z)
• Quantifying Feature Space Universality Across Large Language Models via Sparse Autoencoders [14.594698598522797]
  普遍性仮説 (University hypothesis) は、異なるモデルがその潜在空間における同様の概念表現に収束すると主張している。 アナロガス特徴普遍性(Analogous Feature Universality)と呼ばれる普遍性仮説の新たなバリエーションを導入する。
  論文  参考訳（メタデータ） (2024-10-09T15:18:57Z)
• Towards Universality: Studying Mechanistic Similarity Across Language Model Architectures [49.24097977047392]
  本稿では,言語モデリングの主流となる2つのアーキテクチャ,すなわち Transformers と Mambas について検討する。 我々はこれらのモデルから解釈可能な特徴を分離するためにスパースオートエンコーダ(SAE)を用いることを提案し、これらの2つのモデルでほとんどの特徴が似ていることを示す。
  論文  参考訳（メタデータ） (2024-10-09T08:28:53Z)
• On the Compositional Generalization Gap of In-Context Learning [73.09193595292233]
  In-distriion (ID) と Out-of-distriion (OOD) の相違について考察する。 我々は,3つの意味解析データセットを用いて,OPT,BLOOM,CodeGen,Codexの4つのモデルファミリを評価する。
  論文  参考訳（メタデータ） (2022-11-15T19:56:37Z)
• Beyond Instance Discrimination: Relation-aware Contrastive Self-supervised Learning [75.46664770669949]
  本稿では,関係認識型コントラスト型自己教師型学習(ReCo)をインスタンス関係に統合するために提案する。 当社のReCoは、常に顕著なパフォーマンス改善を実現しています。
  論文  参考訳（メタデータ） (2022-11-02T03:25:28Z)
• A Variational Hierarchical Model for Neural Cross-Lingual Summarization [85.44969140204026]
  言語間の要約(英: cross-lingual summarization)とは、ある言語の文書を別の言語の要約に変換することである。 CLSに関する既存の研究は主にパイプライン手法の利用やエンドツーエンドモデルの共同トレーニングに重点を置いている。 条件付き変分自動エンコーダに基づくCLSタスクの階層モデルを提案する。
  論文  参考訳（メタデータ） (2022-03-08T02:46:11Z)
• A comprehensive comparative evaluation and analysis of Distributional Semantic Models [61.41800660636555]
  我々は、静的DSMによって生成されたり、BERTによって生成された文脈化されたベクトルを平均化して得られるような、型分布ベクトルの包括的評価を行う。 その結果、予測ベースモデルの優越性は現実よりも明らかであり、ユビキタスではないことが明らかとなった。 我々は認知神経科学からRepresentational similarity Analysis(RSA)の方法論を借りて、分布モデルによって生成された意味空間を検査する。
  論文  参考訳（メタデータ） (2021-05-20T15:18:06Z)
• Joint Universal Syntactic and Semantic Parsing [39.39769254704693]
  我々は,Universal Decompositional Semanticsデータセットに含まれる豊富な構文と意味アノテーションを利用する。 構文と意味論の合同モデルの振る舞いを分析し,言語理論が支持するパターンを見出した。 次に、結合モデリングが多言語設定に一般化する程度を調査し、8つの言語で同様の傾向を見出す。
  論文  参考訳（メタデータ） (2021-04-12T17:56:34Z)
• BURT: BERT-inspired Universal Representation from Learning Meaningful Segment [46.51685959045527]
  この研究は普遍的な表現学習、すなわち一様ベクトル空間における言語単位の異なるレベルへの埋め込みを導入し、探求する。 我々は、異なるレベルの言語単位を同じベクトル空間に符号化する普遍表現モデルburtを提案する。 具体的には,ポイントワイズ相互情報(pmi)に基づいて有意義なセグメントを抽出・マスキングし,異なる粒度目標を事前学習段階に組み込む。
  論文  参考訳（メタデータ） (2020-12-28T16:02:28Z)
• Learning Universal Representations from Word to Sentence [89.82415322763475]
  この研究は普遍的な表現学習、すなわち一様ベクトル空間における言語単位の異なるレベルへの埋め込みを導入し、探求する。 本稿では, 単語, 句, 文の観点から, 類似したデータセットを構築するためのアプローチを提案する。 適切なトレーニング設定を組み込んだよく訓練されたトランスフォーマーモデルが、効果的に普遍的な表現が得られることを実証的に検証する。
  論文  参考訳（メタデータ） (2020-09-10T03:53:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。