論文の概要: Disentangling concept semantics via multilingual averaging in Sparse Autoencoders

• arxiv url: http://arxiv.org/abs/2508.14275v1
• Date: Tue, 19 Aug 2025 21:18:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-21 16:52:41.273671
• Title: Disentangling concept semantics via multilingual averaging in Sparse Autoencoders
• Title（参考訳）: スパースオートエンコーダにおける多言語平均化によるディエンタングリング概念意味論
• Authors: Cliff O'Reilly, Ernesto Jimenez-Ruiz, Tillman Weyde,
• Abstract要約: 本稿では,スパースオートエンコーダを用いた概念アクティベーションの平均化により,Large Langue Modelsの概念セマンティクスを分離する手法を提案する。 Sparse Autoencoders のオープンソース Gemma Scope スイートを用いて,各クラスおよび言語バージョンに対する概念アクティベーションを得る。 以上の結果から,概念平均は単一言語自体と比較してクラス間の真の関係に一致することが示唆された。
• 参考スコア（独自算出の注目度）: 3.1542695050861544
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Connecting LLMs with formal knowledge representation and reasoning is a promising approach to address their shortcomings. Embeddings and sparse autoencoders are widely used to represent textual content, but the semantics are entangled with syntactic and language-specific information. We propose a method that isolates concept semantics in Large Langue Models by averaging concept activations derived via Sparse Autoencoders. We create English text representations from OWL ontology classes, translate the English into French and Chinese and then pass these texts as prompts to the Gemma 2B LLM. Using the open source Gemma Scope suite of Sparse Autoencoders, we obtain concept activations for each class and language version. We average the different language activations to derive a conceptual average. We then correlate the conceptual averages with a ground truth mapping between ontology classes. Our results give a strong indication that the conceptual average aligns to the true relationship between classes when compared with a single language by itself. The result hints at a new technique which enables mechanistic interpretation of internal network states with higher accuracy.
• Abstract（参考訳）: LLMを形式的な知識表現と推論で結びつけることは、その欠点に対処するための有望なアプローチである。 埋め込みやスパースオートエンコーダはテキストコンテンツを表現するために広く使われているが、セマンティクスは構文情報や言語固有の情報と絡み合っている。 本稿では,スパースオートエンコーダを用いた概念アクティベーションの平均化により,Large Langue Modelsの概念セマンティクスを分離する手法を提案する。 OWLオントロジークラスから英語のテキスト表現を作成し、英語をフランス語と中国語に翻訳し、これらのテキストをGemma 2B LLMへのプロンプトとして渡す。 Sparse Autoencoders のオープンソース Gemma Scope スイートを用いて,各クラスおよび言語バージョンに対する概念アクティベーションを得る。 異なる言語のアクティベーションを平均化し、概念的な平均を導き出す。 次に、概念平均をオントロジークラス間の基底真理写像と相関付ける。 以上の結果から,概念平均は単一言語自体と比較してクラス間の真の関係に一致することが示唆された。 その結果,より高精度な内部ネットワーク状態の機械的解釈を可能にする新しい手法が示唆された。

関連論文リスト

• LUCID-SAE: Learning Unified Vision-Language Sparse Codes for Interpretable Concept Discovery [14.222802170483739]
  LUCIDは、画像パッチとテキストトークン表現のための共有潜在辞書を学習する視覚言語スパースオートエンコーダである。 LUCIDは、パッチレベルのグラウンド化をサポートし、クロスモーダルなニューロン対応を確立し、概念クラスタリング問題に対する堅牢性を高める、解釈可能な共有特徴をもたらす。 我々の分析では、LUCIDの共有機能は、アクション、属性、抽象概念を含む、オブジェクト以外の多様なセマンティックなカテゴリをキャプチャする。
  論文  参考訳（メタデータ） (2026-02-07T02:01:25Z)
• Catalog-Native LLM: Speaking Item-ID Dialect with Less Entanglement for Recommendation [41.62404367454763]
  本稿では Item-ID + Oral- Language Mixture-of-Experts Language Model (IDIOMoE) を紹介する。 アイテムの相互作用履歴を言語空間内のネイティブな方言として扱い、協調的なシグナルを自然言語と同じ方法で理解できるようにする。 パブリックデータセットとプロプライエタリデータセットの両方で強力なレコメンデーションパフォーマンスを示している。
  論文  参考訳（メタデータ） (2025-09-30T15:30:43Z)
• Multi-Sense Embeddings for Language Models and Knowledge Distillation [17.559171180573664]
  変換器ベースの大規模言語モデル(LLM)は、周囲のコンテキストに応じて同じトークンに対して異なる表現を生成するコンテキスト埋め込みに依存している。 本稿では,各トークンのドロップイン置換としてマルチセンス埋め込みを提案し,その使用範囲を言語で把握する。
  論文  参考訳（メタデータ） (2025-04-08T13:36:36Z)
• Large Concept Models: Language Modeling in a Sentence Representation Space [62.73366944266477]
  本稿では,概念を命名した明示的な高レベルな意味表現に基づくアーキテクチャの試みを行う。 概念は言語とモダリティに依存しないものであり、フローにおけるより高いレベルの考えや行動を表している。 本モデルでは,多くの言語に対して,ゼロショットの一般化性能が顕著であることを示す。
  論文  参考訳（メタデータ） (2024-12-11T23:36:20Z)
• Tomato, Tomahto, Tomate: Measuring the Role of Shared Semantics among Subwords in Multilingual Language Models [88.07940818022468]
  エンコーダのみの多言語言語モデル(mLM)におけるサブワード間の共有セマンティクスの役割を測る第一歩を踏み出した。 意味的に類似したサブワードとその埋め込みをマージして「意味トークン」を形成する。 グループ化されたサブワードの検査では 様々な意味的類似性を示します
  論文  参考訳（メタデータ） (2024-11-07T08:38:32Z)
• Text-Video Retrieval with Global-Local Semantic Consistent Learning [122.15339128463715]
  我々は,シンプルで効果的なグローバル局所意味的一貫性学習(GLSCL)を提案する。 GLSCLは、テキストビデオ検索のためのモダリティをまたいだ潜在共有セマンティクスを活用する。 本手法はSOTAと同等の性能を実現し,計算コストの約220倍の高速化を実現している。
  論文  参考訳（メタデータ） (2024-05-21T11:59:36Z)
• Pixel Sentence Representation Learning [67.4775296225521]
  本研究では,視覚表現学習プロセスとして,文レベルのテキスト意味論の学習を概念化する。 タイポスや単語順シャッフルのような視覚的に接地されたテキスト摂動法を採用し、人間の認知パターンに共鳴し、摂動を連続的に認識できるようにする。 我々のアプローチは、大規模に教師なしのトピックアライメントトレーニングと自然言語推論監督によってさらに強化されている。
  論文  参考訳（メタデータ） (2024-02-13T02:46:45Z)
• IERL: Interpretable Ensemble Representation Learning -- Combining CrowdSourced Knowledge and Distributed Semantic Representations [11.008412414253662]
  大言語モデル(LLM)は、単語の意味を分散意味論の形でエンコードする。 近年の研究では、LLMは意図しない、一貫性のない、あるいは間違ったテキストを出力として生成する傾向があることが示されている。 本稿では,LLMとクラウドソースの知識表現を体系的に組み合わせた新しいアンサンブル学習手法であるInterpretable Ensemble Representation Learning (IERL)を提案する。
  論文  参考訳（メタデータ） (2023-06-24T05:02:34Z)
• Integrating Language Guidance into Vision-based Deep Metric Learning [78.18860829585182]
  埋め込み空間として意味的類似性を符号化した距離空間を学習することを提案する。 これらの空間は、トレーニング中に見られるもの以外のクラスに転送可能であるべきである。 これにより、学習された埋め込み空間は不完全な意味的コンテキストを符号化し、クラス間の意味的関係を誤って表現する。
  論文  参考訳（メタデータ） (2022-03-16T11:06:50Z)
• FILTER: An Enhanced Fusion Method for Cross-lingual Language Understanding [85.29270319872597]
  我々は,XLMファインタニングの入力として言語間データを利用する拡張融合法を提案する。 推論中は、ターゲット言語で入力されたテキストとソース言語の翻訳に基づいて予測を行う。 この問題に対処するため,対象言語における翻訳テキストのための自動生成ソフト擬似ラベルに基づくモデル学習のためのKL分割自己学習損失を提案する。
  論文  参考訳（メタデータ） (2020-09-10T22:42:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。