論文の概要: LinguaLens: Towards Interpreting Linguistic Mechanisms of Large Language Models via Sparse Auto-Encoder

• arxiv url: http://arxiv.org/abs/2502.20344v2
• Date: Mon, 15 Sep 2025 14:09:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-16 15:23:15.980602
• Title: LinguaLens: Towards Interpreting Linguistic Mechanisms of Large Language Models via Sparse Auto-Encoder
• Title（参考訳）: LinguaLens: スパースオートエンコーダによる大規模言語モデルの言語メカニズムの解釈を目指して
• Authors: Yi Jing, Zijun Yao, Hongzhu Guo, Lingxu Ran, Xiaozhi Wang, Lei Hou, Juanzi Li,
• Abstract要約: スパースオートエンコーダ(SAE)に基づく大規模言語モデルの言語メカニズム解析のためのフレームワークを提案する。 我々は4次元(形態学、構文学、意味論、プラグマティクス)にわたる中国語と英語の言語的特徴を幅広く抽出する。 本研究は, LLMにおける言語知識の内在的表現, 層間および言語間分布のパターンを明らかにし, モデル出力の制御の可能性を示した。
• 参考スコア（独自算出の注目度）: 47.81850176849213
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large language models (LLMs) demonstrate exceptional performance on tasks requiring complex linguistic abilities, such as reference disambiguation and metaphor recognition/generation. Although LLMs possess impressive capabilities, their internal mechanisms for processing and representing linguistic knowledge remain largely opaque. Prior research on linguistic mechanisms is limited by coarse granularity, limited analysis scale, and narrow focus. In this study, we propose LinguaLens, a systematic and comprehensive framework for analyzing the linguistic mechanisms of large language models, based on Sparse Auto-Encoders (SAEs). We extract a broad set of Chinese and English linguistic features across four dimensions (morphology, syntax, semantics, and pragmatics). By employing counterfactual methods, we construct a large-scale counterfactual dataset of linguistic features for mechanism analysis. Our findings reveal intrinsic representations of linguistic knowledge in LLMs, uncover patterns of cross-layer and cross-lingual distribution, and demonstrate the potential to control model outputs. This work provides a systematic suite of resources and methods for studying linguistic mechanisms, offers strong evidence that LLMs possess genuine linguistic knowledge, and lays the foundation for more interpretable and controllable language modeling in future research.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、参照の曖昧さやメタファーの認識/生成のような複雑な言語能力を必要とするタスクにおいて、例外的なパフォーマンスを示す。 LLMには印象的な能力があるが、言語知識の処理と表現のための内部メカニズムはほとんど不透明である。 これまでの言語メカニズムの研究は、粗い粒度、分析スケールの制限、焦点の狭さによって制限されている。 本研究では,Sparse Auto-Encoders (SAE) に基づく大規模言語モデルの言語メカニズムを解析するための,体系的で包括的なフレームワークであるLinguaLensを提案する。 我々は4次元(形態学、構文学、意味論、実践学)にわたる中国語と英語の言語的特徴を幅広く抽出する。 逆ファクト的手法を用いて,機構解析のための言語特徴の大規模逆ファクト的データセットを構築した。 本研究は, LLMにおける言語知識の内在的表現, 層間および言語間分布のパターンを明らかにし, モデル出力の制御の可能性を示した。 この研究は言語メカニズムを研究するための体系的なリソースと手法を提供し、LLMが真の言語知識を持っているという強い証拠を提供し、将来の研究においてより解釈可能で制御可能な言語モデリングの基礎を築いた。

関連論文リスト

• Language Surgery in Multilingual Large Language Models [32.77326546076424]
  大規模言語モデル(LLM)はタスクや言語にまたがる顕著な一般化機能を示している。 本稿では, LLMにおける自然に出現する表現アライメント, 特に中層における表現アライメントについて検討する。 本稿では,言語間言語制御の高精度化と言語混乱を軽減するため,ITLC(Inference-Time Language Control)を提案する。
  論文  参考訳（メタデータ） (2025-06-14T11:09:50Z)
• When Less Language is More: Language-Reasoning Disentanglement Makes LLMs Better Multilingual Reasoners [111.50503126693444]
  言語固有のアブレーションは多言語推論性能を継続的に向上させることを示す。 トレーニング後のアブレーションと比較して、トレーニング不要のアブレーションは、計算オーバーヘッドを最小限に抑えながら、同等または優れた結果が得られる。
  論文  参考訳（メタデータ） (2025-05-21T08:35:05Z)
• Linguistic Blind Spots of Large Language Models [14.755831733659699]
  言語アノテーションタスクにおける最近の大規模言語モデル(LLM)の性能について検討する。 近年の LLM は言語クエリに対処する上で有効性が限られており,言語学的に複雑な入力に苦しむことが多い。 この結果から,LLMの設計・開発における今後の進歩を示唆する知見が得られた。
  論文  参考訳（メタデータ） (2025-03-25T01:47:13Z)
• IOLBENCH: Benchmarking LLMs on Linguistic Reasoning [8.20398036986024]
  IOL(International Linguistics Olympiad)問題に基づく新しいベンチマークであるIOLBENCHを紹介する。 このデータセットは、文法、形態学、音韻学、意味論をテストする様々な問題を含んでいる。 最も先進的なモデルでさえ、言語的な複雑さの複雑さを扱うのに苦労している。
  論文  参考訳（メタデータ） (2025-01-08T03:15:10Z)
• How Do Multilingual Language Models Remember Facts? [50.13632788453612]
  これまでに同定された英語のリコール機構が多言語文脈に適用可能であることを示す。 我々は、リコール中の言語の役割をローカライズし、エンリッチメントが言語に依存しないことを発見した。 デコーダのみのLLMでは、FVは2つの異なる段階でこれらの2つの情報を構成する。
  論文  参考訳（メタデータ） (2024-10-18T11:39:34Z)
• Lens: Rethinking Multilingual Enhancement for Large Language Models [70.85065197789639]
  Lensは、大規模言語モデル(LLM)の多言語機能を強化する新しいアプローチである LLMの上位層から言語に依存しない、言語固有のサブ空間内の隠された表現を操作できる。 既存のポストトレーニング手法に比べて計算資源がはるかに少ないため、優れた結果が得られる。
  論文  参考訳（メタデータ） (2024-10-06T08:51:30Z)
• Boosting the Capabilities of Compact Models in Low-Data Contexts with Large Language Models and Retrieval-Augmented Generation [2.9921619703037274]
  本稿では,形態素解析の言語タスクにおいて,より小さなモデルの出力を補正するために,大言語モデル(LLM)を基盤とした検索拡張生成(RAG)フレームワークを提案する。 データ不足や訓練可能なパラメータの不足を補うために,言語情報を活用するとともに,LLMを通して解釈・蒸留された記述文法からの入力を許容する。 コンパクトなRAG支援モデルがデータスカース設定に極めて有効であることを示し、このタスクとターゲット言語に対する新しい最先端技術を実現する。
  論文  参考訳（メタデータ） (2024-10-01T04:20:14Z)
• Large Models of What? Mistaking Engineering Achievements for Human Linguistic Agency [0.11510009152620666]
  我々は,Large Language Models(LLM)の言語能力に関する主張は,少なくとも2つの根拠のない仮定に基づいていると主張している。 言語完全性は、自然言語のような明瞭で完全なものが存在すると仮定する。 データ完全性の仮定は、言語がデータによって定量化され、完全にキャプチャされるという信念に依存している。
  論文  参考訳（メタデータ） (2024-07-11T18:06:01Z)
• Language-Specific Neurons: The Key to Multilingual Capabilities in Large Language Models [117.20416338476856]
  大規模言語モデル(LLM)は、特別にキュレートされた多言語並列コーパスで事前訓練されることなく、顕著な多言語機能を示す。 LLM内の言語特異的ニューロンを識別するための新しい検出手法である言語アクティベーション確率エントロピー(LAPE)を提案する。 以上の結果から,LLMが特定の言語を処理できる能力は,神経細胞のサブセットが少なすぎるためであることが示唆された。
  論文  参考訳（メタデータ） (2024-02-26T09:36:05Z)
• Rethinking Interpretability in the Era of Large Language Models [76.1947554386879]
  大規模言語モデル(LLM)は、幅広いタスクにまたがる顕著な機能を示している。 自然言語で説明できる能力により、LLMは人間に与えられるパターンのスケールと複雑さを拡大することができる。 これらの新しい機能は、幻覚的な説明や膨大な計算コストなど、新しい課題を提起する。
  論文  参考訳（メタデータ） (2024-01-30T17:38:54Z)
• Unveiling A Core Linguistic Region in Large Language Models [49.860260050718516]
  本稿では,脳局在化をプロトタイプとして用いた類似研究を行う。 我々は、言語能力に対応する大規模言語モデルにおいて、中核領域を発見した。 我々は,言語能力の向上が必ずしもモデルの知識レベルの向上に伴わないことを観察する。
  論文  参考訳（メタデータ） (2023-10-23T13:31:32Z)
• Emergent Linguistic Structures in Neural Networks are Fragile [20.692540987792732]
  大規模言語モデル (LLM) は自然言語処理タスクにおいて高い性能を示すと報告されている。 言語表現の一貫性と堅牢性を評価するための枠組みを提案する。
  論文  参考訳（メタデータ） (2022-10-31T15:43:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。