論文の概要: Sparse Auto-Encoder Interprets Linguistic Features in Large Language Models

• arxiv url: http://arxiv.org/abs/2502.20344v1
• Date: Thu, 27 Feb 2025 18:16:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-28 14:58:06.296705
• Title: Sparse Auto-Encoder Interprets Linguistic Features in Large Language Models
• Title（参考訳）: スパースオートエンコーダは大規模言語モデルにおける言語的特徴を解釈する
• Authors: Yi Jing, Zijun Yao, Lingxu Ran, Hongzhu Guo, Xiaozhi Wang, Lei Hou, Juanzi Li,
• Abstract要約: スパースオートエンコーダ(SAE)を用いた系統的・包括的因果調査を提案する。 6次元から幅広い言語的特徴を抽出する。 本稿では,FRC(Feature Representation Confidence)とFIC(Feature Intervention Confidence)の2つの指標を紹介する。
• 参考スコア（独自算出の注目度）: 40.12943080113246
• License:
• Abstract: Large language models (LLMs) excel in tasks that require complex linguistic abilities, such as reference disambiguation and metaphor recognition/generation. Although LLMs possess impressive capabilities, their internal mechanisms for processing and representing linguistic knowledge remain largely opaque. Previous work on linguistic mechanisms has been limited by coarse granularity, insufficient causal analysis, and a narrow focus. In this study, we present a systematic and comprehensive causal investigation using sparse auto-encoders (SAEs). We extract a wide range of linguistic features from six dimensions: phonetics, phonology, morphology, syntax, semantics, and pragmatics. We extract, evaluate, and intervene on these features by constructing minimal contrast datasets and counterfactual sentence datasets. We introduce two indices-Feature Representation Confidence (FRC) and Feature Intervention Confidence (FIC)-to measure the ability of linguistic features to capture and control linguistic phenomena. Our results reveal inherent representations of linguistic knowledge in LLMs and demonstrate the potential for controlling model outputs. This work provides strong evidence that LLMs possess genuine linguistic knowledge and lays the foundation for more interpretable and controllable language modeling in future research.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、参照の曖昧さやメタファーの認識/生成のような複雑な言語能力を必要とするタスクに優れる。 LLMには印象的な能力があるが、言語知識の処理と表現のための内部メカニズムはほとんど不透明である。 言語メカニズムに関するこれまでの研究は、粗粒度、因果解析の不十分、焦点の狭さによって制限されてきた。 本研究では,スパースオートエンコーダ(SAE)を用いた系統的・包括的因果調査を行う。 音声学,音韻学,形態学,構文学,意味論,実践学の6分野から幅広い言語的特徴を抽出する。 最小のコントラストデータセットと対実文データセットを構築し,これらの特徴を抽出し,評価し,介入する。 本稿では,FRC(Feature Representation Confidence)とFIC(Feature Intervention Confidence)の2つの指標を紹介する。 本研究では,LLMにおける言語知識の固有表現を明らかにし,モデル出力の制御の可能性を示す。 この研究は、LLMが真の言語知識を持っているという強い証拠を提供し、将来の研究においてより解釈可能で制御可能な言語モデリングの基礎を築いた。

関連論文リスト

• IOLBENCH: Benchmarking LLMs on Linguistic Reasoning [8.20398036986024]
  IOL(International Linguistics Olympiad)問題に基づく新しいベンチマークであるIOLBENCHを紹介する。 このデータセットは、文法、形態学、音韻学、意味論をテストする様々な問題を含んでいる。 最も先進的なモデルでさえ、言語的な複雑さの複雑さを扱うのに苦労している。
  論文  参考訳（メタデータ） (2025-01-08T03:15:10Z)
• How Do Multilingual Language Models Remember Facts? [50.13632788453612]
  これまでに同定された英語のリコール機構が多言語文脈に適用可能であることを示す。 我々は、リコール中の言語の役割をローカライズし、エンリッチメントが言語に依存しないことを発見した。 デコーダのみのLLMでは、FVは2つの異なる段階でこれらの2つの情報を構成する。
  論文  参考訳（メタデータ） (2024-10-18T11:39:34Z)
• Lens: Rethinking Multilingual Enhancement for Large Language Models [70.85065197789639]
  Lensは、大規模言語モデル(LLM)の多言語機能を強化する新しいアプローチである LLMの上位層から言語に依存しない、言語固有のサブ空間内の隠された表現を操作できる。 既存のポストトレーニング手法に比べて計算資源がはるかに少ないため、優れた結果が得られる。
  論文  参考訳（メタデータ） (2024-10-06T08:51:30Z)
• Boosting the Capabilities of Compact Models in Low-Data Contexts with Large Language Models and Retrieval-Augmented Generation [2.9921619703037274]
  本稿では,形態素解析の言語タスクにおいて,より小さなモデルの出力を補正するために,大言語モデル(LLM)を基盤とした検索拡張生成(RAG)フレームワークを提案する。 データ不足や訓練可能なパラメータの不足を補うために,言語情報を活用するとともに,LLMを通して解釈・蒸留された記述文法からの入力を許容する。 コンパクトなRAG支援モデルがデータスカース設定に極めて有効であることを示し、このタスクとターゲット言語に対する新しい最先端技術を実現する。
  論文  参考訳（メタデータ） (2024-10-01T04:20:14Z)
• Large Models of What? Mistaking Engineering Achievements for Human Linguistic Agency [0.11510009152620666]
  我々は,Large Language Models(LLM)の言語能力に関する主張は,少なくとも2つの根拠のない仮定に基づいていると主張している。 言語完全性は、自然言語のような明瞭で完全なものが存在すると仮定する。 データ完全性の仮定は、言語がデータによって定量化され、完全にキャプチャされるという信念に依存している。
  論文  参考訳（メタデータ） (2024-07-11T18:06:01Z)
• Language-Specific Neurons: The Key to Multilingual Capabilities in Large Language Models [117.20416338476856]
  大規模言語モデル(LLM)は、特別にキュレートされた多言語並列コーパスで事前訓練されることなく、顕著な多言語機能を示す。 LLM内の言語特異的ニューロンを識別するための新しい検出手法である言語アクティベーション確率エントロピー(LAPE)を提案する。 以上の結果から,LLMが特定の言語を処理できる能力は,神経細胞のサブセットが少なすぎるためであることが示唆された。
  論文  参考訳（メタデータ） (2024-02-26T09:36:05Z)
• Rethinking Interpretability in the Era of Large Language Models [76.1947554386879]
  大規模言語モデル(LLM)は、幅広いタスクにまたがる顕著な機能を示している。 自然言語で説明できる能力により、LLMは人間に与えられるパターンのスケールと複雑さを拡大することができる。 これらの新しい機能は、幻覚的な説明や膨大な計算コストなど、新しい課題を提起する。
  論文  参考訳（メタデータ） (2024-01-30T17:38:54Z)
• Unveiling A Core Linguistic Region in Large Language Models [49.860260050718516]
  本稿では,脳局在化をプロトタイプとして用いた類似研究を行う。 我々は、言語能力に対応する大規模言語モデルにおいて、中核領域を発見した。 我々は,言語能力の向上が必ずしもモデルの知識レベルの向上に伴わないことを観察する。
  論文  参考訳（メタデータ） (2023-10-23T13:31:32Z)
• Large Linguistic Models: Investigating LLMs' metalinguistic abilities [1.0923877073891446]
  我々は,OpenAIのo1が,構文木の作成や音韻的一般化に関わるタスクにおいて,他のモデルよりも大幅に優れていることを示す。 OpenAI o1の他のモデルに対する独特な優位性は、モデルのチェーン・オブ・シント機構によってもたらされる可能性があると推測する。
  論文  参考訳（メタデータ） (2023-05-01T17:09:33Z)
• Emergent Linguistic Structures in Neural Networks are Fragile [20.692540987792732]
  大規模言語モデル (LLM) は自然言語処理タスクにおいて高い性能を示すと報告されている。 言語表現の一貫性と堅牢性を評価するための枠組みを提案する。
  論文  参考訳（メタデータ） (2022-10-31T15:43:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。