Fugu-MT 論文翻訳(概要): How LLMs Learn: Tracing Internal Representations with Sparse Autoencoders

論文の概要: How LLMs Learn: Tracing Internal Representations with Sparse Autoencoders

arxiv url: http://arxiv.org/abs/2503.06394v1
Date: Sun, 09 Mar 2025 02:13:44 GMT
ステータス: 翻訳完了
システム内更新日: 2025-03-11 20:09:44.356701
Title: How LLMs Learn: Tracing Internal Representations with Sparse Autoencoders
Title（参考訳）: LLMの学習方法:スパースオートエンコーダによる内部表現の追跡
Authors: Tatsuro Inaba, Kentaro Inui, Yusuke Miyao, Yohei Oseki, Benjamin Heinzerling, Yu Takagi,
Abstract要約: 大規模言語モデル(LLM)は、目覚ましい多言語機能と幅広い知識を示している。 LLMの内部表現にエンコードされた情報が、トレーニングプロセス中にどのように進化するかを分析する。
参考スコア（独自算出の注目度）: 30.36521888592164
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Large Language Models (LLMs) demonstrate remarkable multilingual capabilities and broad knowledge. However, the internal mechanisms underlying the development of these capabilities remain poorly understood. To investigate this, we analyze how the information encoded in LLMs' internal representations evolves during the training process. Specifically, we train sparse autoencoders at multiple checkpoints of the model and systematically compare the interpretative results across these stages. Our findings suggest that LLMs initially acquire language-specific knowledge independently, followed by cross-linguistic correspondences. Moreover, we observe that after mastering token-level knowledge, the model transitions to learning higher-level, abstract concepts, indicating the development of more conceptual understanding.
Abstract（参考訳）: 大規模言語モデル(LLM)は、目覚ましい多言語機能と幅広い知識を示している。しかし、これらの能力の発展の根底にある内部メカニズムはいまだに理解されていない。そこで本研究では,LLMの内部表現に符号化された情報がどのように進化するかを,学習過程で解析する。具体的には、モデルの複数のチェックポイントにおいてスパースオートエンコーダを訓練し、これらのステージ間で解釈結果を体系的に比較する。 LLMはまず言語固有の知識を独立に獲得し,その後に言語間対応を施すことが示唆された。さらに、トークンレベルの知識を習得した後、モデルはより高度な抽象概念を学習し、より概念的な理解の発達を示す。

関連論文リスト

How do Large Language Models Understand Relevance? A Mechanistic Interpretability Perspective [64.00022624183781]
大規模言語モデル(LLM)は、関連性を評価し、情報検索(IR)タスクをサポートする。メカニスティック・インタプリタビリティのレンズを用いて,異なるLLMモジュールが関係判断にどのように寄与するかを検討する。
論文参考訳（メタデータ） (2025-04-10T16:14:55Z)
Explicit Learning and the LLM in Machine Translation [20.630120942837564]
本研究では,大規模言語モデル(LLM)の明示的学習能力について検討する。制御されたテスト環境として手段によって生成された構築言語を用いて,LLMの文法規則を明示的に学習し適用する能力を評価する実験を設計した。思考の連鎖を微調整することで、LLMのパフォーマンスは著しく向上するが、類型的に新しい言語的特徴やより複雑な言語的特徴への一般化に苦慮する。
論文参考訳（メタデータ） (2025-03-12T14:57:08Z)
A Survey on Sparse Autoencoders: Interpreting the Internal Mechanisms of Large Language Models [40.67240575271987]
大規模言語モデル(LLM)は自然言語処理に革命をもたらしたが、その内部メカニズムはほとんど不透明である。機械的解釈性は、LLMの内部動作を理解する手段として、研究コミュニティから大きな注目を集めている。スパースオートエンコーダ(SAE)は、LLM内の複雑な重畳された機能をより解釈可能なコンポーネントに分解する能力のために、将来性のある方法として登場した。
論文参考訳（メタデータ） (2025-03-07T17:38:00Z)
The Rise and Down of Babel Tower: Investigating the Evolution Process of Multilingual Code Large Language Model [59.357993924917]
本研究では,大規模言語モデル(LLM)における事前学習過程における多言語機能の進化について検討する。本稿では,LLMが新たな言語能力を習得する過程全体を記述したBabel Tower仮説を提案する。本論文では,多言語コードLLMのための事前学習コーパスを最適化する新しい手法を提案する。
論文参考訳（メタデータ） (2024-12-10T08:28:57Z)
How Do Multilingual Language Models Remember Facts? [50.13632788453612]
これまでに同定された英語のリコール機構が多言語文脈に適用可能であることを示す。我々は、リコール中の言語の役割をローカライズし、エンリッチメントが言語に依存しないことを発見した。デコーダのみのLLMでは、FVは2つの異なる段階でこれらの2つの情報を構成する。
論文参考訳（メタデータ） (2024-10-18T11:39:34Z)
Unveiling LLMs: The Evolution of Latent Representations in a Dynamic Knowledge Graph [15.129079475322637]
この研究は、大規模言語モデルが文レベルのクレーム検証のために内部的に表現する事実情報を明らかにする。本稿では,トークン表現に埋め込まれた事実知識をベクトル空間から基底述語集合にデコードするエンド・ツー・エンドのフレームワークを提案する。本フレームワークでは,推論中にトークン表現を変更するベクトルレベル手法であるアクティベーションパッチを用いて,符号化された知識を抽出する。
論文参考訳（メタデータ） (2024-04-04T17:45:59Z)
Identifying Semantic Induction Heads to Understand In-Context Learning [103.00463655766066]
自然言語に存在するトークン間の2種類の関係を,注目ヘッドが符号化するかどうかを検討する。特定の注意ヘッドは、ヘッドトークンに出席する際、テールトークンをリコールし、テールトークンの出力ロジットを増加させるパターンを示す。
論文参考訳（メタデータ） (2024-02-20T14:43:39Z)
How Proficient Are Large Language Models in Formal Languages? An In-Depth Insight for Knowledge Base Question Answering [52.86931192259096]
知識ベース質問回答(KBQA)は,知識ベースにおける事実に基づいた自然言語質問への回答を目的としている。最近の研究は、論理形式生成のための大規模言語モデル(LLM)の機能を活用して性能を向上させる。
論文参考訳（メタデータ） (2024-01-11T09:27:50Z)
Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
論文参考訳（メタデータ） (2023-12-26T07:24:46Z)
Sparsity-Guided Holistic Explanation for LLMs with Interpretable Inference-Time Intervention [53.896974148579346]
大規模言語モデル(LLM)は、様々な自然言語処理領域において前例のないブレークスルーを達成した。 LLMの謎的なブラックボックスの性質は、透過的で説明可能なアプリケーションを妨げる、解釈可能性にとって重要な課題である。本稿では,LLMの全体的解釈を提供することを目的として,スポーシティ誘導技術に係わる新しい方法論を提案する。
論文参考訳（メタデータ） (2023-12-22T19:55:58Z)
Probing Large Language Models from A Human Behavioral Perspective [24.109080140701188]
大規模言語モデル(LLM)は、現代のNLPにおいて支配的な基礎モデルとして登場した。フィードフォワードネットワーク (FFN) やマルチヘッド・セルフアテンション (MHSA) などの予測プロセスや内部メカニズムの理解はいまだに未解明のままである。
論文参考訳（メタデータ） (2023-10-08T16:16:21Z)
IERL: Interpretable Ensemble Representation Learning -- Combining CrowdSourced Knowledge and Distributed Semantic Representations [11.008412414253662]
大言語モデル(LLM)は、単語の意味を分散意味論の形でエンコードする。近年の研究では、LLMは意図しない、一貫性のない、あるいは間違ったテキストを出力として生成する傾向があることが示されている。本稿では,LLMとクラウドソースの知識表現を体系的に組み合わせた新しいアンサンブル学習手法であるInterpretable Ensemble Representation Learning (IERL)を提案する。
論文参考訳（メタデータ） (2023-06-24T05:02:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。