Fugu-MT 論文翻訳(概要): How LLMs Learn: Tracing Internal Representations with Sparse Autoencoders

論文の概要: How LLMs Learn: Tracing Internal Representations with Sparse Autoencoders

arxiv url: http://arxiv.org/abs/2503.06394v1
Date: Sun, 09 Mar 2025 02:13:44 GMT
ステータス: 翻訳完了
システム内更新日: 2025-03-11 15:52:02.704121
Title: How LLMs Learn: Tracing Internal Representations with Sparse Autoencoders
Title（参考訳）: LLMの学習方法:スパースオートエンコーダによる内部表現の追跡
Authors: Tatsuro Inaba, Kentaro Inui, Yusuke Miyao, Yohei Oseki, Benjamin Heinzerling, Yu Takagi,
Abstract要約: 大規模言語モデル(LLM)は、目覚ましい多言語機能と幅広い知識を示している。 LLMの内部表現にエンコードされた情報が、トレーニングプロセス中にどのように進化するかを分析する。
参考スコア（独自算出の注目度）: 30.36521888592164
License:
Abstract: Large Language Models (LLMs) demonstrate remarkable multilingual capabilities and broad knowledge. However, the internal mechanisms underlying the development of these capabilities remain poorly understood. To investigate this, we analyze how the information encoded in LLMs' internal representations evolves during the training process. Specifically, we train sparse autoencoders at multiple checkpoints of the model and systematically compare the interpretative results across these stages. Our findings suggest that LLMs initially acquire language-specific knowledge independently, followed by cross-linguistic correspondences. Moreover, we observe that after mastering token-level knowledge, the model transitions to learning higher-level, abstract concepts, indicating the development of more conceptual understanding.
Abstract（参考訳）: 大規模言語モデル(LLM)は、目覚ましい多言語機能と幅広い知識を示している。しかし、これらの能力の発展の根底にある内部メカニズムはいまだに理解されていない。そこで本研究では,LLMの内部表現に符号化された情報がどのように進化するかを,学習過程で解析する。具体的には、モデルの複数のチェックポイントにおいてスパースオートエンコーダを訓練し、これらのステージ間で解釈結果を体系的に比較する。 LLMはまず言語固有の知識を独立に獲得し,その後に言語間対応を施すことが示唆された。さらに、トークンレベルの知識を習得した後、モデルはより高度な抽象概念を学習し、より概念的な理解の発達を示す。

関連論文リスト

The Rise and Down of Babel Tower: Investigating the Evolution Process of Multilingual Code Large Language Model [59.357993924917]
本研究では,大規模言語モデル(LLM)における事前学習過程における多言語機能の進化について検討する。本稿では,LLMが新たな言語能力を習得する過程全体を記述したBabel Tower仮説を提案する。本論文では,多言語コードLLMのための事前学習コーパスを最適化する新しい手法を提案する。
論文参考訳（メタデータ） (2024-12-10T08:28:57Z)
Survey of different Large Language Model Architectures: Trends, Benchmarks, and Challenges [15.850548556536538]
大規模言語モデル(LLMs)は、自然言語の理解に精通したディープラーニングモデルのクラスである。これらのモデルの先進的なサブセットであるMultimodal Large Language Models (MLLM)は、複数のデータモダリティを処理および解釈するためにLLM機能を拡張している。本調査は,LLMの最近の進歩を概観する。
論文参考訳（メタデータ） (2024-12-04T11:14:06Z)
How Do Multilingual Language Models Remember Facts? [50.13632788453612]
これまでに同定された英語のリコール機構が多言語文脈に適用可能であることを示す。我々は、リコール中の言語の役割をローカライズし、エンリッチメントが言語に依存しないことを発見した。デコーダのみのLLMでは、FVは2つの異なる段階でこれらの2つの情報を構成する。
論文参考訳（メタデータ） (2024-10-18T11:39:34Z)
Large Language Models are Interpretable Learners [53.56735770834617]
本稿では,Large Language Models(LLM)とシンボルプログラムの組み合わせによって,表現性と解釈可能性のギャップを埋めることができることを示す。自然言語プロンプトを持つ事前訓練されたLLMは、生の入力を自然言語の概念に変換することができる解釈可能な膨大なモジュールセットを提供する。 LSPが学んだ知識は自然言語の記述と記号規則の組み合わせであり、人間(解釈可能)や他のLLMに容易に転送できる。
論文参考訳（メタデータ） (2024-06-25T02:18:15Z)
Unveiling LLMs: The Evolution of Latent Representations in a Dynamic Knowledge Graph [15.129079475322637]
この研究は、大規模言語モデルが文レベルのクレーム検証のために内部的に表現する事実情報を明らかにする。本稿では,トークン表現に埋め込まれた事実知識をベクトル空間から基底述語集合にデコードするエンド・ツー・エンドのフレームワークを提案する。本フレームワークでは,推論中にトークン表現を変更するベクトルレベル手法であるアクティベーションパッチを用いて,符号化された知識を抽出する。
論文参考訳（メタデータ） (2024-04-04T17:45:59Z)
Identifying Semantic Induction Heads to Understand In-Context Learning [103.00463655766066]
自然言語に存在するトークン間の2種類の関係を,注目ヘッドが符号化するかどうかを検討する。特定の注意ヘッドは、ヘッドトークンに出席する際、テールトークンをリコールし、テールトークンの出力ロジットを増加させるパターンを示す。
論文参考訳（メタデータ） (2024-02-20T14:43:39Z)
Towards Uncovering How Large Language Model Works: An Explainability Perspective [38.07611356855978]
大規模言語モデル(LLM)は言語タスクのブレークスルーをもたらしたが、その顕著な一般化と推論能力を実現する内部メカニズムは不透明のままである。本稿では,LLM機能の基礎となるメカニズムを,説明可能性のレンズを通して明らかにすることを目的とする。
論文参考訳（メタデータ） (2024-02-16T13:46:06Z)
Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
論文参考訳（メタデータ） (2023-12-26T07:24:46Z)
Sparsity-Guided Holistic Explanation for LLMs with Interpretable Inference-Time Intervention [53.896974148579346]
大規模言語モデル(LLM)は、様々な自然言語処理領域において前例のないブレークスルーを達成した。 LLMの謎的なブラックボックスの性質は、透過的で説明可能なアプリケーションを妨げる、解釈可能性にとって重要な課題である。本稿では,LLMの全体的解釈を提供することを目的として,スポーシティ誘導技術に係わる新しい方法論を提案する。
論文参考訳（メタデータ） (2023-12-22T19:55:58Z)
IERL: Interpretable Ensemble Representation Learning -- Combining CrowdSourced Knowledge and Distributed Semantic Representations [11.008412414253662]
大言語モデル(LLM)は、単語の意味を分散意味論の形でエンコードする。近年の研究では、LLMは意図しない、一貫性のない、あるいは間違ったテキストを出力として生成する傾向があることが示されている。本稿では,LLMとクラウドソースの知識表現を体系的に組み合わせた新しいアンサンブル学習手法であるInterpretable Ensemble Representation Learning (IERL)を提案する。
論文参考訳（メタデータ） (2023-06-24T05:02:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。