論文の概要: Deep Learning Models Also Recall Features

• arxiv url: http://arxiv.org/abs/2608.20970v1
• Date: Fri, 21 Aug 2026 10:49:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-24 14:49:32.512149
• Title: Deep Learning Models Also Recall Features
• Title（参考訳）: ディープラーニングモデルも機能をリコールする
• Abstract要約: 機械的解釈可能性に関する最近の研究は、大きな言語モデルがその重みに格納された事実をどう思い出すか研究している。 本稿では,筆者が特徴的リコールと呼ぶディープラーニングモデルにおいて,事実的リコールが一般的な操作であることを指摘する。
• 参考スコア（独自算出の注目度）: 1.1844977816228044
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent work in mechanistic interpretability has studied how large language models recall facts stored in their weights. This paper argues that factual recall points to something broader: a general kind of operation in deep learning models, which I call feature recall. The core observation is that a linear projection can be read as retrieving stored information scaled by input activations. I define feature recall, show it applies across architectures, and contrast it with the established paradigm of feature combination. I also consider how cases of feature recall might be mechanistically identified. The account gives philosophers a new conceptual tool for understanding deep learning, and points to empirical directions for mechanistic interpretability research.
• Abstract（参考訳）: 機械的解釈可能性に関する最近の研究は、大きな言語モデルがその重みに格納された事実をどう思い出すか研究している。 本稿では,筆者が機能リコールと呼ぶディープラーニングモデルにおける一般的な操作について,事実的リコールはより広範なことを指している,と論じる。 中心となる観察は、線形射影は入力アクティベーションによって拡張された記憶情報の検索として読むことができることである。 私は、機能リコールを定義し、それをアーキテクチャ全体に適用し、確立した機能の組み合わせのパラダイムと対比します。 また、機能リコールのケースを機械的に特定する方法も考えています。 この説明は、哲学者たちに深層学習を理解するための新しい概念的ツールを与え、機械的解釈可能性研究の実証的な方向を指し示している。

関連論文リスト

• Fine-Tuning Dynamics of In-Context Factual Recall in Transformers [63.1821972855273]
  インコンテキスト学習 -- プロンプトで与えられた例に基づいてタスクを実行する -- は、大きな言語モデルに現れている。 非コンテキスト学習が事実的知識のリコールをどのように活用するかを研究する。 IC-リコールデータを用いた1層トランスの微調整特性の解析を行った。
  論文  参考訳（メタデータ） (2026-05-26T23:47:26Z)
• Language Model Memory and Memory Models for Language [0.0]
  隠れ層ベクトル埋め込みに入力情報を格納する機械学習モデルの能力について検討する。 言語モデルの埋め込みは通常、データや計算スケールに関係なく、比較的少ない入力情報を含む。 対照的に、入力再生のために訓練されたオートエンコーダの埋め込みは、ほぼ完璧なメモリ形成を可能にする。
  論文  参考訳（メタデータ） (2026-02-13T21:16:10Z)
• Beyond Memorization: Extending Reasoning Depth with Recurrence, Memory and Test-Time Compute Scaling [60.63703438729223]
  異なるアーキテクチャとトレーニング手法がモデル多段階推論能力にどのように影響するかを示す。 我々は,逐次計算においてモデル深度の増加が重要な役割を担っていることを確認した。
  論文  参考訳（メタデータ） (2025-08-22T18:57:08Z)
• Functional Abstraction of Knowledge Recall in Large Language Models [20.082244529609707]
  本稿では,大規模言語モデル(LLM)の知識リコール機構について,機能構造に抽象化することで検討する。 そこで本研究では,知識リコールの間,モデル内の隠れアクティベーション空間が暗黙的に関数実行プロセスを必要とすることを提案する。
  論文  参考訳（メタデータ） (2025-04-20T05:17:57Z)
• Retentive or Forgetful? Diving into the Knowledge Memorizing Mechanism of Language Models [49.39276272693035]
  大規模事前学習型言語モデルは、顕著な記憶能力を示している。 プレトレーニングのないバニラニューラルネットワークは、破滅的な忘れ物問題に悩まされていることが長年観察されてきた。 1)バニラ言語モデルは忘れがちである; 2)事前学習は暗黙の言語モデルにつながる; 3)知識の妥当性と多様化は記憶形成に大きな影響を及ぼす。
  論文  参考訳（メタデータ） (2023-05-16T03:50:38Z)
• Measures of Information Reflect Memorization Patterns [53.71420125627608]
  異なるニューロンの活性化パターンの多様性は、モデル一般化と記憶の反映であることを示す。 重要なことは、情報組織が記憶の2つの形態を指していることである。
  論文  参考訳（メタデータ） (2022-10-17T20:15:24Z)
• Decoupling Knowledge from Memorization: Retrieval-augmented Prompt Learning [113.58691755215663]
  一般化と記憶のバランスをとるためにRetroPromptを開発した。 バニラプロンプト学習とは対照的に、RetroPromptはトレーニングインスタンスからオープンブックナレッジストアを構築する。 大規模な実験により、RetroPromptは、数ショットとゼロショットの両方で、より良いパフォーマンスを得ることができることが示されている。
  論文  参考訳（メタデータ） (2022-05-29T16:07:30Z)
• Learning to Learn Variational Semantic Memory [132.39737669936125]
  我々はメタラーニングに変分セマンティックメモリを導入し、数ショットラーニングのための長期的知識を得る。 セマンティックメモリはスクラッチから成長し、経験したタスクから情報を吸収することで徐々に統合される。 アドレスコンテンツから潜在記憶変数の変動推論としてメモリリコールを定式化する。
  論文  参考訳（メタデータ） (2020-10-20T15:05:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。