論文の概要: Think or Remember? Detecting and Directing LLMs Towards Memorization or Generalization

• arxiv url: http://arxiv.org/abs/2412.18497v1
• Date: Tue, 24 Dec 2024 15:28:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-25 15:55:29.369432
• Title: Think or Remember? Detecting and Directing LLMs Towards Memorization or Generalization
• Title（参考訳）: 思い出すか思い出すか : 記憶や一般化に向けたLLMの検出と指示
• Authors: Yi-Fu Fu, Yu-Chieh Tu, Tzu-Ling Cheng, Cheng-Yu Lin, Yi-Ting Yang, Heng-Yi Liu, Keng-Te Liao, Da-Cheng Juan, Shou-De Lin,
• Abstract要約: 大規模言語モデル(LLM)における記憶と一般化の基礎的メカニズムについて検討する。 本研究は、特別に設計されたデータセットと実験スケールのLLMを活用したケーススタディとして機能する。
• 参考スコア（独自算出の注目度）: 10.11351265687309
• License:
• Abstract: In this paper, we explore the foundational mechanisms of memorization and generalization in Large Language Models (LLMs), inspired by the functional specialization observed in the human brain. Our investigation serves as a case study leveraging specially designed datasets and experimental-scale LLMs to lay the groundwork for understanding these behaviors. Specifically, we aim to first enable LLMs to exhibit both memorization and generalization by training with the designed dataset, then (a) examine whether LLMs exhibit neuron-level spatial differentiation for memorization and generalization, (b) predict these behaviors using model internal representations, and (c) steer the behaviors through inference-time interventions. Our findings reveal that neuron-wise differentiation of memorization and generalization is observable in LLMs, and targeted interventions can successfully direct their behavior.
• Abstract（参考訳）: 本稿では,人間の脳で観察される機能的特殊化に触発された,大規模言語モデル(LLM)の記憶と一般化の基礎メカニズムについて考察する。 本研究は、特別に設計されたデータセットと実験スケールのLLMを活用して、これらの振る舞いを理解するための基礎となる研究である。 具体的には、まず、LLMが記憶と一般化の両方を、設計したデータセットでトレーニングすることで表現できるようにする。 (a)LLMが記憶と一般化のためにニューロンレベルの空間分化を示すか否かを検討する。 (b)モデル内部表現を用いてこれらの行動を予測し、 (c)推論時間の介入による行動の把握。 LLMでは, 記憶と一般化のニューロンの分化が観察可能であり, 目的の介入は行動の誘導に成功している。

関連論文リスト

• Satori: Reinforcement Learning with Chain-of-Action-Thought Enhances LLM Reasoning via Autoregressive Search [57.28671084993782]
  大規模言語モデル(LLM)は、様々な領域にまたがる顕著な推論能力を示している。 近年の研究では、テスト時間計算の増加はLLMの推論能力を高めることが示されている。 そこで我々は,1)COAT推論形式を内部化するための小規模な形式調整段階,2)強化学習を活用した大規模自己改善段階を提案する。
  論文  参考訳（メタデータ） (2025-02-04T17:26:58Z)
• Analyzing Memorization in Large Language Models through the Lens of Model Attribution [11.295483963637217]
  大規模言語モデル(LLM)は現代のアプリケーションでは一般的であるが、しばしばトレーニングデータを記憶し、プライバシー侵害や著作権問題を引き起こす。 異なる層におけるアテンションモジュールが,その記憶と一般化に与える影響を分析することによって,建築用レンズからの記憶について検討する。
  論文  参考訳（メタデータ） (2025-01-09T09:00:32Z)
• Detecting Memorization in Large Language Models [0.0]
  大規模言語モデル(LLM)は自然言語処理において驚くべき結果を得たが、トレーニングデータの一部を記憶する傾向にある。 従来の暗記検出方法は出力確率や損失関数に依存している。 LLM内のニューロンの活性化を調べることによって,記憶を正確に検出する解析手法を提案する。
  論文  参考訳（メタデータ） (2024-12-02T00:17:43Z)
• Mind Scramble: Unveiling Large Language Model Psychology Via Typoglycemia [27.650551131885152]
  大規模言語モデル(LLM)の研究は、物理世界の複雑なタスクに対処する上で有望であることを示している。 GPT-4のような強力なLDMは、人間のような認知能力を示し始めていることが研究で示唆されている。
  論文  参考訳（メタデータ） (2024-10-02T15:47:25Z)
• Cognitive LLMs: Towards Integrating Cognitive Architectures and Large Language Models for Manufacturing Decision-making [51.737762570776006]
  LLM-ACTRは、ヒトに適応し、多目的な意思決定を提供する新しいニューロシンボリックアーキテクチャである。 我々のフレームワークは、ACT-Rの内部決定過程の知識を潜在神経表現として抽出し、組み込む。 デザイン・フォー・マニュファクチャリング・タスクに関する我々の実験は、タスク性能の向上と基礎的意思決定能力の向上を両立させたものである。
  論文  参考訳（メタデータ） (2024-08-17T11:49:53Z)
• Understanding Memorisation in LLMs: Dynamics, Influencing Factors, and Implications [14.818820873377303]
  本研究では,大規模言語モデル (LLM) がどの程度トレーニングデータを記憶しているかについて検討する。 ランダムな文字列に対して繰り返しLLMを露呈する実験的なフレームワークを作成する。 我々は,一部の文字列を記憶しやすくする要因を特定し,記憶における局所的な接頭辞の役割とグローバルな文脈を同定する。
  論文  参考訳（メタデータ） (2024-07-27T14:00:21Z)
• Characterizing Truthfulness in Large Language Model Generations with Local Intrinsic Dimension [63.330262740414646]
  大規模言語モデル(LLM)から生成されたテキストの真偽を特徴付ける方法と予測法について検討する。 モデルアクティベーションの局所固有次元 (LID) を用いて, 内部アクティベーションを調査し, LLMの真偽を定量化する。
  論文  参考訳（メタデータ） (2024-02-28T04:56:21Z)
• Exploring the Cognitive Knowledge Structure of Large Language Models: An Educational Diagnostic Assessment Approach [50.125704610228254]
  大規模言語モデル(LLM)は、様々なタスクにまたがる例外的なパフォーマンスを示すだけでなく、知性の火花も示している。 近年の研究では、人間の試験における能力の評価に焦点が当てられ、異なる領域における彼らの印象的な能力を明らかにしている。 ブルーム分類に基づく人体検査データセットであるMoocRadarを用いて評価を行った。
  論文  参考訳（メタデータ） (2023-10-12T09:55:45Z)
• Exploring Memorization in Fine-tuned Language Models [53.52403444655213]
  我々は,タスク間の微調整中に,言語モデルの暗記を探索する最初の包括的分析を行う。 オープンソースと、さまざまなタスクにまたがる独自の微調整LMによる研究は、暗記が様々な微調整タスクの間に強い相違を示すことを示している。 本稿では,この課題の相違をスパース符号化理論を用いて直感的に説明し,暗記と注目スコア分布との強い相関関係を明らかにする。
  論文  参考訳（メタデータ） (2023-10-10T15:41:26Z)
• An Empirical Study of Catastrophic Forgetting in Large Language Models During Continual Fine-tuning [70.48605869773814]
  カタストロフィック・ナッシング(英: Catastrophic forgetting、CF)は、機械学習において、モデルが以前に学習した情報を忘れたときに発生する現象である。 本研究では,大規模言語モデルにおける連続的調律時の忘れ現象を実験的に評価する。
  論文  参考訳（メタデータ） (2023-08-17T02:53:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。