論文の概要: Memorization Diagnostics for Code LLMs Should be Scale-Aware
- arxiv url: http://arxiv.org/abs/2608.12771v1
- Date: Thu, 13 Aug 2026 03:29:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-14 18:29:38.38087
- Title: Memorization Diagnostics for Code LLMs Should be Scale-Aware
- Title（参考訳）: コードLLMの記憶診断はスケールアウェアにすべきである
- Abstract要約: 我々は、密集したアーキテクチャにおける基礎となる探索手法を評価する。
従来のエンコーダ方式のプローブは、同義語ファジィングやデッドコード挿入闘争のような摂動を用いて、スケールしたモデルで暗記を公開する。
数値問題に対して可逆な数学的変換を適用することにより、スケールしたエンコーダが実質的な表現負荷を吸収することに成功した。
- 参考スコア（独自算出の注目度）: 11.664482687193697
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: The extent to which large language models for code rely on memorization over genuine understanding remains highly debated. While current literature frequently reports widespread memorization, evaluating the underlying probing techniques across dense architectures reveals a severe breakdown in their utility at scale. Traditional encoder-style probes using perturbations such as synonym fuzzing or dead-code insertion struggle to expose memorization in scaled models, even on known-contaminated benchmarks, and decoder-style probes that rely on log probabilities show similar performance degradation. The specific mode of failure for these probes, particularly why such techniques disrupt smaller models but fail to impact larger ones, motivates us to untangle representation load from memorization rather than treating them as a single phenomenon. By applying invertible mathematical transforms to numeric problems, we isolate these two factors and reveal that scaled encoders successfully absorb substantial representation load while still converging on the correct family of solutions. In practical software engineering, this ability to adapt to varying surface forms is what truly matters for usability and generalizability in LLM and agentic applications. Whether a specific solution was seen during training becomes a much less pressing question because although memorization inflates scores on contaminated benchmarks, factoring out representation load makes it debatable how much we should truly care if a functional answer was originally memorized. Future evaluations must therefore be built around separating these phenomena rather than relying on methodologies that quietly entangle them.
- Abstract（参考訳）: コードに対する大きな言語モデルが、真の理解よりも暗記に依存する範囲については、いまだに議論が続いている。
現在の文献では、広く記憶されることが多いが、密集した建築における基礎となる調査技術を評価すると、その実用性は著しく低下している。
同義語ファズリングやデッドコード挿入闘争のような摂動を用いたエンコーダ型プローブは、既知の汚染ベンチマークでさえもスケールしたモデルの記憶を露出させるのに役立ち、ログ確率に依存するデコーダ型プローブも同様のパフォーマンス低下を示す。
これらのプローブの特定の障害モード、特にそのような手法がより小さなモデルを破壊するが、大きなモデルに影響を与えることはなく、単一の現象として扱うのではなく、表現負荷を記憶から切り離す動機となる。
数値問題に可逆な数学的変換を適用することにより、これらの2つの因子を分離し、スケールしたエンコーダが正しい解の族に収束しながら、かなりの表現負荷を吸収できることを明らかにする。
実用ソフトウェア工学において、様々な表面形状に適応するこの能力は、LLMおよびエージェントアプリケーションにおけるユーザビリティと一般化可能性にとって本当に重要である。
なぜなら、暗記は汚染されたベンチマークのスコアを膨らませるが、表現負荷を分解することで、関数的回答が当初記憶されていた場合、本当に注意すべきことの度合いを損なうからである。
したがって、これらの現象を静かに絡める方法論に頼るのではなく、これらの現象を分離して、将来の評価を構築する必要がある。
関連論文リスト
- LLMs Can Leak Training Data But Do They Want To? A Propensity-Aware Evaluation of Memorization in LLMs [2.475558262989392]
本稿では,暗記評価のための固有性を考慮したフレームワークであるPropMeを紹介する。
Infini-gram上に構築された軽量なトレースパイプラインであるSimpleTraceも導入しています。
以上の結果から,暗記監査は最悪の抽出可能性と通常の漏洩確率の両方を報告すべきであることが示唆された。
論文 参考訳（メタデータ） (2026-06-04T15:25:24Z) - How LLMs Fail and Generalize in RTL Coding for Hardware Design? [56.361436215029045]
我々は,認知理論に触発された問題解決性に基づく新しい誤り分類法を導入する。
我々の分類学は、障害を構文、意味、解決可能な機能、解決不可能な機能タイプに分類する。
論文 参考訳（メタデータ） (2026-04-26T14:34:49Z) - From Memorization to Reasoning in the Spectrum of Loss Curvature [6.463682206736737]
記憶化は言語モデル (LM) と視覚変換器 (ViT) の両方の重みで切り離すことができることを示す。
本研究は,LMにおける下流タスクに対する編集手順の影響を広範囲に分析し,事実検索と算術が特に負の影響を受けることを明らかにする。
論文 参考訳（メタデータ） (2025-10-28T10:09:35Z) - Adapting Language Balance in Code-Switching Speech [60.296574524609575]
大規模な基礎モデルは、コードスイッチングテストケースといまだに苦労しています。
我々は、世代間のコンテキストバイアスを軽減するために、微分可能なサロゲートを使用します。
アラビア語と中国語による実験では、モデルの切り替え位置をより正確に予測できることが示されている。
論文 参考訳（メタデータ） (2025-10-21T15:23:55Z) - Memorize or Generalize? Evaluating LLM Code Generation with Code Rewriting [54.48306552577881]
大規模な言語モデル(LLM)は、主にメモリ化(トレーニングデータの大きな部分を複製または再利用する)と一般化(Generalization)を併用している、と我々は主張する。
既存の評価は、表面/構造的類似性を無視し、繰り返しコードの良質な再利用を有害なリコールと記憶タスクの正しさで混同する。
そこで我々は,2つの信号を組み合わせた正規化スコアである覚書リスク指標(MRI)を提案する。 (i) モデルが元の地平解とどのように類似しているか, (ii) 元のタスクから書き換えされたタスクにどの程度の性能が低下するか。
論文 参考訳（メタデータ） (2025-03-04T05:39:24Z) - Predicting memorization within Large Language Models fine-tuned for classification [0.0]
大規模言語モデルはトレーニングデータのかなりの割合を記憶しており、推論時に開示されると深刻な脅威となる。
そこで本研究では, LLMにおける暗記標本を, 分類タスクのための微調整で検出する手法を提案する。
提案手法は,新たな理論的結果によって支持され,計算予算の低さが要求される。
論文 参考訳（メタデータ） (2024-09-27T15:53:55Z) - Demystifying Verbatim Memorization in Large Language Models [67.49068128909349]
大きな言語モデル(LLM)は、しばしば長いシーケンスを冗長に記憶し、しばしば深刻な法的およびプライバシー上の意味を持つ。
我々は, Pythia チェックポイントからのプレトレーニングをインジェクトシーケンスで継続することにより, 制御された環境下での動詞の暗記を学習する枠組みを開発する。
その結果,(1) 動詞の暗記には非自明な繰り返しが必要であり,(2) 後続の(おそらくはより良い)チェックポイントは,アウト・オブ・ディストリビューション・シーケンスであっても,動詞の列を暗記する傾向にあることがわかった。
論文 参考訳（メタデータ） (2024-07-25T07:10:31Z) - Alice in Wonderland: Simple Tasks Showing Complete Reasoning Breakdown in State-Of-the-Art Large Language Models [13.532180752491954]
大規模言語モデル(LLM)は、しばしばスケーリング法則に従う強力な一般化を持つ基礎モデルの例として記述される。
ここでは、強い関数を主張する全てのSOTAモデルの一般化と基本的推論の劇的な分解を示す。
また、間違った解法において強い過信感を観察し、妥当な音響的説明のような折り畳みの形で表現する。
論文 参考訳（メタデータ） (2024-06-04T07:43:33Z) - Rethinking LLM Memorization through the Lens of Adversarial Compression [93.13830893086681]
Webスケールデータセットでトレーニングされた大規模言語モデル(LLM)は、許容可能なデータ使用に関する重大な懸念を提起する。
ひとつ大きな疑問は、これらのモデルがすべてのトレーニングデータを"記憶する"のか、それとも、人間がどのように情報を学び、合成するかに何らかの方法で多くのデータソースを統合するのかである。
本稿では,LLMの記憶度を評価する指標として,ACR(Adversarial Compression Ratio)を提案する。
論文 参考訳（メタデータ） (2024-04-23T15:49:37Z) - Quantifying Memorization Across Neural Language Models [61.58529162310382]
大規模言語モデル(LM)は、トレーニングデータの一部を記憶するために示され、適切に誘導されると、記憶されたデータを冗長に出力する。
これは、暗記がプライバシーを侵害し(ユーザーデータをエクスポーティングする)、実用性を低下させ(繰り返し覚えやすいテキストは、しばしば品質が低い)、公平性を損なうため、望ましくない。
本稿では、LMが記憶されたトレーニングデータを出力する度合いを定量化する3つの対数線形関係について述べる。
論文 参考訳（メタデータ） (2022-02-15T18:48:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。