論文の概要: Detecting Functional Memorization in Code Language Models

• arxiv url: http://arxiv.org/abs/2606.12764v1
• Date: Thu, 11 Jun 2026 00:03:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-12 15:55:27.508656
• Title: Detecting Functional Memorization in Code Language Models
• Title（参考訳）: コード言語モデルにおける機能記憶の検出
• Authors: Matthieu Meeus, Anil Ramakrishna, Matthew Grange, Zheng Xu, Luca Melis,
• Abstract要約: 機能記憶について研究する:機能論理の抽出は、動詞の指標が検出する範囲を超えて行われる。 以上の結果から,テキストの重複を超越した監査指標の必要性が示唆された。
• 参考スコア（独自算出の注目度）: 11.225523703073504
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are increasingly used to generate code at scale. Meanwhile, prior work has investigated whether training data may be recoverable from model outputs, by auditing the textual overlap between training examples and model generations. Code, however, can be functionally equivalent while textually dissimilar. In this work, we study functional memorization: extraction of functional logic beyond what verbatim metrics detect. We construct a counterfactual setup for Olmo-3-32B, comparing a midtrained model (exposed to target code) against a pretrained reference (not exposed). We prompt both models with Python function signatures and measure both textual and functional similarity (i.e., LLM-as-a-judge, execution-based). Our results show clear evidence of functional memorization, highlighting the need for auditing metrics that go beyond textual overlap.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、大規模にコードを生成するためにますます使われている。 一方、事前研究は、トレーニング例とモデル世代間のテキストオーバーラップを監査することにより、モデル出力からトレーニングデータが復元可能かどうかを調査している。 しかし、コードは、テキスト的に異同しながら、機能的に等価である。 本研究では,機能的暗記について考察する。機能的論理の抽出は,動詞の指標が検出する範囲を超えて行われる。 我々は、Olmo-3-32Bに対して、事前訓練された参照(露出しない)に対して、中間訓練されたモデル(対象コードに対して出力される)を比較して、対実的な設定を構築する。 我々は、Python関数シグネチャでモデルの両方をプロンプトし、テキストと関数の類似性(LLM-as-a-judge、実行ベース)を計測する。 以上の結果から,テキストの重複を超越した監査指標の必要性が示唆された。

関連論文リスト

• LLMs Can Leak Training Data But Do They Want To? A Propensity-Aware Evaluation of Memorization in LLMs [2.475558262989392]
  本稿では,暗記評価のための固有性を考慮したフレームワークであるPropMeを紹介する。 Infini-gram上に構築された軽量なトレースパイプラインであるSimpleTraceも導入しています。 以上の結果から,暗記監査は最悪の抽出可能性と通常の漏洩確率の両方を報告すべきであることが示唆された。
  論文  参考訳（メタデータ） (2026-06-04T15:25:24Z)
• Functional Consistency of LLM Code Embeddings: A Self-Evolving Data Synthesis Framework for Benchmarking [23.980033692974278]
  埋め込みモデルは、クラスタリング、検索、特徴抽出といったタスクにおいて強力な性能を示し、生成モデルやクロスエンコーダよりも計算上の利点を提供している。 本稿では,多種多様なベンチマークを構築するために,関数指向コード自己進化という新しいデータ合成フレームワークを提案する。 私たちのフレームワークは、単一のコードインスタンスから4つのユニークなバリエーションを生成します。
  論文  参考訳（メタデータ） (2025-08-27T04:17:02Z)
• Measuring Déjà vu Memorization Efficiently [38.201992966736114]
  近年の研究では、表現学習モデルが誤ってトレーニングデータを記憶していることが示されている。 そこで本研究では,データセットレベルの相関を推定する手法を提案する。 これらは、再訓練することなく、市販モデルの記憶能力の近似に使用できる。
  論文  参考訳（メタデータ） (2025-04-08T03:55:20Z)
• Instance-Level Data-Use Auditing of Visual ML Models [49.862257986549885]
  機械学習(ML)システムにおけるデータの不正使用に関する法的論争の傾向は、信頼性の高いデータ利用監査機構の必要性を浮き彫りにしている。 本稿では、データ所有者がMLモデルにおける個々のデータインスタンスの使用を監査できるように設計された、最初のプロアクティブな、インスタンスレベルのデータ利用監査手法を提案する。
  論文  参考訳（メタデータ） (2025-03-28T13:28:57Z)
• Minerva: A Programmable Memory Test Benchmark for Language Models [18.474144165594225]
  本稿では、モデルがメモリを効果的に活用できる能力を評価するために、包括的なテストを自動的に生成するフレームワークを提案する。 我々は、検索、リコール、編集、マッチング、文脈記憶における情報の比較といったアトミックなタスクのモデルを評価する。 また、より複雑で統合されたタスクを実行するモデルの能力を調べるために、複合テストも設計する。
  論文  参考訳（メタデータ） (2025-02-05T16:53:45Z)
• FIND: A Function Description Benchmark for Evaluating Interpretability Methods [86.80718559904854]
  本稿では,自動解釈可能性評価のためのベンチマークスイートであるFIND(Function Interpretation and Description)を紹介する。 FINDには、トレーニングされたニューラルネットワークのコンポーネントに似た機能と、私たちが生成しようとしている種類の記述が含まれています。 本研究では、事前訓練された言語モデルを用いて、自然言語とコードにおける関数の振る舞いの記述を生成する手法を評価する。
  論文  参考訳（メタデータ） (2023-09-07T17:47:26Z)
• Description-Based Text Similarity [59.552704474862004]
  我々は、その内容の抽象的な記述に基づいて、テキストを検索する必要性を特定する。 そこで本研究では,近隣の標準探索で使用する場合の精度を大幅に向上する代替モデルを提案する。
  論文  参考訳（メタデータ） (2023-05-21T17:14:31Z)
• CodeGen2: Lessons for Training LLMs on Programming and Natural Languages [116.74407069443895]
  我々はエンコーダとデコーダベースのモデルを単一のプレフィックスLMに統一する。 学習方法は,「フリーランチ」仮説の主張を考察する。 データ配信においては,混合分布と多言語学習がモデル性能に及ぼす影響について検討した。
  論文  参考訳（メタデータ） (2023-05-03T17:55:25Z)
• Contrastive Learning for Source Code with Structural and Functional Properties [66.10710134948478]
  本稿では,ソースコードの特徴に基づいて事前学習に焦点を当てた,新たな自己教師型モデルBOOSTを提案する。 私たちは、機能的に等価なコードを生成する自動化された構造誘導型コード変換アルゴリズムを採用しています。 私たちは、対照的な学習目標を通じて、機能的に等価なコードをより近く、異なるコードに近づける方法で、モデルをトレーニングします。
  論文  参考訳（メタデータ） (2021-10-08T02:56:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。