Fugu-MT 論文翻訳(概要): Probing Memorization of Tabular In-Context Learning

論文の概要: Probing Memorization of Tabular In-Context Learning

arxiv url: http://arxiv.org/abs/2606.31208v1
Date: Tue, 30 Jun 2026 06:40:36 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-01 18:27:19.105722
Title: Probing Memorization of Tabular In-Context Learning
Title（参考訳）: タブラルインテクスト学習の学習履歴の探索
Abstract要約: 我々は、文脈に基づく予測とパラメトリック記憶の分離を目的とした探索フレームワークICLMEMを紹介する。以上の結果より, 特定の状況下でのLTM記憶信号が得られた。機密データを保護するには適切な措置を取らなければならない。
参考スコア（独自算出の注目度）: 1.3750624267664155
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Large tabular models (LTMs), i.e., tabular foundation models leveraging in-context learning (ICL), achieve state-of-the-art performance on tabular tasks. While LLMs are known to unintentionally memorize training data, the memorization dynamics of LTMs remain largely unexplored. We investigate the potential for parametric memorization in tabular ICL. We introduce ICLMEM, a probing framework designed to separate context-based predictions from parametric memorization. Our zero-information multiple-choice context strips away valid contextual patterns to force the model to fall back on its parametric memory. Our controlled fine-tuning setup establishes membership ground truth and accounts for common pitfalls, e.g., distribution shift, feature contamination, base-rate fallacy, and the pre-trained base model acts as reference to calibrate for sample difficulty. Our controlled evaluation on a leading real-world-trained LTM detects moderate memorization signals in 8 out of 10 tasks ($\text{AUC}$ up to $0.67$ and TPR at $1\%$ FPR $>0.1$). Notably, memorization signals are strongest for low-cardinality and binary tasks. However, they largely vanish under realistic training conditions. Our findings show LTM memorization signals under specific circumstances (single-task fine-tuning with fixed samples across many epochs and small query size). To protect sensitive data, appropriate measures must be taken, which we discuss.
Abstract（参考訳）: 大規模表層モデル(LTM)、すなわち、テキスト内学習(ICL)を利用した表層基礎モデルは、表層タスクにおける最先端のパフォーマンスを達成する。 LLMは意図せずトレーニングデータを記憶することが知られているが、LTMの記憶力学はほとんど解明されていない。表在性ICLにおけるパラメトリック記憶の可能性について検討した。我々は、文脈に基づく予測とパラメトリック記憶の分離を目的とした探索フレームワークICLMEMを紹介する。我々のゼロ情報多重選択コンテキストは、モデルのパラメトリックメモリへのフォールバックを強制するために有効なコンテキストパターンを排除します。制御された微調整装置は, 共通の落とし穴, 例えば, 分布シフト, 特徴汚染, ベースレートの誤り, および事前学習されたベースモデルは, サンプルの難易度を校正するための指標として機能する。実世界の先行学習LTMにおける制御された評価は、10タスク中8タスク中8タスク中8つの中程度の記憶信号を検出する(\text{AUC}$ 最大0.67$、TPRは1\%$ FPR$>0.1$)。特に、記憶信号は低心拍数および二分課題において最強である。しかし、現実的な訓練条件下ではほぼ消滅した。以上の結果より, 特定の状況下でのLTM記憶信号(多数のエポック, クエリサイズが小さい固定標本を用いた単一タスク微調整)が得られた。機密データを保護するには適切な対策を講ずる必要がある。

関連論文リスト

LLMs Can Leak Training Data But Do They Want To? A Propensity-Aware Evaluation of Memorization in LLMs [2.475558262989392]
本稿では,暗記評価のための固有性を考慮したフレームワークであるPropMeを紹介する。 Infini-gram上に構築された軽量なトレースパイプラインであるSimpleTraceも導入しています。以上の結果から,暗記監査は最悪の抽出可能性と通常の漏洩確率の両方を報告すべきであることが示唆された。
論文参考訳（メタデータ） (2026-06-04T15:25:24Z)
Prior Aware Memorization: An Efficient Metric for Distinguishing Memorization from Generalization in Large Language Models [9.915106680104268]
LLM(Large Language Models)からのトレーニングデータ漏洩は、プライバシ、セキュリティ、著作権コンプライアンスに関する深刻な懸念を引き起こす。既存の暗記計測手法はしばしばこれらの現象を説明し、共通パターンの一般化から生じたときでも、アウトプットを暗記している。この研究は、LLMにおける真の記憶を識別するための理論的基礎と軽量でトレーニング不要な基準である、事前認識記憶を導入している。
論文参考訳（メタデータ） (2026-02-21T06:31:17Z)
LLM Unlearning on Noisy Forget Sets: A Study of Incomplete, Rewritten, and Watermarked Data [69.5099112089508]
大規模言語モデル(LLM)は、顕著な生成能力を示すが、機密データを記憶することで倫理的およびセキュリティ上の懸念を引き起こす。この研究は、ノイズのある忘れセットと呼ばれる、摂動的または低忠実な忘れデータの下での未学習に関する最初の研究を提示する。コアセマンティック信号が保存されている場合、未学習は摂動に対して驚くほど堅牢である。
論文参考訳（メタデータ） (2025-10-10T05:10:49Z)
Unveiling Over-Memorization in Finetuning LLMs for Reasoning Tasks [10.807620342718309]
事前訓練された大言語モデル (LLM) はラベル付きデータで微調整され、人間の値に適合する。本研究では,LLMファインタニングの学習ダイナミクスを推論タスクで研究し,その過記憶現象を明らかにする。この効果を緩和するために,チェックポイントマージやメモリ化対応リウェイトといった手法を提案する。
論文参考訳（メタデータ） (2025-08-06T06:34:12Z)
Memorization or Interpolation ? Detecting LLM Memorization through Input Perturbation Analysis [8.725781605542675]
大規模言語モデル(LLM)は,大規模なデータセットのトレーニングを通じて,優れたパフォーマンスを実現する。 LLMは、真の一般化ではなく、トレーニングデータの冗長な再現のような振る舞いを示すことができる。本稿では, LLMにおける暗記検出のための新しい手法であるPEARLを紹介する。
論文参考訳（メタデータ） (2025-05-05T20:42:34Z)
The First Few Tokens Are All You Need: An Efficient and Effective Unsupervised Prefix Fine-Tuning Method for Reasoning Models [69.798277882245]
大規模言語モデルの推論効率を向上させるために,Unsupervised Prefix Fine-Tuning (UPFT)を導入した。 UPFTはラベル付きデータや徹底的なサンプリングの必要性を取り除く。実験の結果,UPFTは教師付き手法の性能と一致していることがわかった。
論文参考訳（メタデータ） (2025-03-04T18:56:03Z)
Skewed Memorization in Large Language Models: Quantification and Decomposition [23.097554469918357]
LLM(Large Language Models)のメモリ化は、プライバシとセキュリティのリスクを引き起こす。本稿では,教師付き微調整(SFT)の記憶について検討し,トレーニング期間,データセットサイズ,サンプル間類似度との関係について検討する。
論文参考訳（メタデータ） (2025-02-03T09:23:53Z)
What Do Learning Dynamics Reveal About Generalization in LLM Reasoning? [83.83230167222852]
モデルの一般化動作は,事前記憶列車の精度と呼ばれるトレーニング指標によって効果的に特徴づけられることがわかった。モデルの学習行動と一般化を結びつけることで、トレーニング戦略に目標とする改善を導くことができる。
論文参考訳（メタデータ） (2024-11-12T09:52:40Z)
Elephants Never Forget: Testing Language Models for Memorization of Tabular Data [21.912611415307644]
大規模言語モデル (LLM) は様々なタスクに適用できるが、データ汚染と記憶の重大な問題はしばしば誇張される。本稿では, 条件分布モデリングの統計的テストや, 暗記を識別する4つのテストなど, 汚染度を評価するための様々な手法を紹介する。
論文参考訳（メタデータ） (2024-03-11T12:07:13Z)
TRACE: A Comprehensive Benchmark for Continual Learning in Large Language Models [52.734140807634624]
調整された大規模言語モデル(LLM)は、タスク解決、指示に従うこと、安全性を確保することにおいて、例外的な能力を示す。既存の連続学習ベンチマークでは、LLMをリードする上で十分な課題が欠如している。 LLMにおける継続学習を評価するための新しいベンチマークであるTRACEを紹介する。
論文参考訳（メタデータ） (2023-10-10T16:38:49Z)
Exploring Memorization in Fine-tuned Language Models [53.52403444655213]
我々は,タスク間の微調整中に,言語モデルの暗記を探索する最初の包括的分析を行う。オープンソースと、さまざまなタスクにまたがる独自の微調整LMによる研究は、暗記が様々な微調整タスクの間に強い相違を示すことを示している。本稿では,この課題の相違をスパース符号化理論を用いて直感的に説明し,暗記と注目スコア分布との強い相関関係を明らかにする。
論文参考訳（メタデータ） (2023-10-10T15:41:26Z)
Quantifying Memorization Across Neural Language Models [61.58529162310382]
大規模言語モデル(LM)は、トレーニングデータの一部を記憶するために示され、適切に誘導されると、記憶されたデータを冗長に出力する。これは、暗記がプライバシーを侵害し(ユーザーデータをエクスポーティングする)、実用性を低下させ(繰り返し覚えやすいテキストは、しばしば品質が低い)、公平性を損なうため、望ましくない。本稿では、LMが記憶されたトレーニングデータを出力する度合いを定量化する3つの対数線形関係について述べる。
論文参考訳（メタデータ） (2022-02-15T18:48:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。