論文の概要: Categorical Prior Lock-in: Why In-Context Learning Fails for Structured Data

• arxiv url: http://arxiv.org/abs/2606.11961v1
• Date: Wed, 10 Jun 2026 11:41:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-11 16:42:38.432531
• Title: Categorical Prior Lock-in: Why In-Context Learning Fails for Structured Data
• Title（参考訳）: カテゴリー的事前ロックイン: 構造化データにコンテキスト学習が失敗する理由
• Authors: Antonio Pelusi, Stefano Braghin, Alberto Trombetta,
• Abstract要約: 分散ミスマッチ下での構造化生成における文脈内学習(ICL)の限界について検討する。 ICLが事前学習から受け継いだトークンの分布を更新できないため、我々は、テクティティティカルな事前ロックインと呼ぶ構造的障害モードを特定した。
• 参考スコア（独自算出の注目度）: 2.327999580858199
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are increasingly used as conditional generators for structured data, relying on in-context learning (ICL) to adapt to new distributions without parameter updates. We investigate the limits of ICL for structured generation under distribution mismatch, using high-cardinality tabular data as a controlled test case, and identify a structural failure mode we term \textit{categorical prior lock-in}: the inability of ICL to update the model's prior over token distributions inherited from pre-training. Across two 7B-parameter open-weight models, ICL improves numerical fidelity with additional examples but exhibits a sharp ceiling on categorical distributions, failing to reproduce rare classes entirely. Parameter-efficient fine-tuning (LoRA) overcomes these limitations but introduces measurable memorization risk and, in some cases, destabilizes structured output generation, highlighting a fundamental trade-off between adaptability and privacy.
• Abstract（参考訳）: 大規模言語モデル (LLM) は、パラメータを更新せずに新しい分布に適応するために、ICL (In-context Learning) に依存して、構造化データの条件付きジェネレータとしてますます使われている。 我々は、分布ミスマッチによる構造的生成におけるICLの限界を、高次グラフデータを制御されたテストケースとして使用し、構造的故障モードを \textit{categorical pre lock-in} と呼ぶ。 2つの7Bパラメトリオープンウェイトモデルにおいて、ICLは数値忠実度を更なる例で改善するが、カテゴリー分布の鋭い天井を示し、希少なクラスを完全に再現することができない。 パラメータ効率の良い微調整(LoRA)は、これらの制限を克服するが、測定可能な記憶リスクを導入し、場合によっては、構造化された出力生成を不安定化し、適応性とプライバシの基本的なトレードオフを強調する。

関連論文リスト

• Excess Description Length of Learning Generalizable Predictors [7.527535569795127]
  我々は,列車のデータセットからどれだけの予測構造を微調整するかを定量化するための形式的情報理論フレームワークを開発した。 我々の中心となる量であるExcess Description Length (EDL) は、逐次符号化によって定義される。 我々は,EDLが期待値が負でないことを証明し,無限データ限界における余剰記述長に収束し,期待される一般化ゲインにバウンダリを与える。
  論文  参考訳（メタデータ） (2026-01-08T08:46:42Z)
• A Framework for Quantifying How Pre-Training and Context Benefit In-Context Learning [52.07397258423034]
  現実的な設定のクラスにおいて,ICLの性能を解析するための新しいフレームワークを提案する。 我々は、ICL性能と文脈長、および事前訓練と問合せタスク分布のKL分散の正確な関係を導出する。
  論文  参考訳（メタデータ） (2025-10-26T09:21:29Z)
• Surprise Calibration for Better In-Context Learning [6.566285172635043]
  In-context Learning (ICL) は、大規模言語モデルにおけるタスク適応のための強力なパラダイムとして登場した。 既存のバイアス校正法は、すべての入力に対して固定クラス事前を適用し、動的ICL設定におけるそれらの有効性を制限している。 本稿では,クラス先行の時間的ダイナミクスをキャプチャする新しいメソッド・サプライズ(SC)を提案する。
  論文  参考訳（メタデータ） (2025-06-15T10:04:42Z)
• EquiTabPFN: A Target-Permutation Equivariant Prior Fitted Networks [55.214444066134114]
  我々は、同変エンコーダ、デコーダ、およびバイアテンション機構を介し、完全にターゲット同変のアーキテクチャに適応する置換不変性を設計する。 標準分類ベンチマークの実証的評価は、事前学習中に見られたクラス数より多いデータセットでは、我々のモデルは計算オーバーヘッドを低く抑えながら既存の手法と一致または超えていることを示している。
  論文  参考訳（メタデータ） (2025-02-10T17:11:20Z)
• Continuous Knowledge-Preserving Decomposition with Adaptive Layer Selection for Few-Shot Class-Incremental Learning [73.59672160329296]
  CKPD-FSCILは、事前訓練された重量の未使用容量を解放する統合フレームワークである。 本手法は,適応性と知識保持の両面で,最先端の手法より一貫して優れている。
  論文  参考訳（メタデータ） (2025-01-09T07:18:48Z)
• Structured Language Generation Model for Robust Structure Prediction [6.4736137270915215]
  損失校正・復号法における手法を用いて,シーケンス・ツー・シーケンスの問題を分類問題に還元するフレームワークを提案する。 実験結果から,SLGMはデータセット情報を明示せずに,データセット固有の微調整を追従し,置き換えることが可能であることが示唆された。
  論文  参考訳（メタデータ） (2024-02-14T06:33:22Z)
• When Does Confidence-Based Cascade Deferral Suffice? [69.28314307469381]
  カスケードは、推論コストをサンプル毎に適応的に変化させる古典的な戦略である。 deferralルールは、シーケンス内の次の分類子を呼び出すか、または予測を終了するかを決定する。 カスケードの構造に執着しているにもかかわらず、信頼に基づく推論は実際は極めてうまく機能することが多い。
  論文  参考訳（メタデータ） (2023-07-06T04:13:57Z)
• Learning Prompt-Enhanced Context Features for Weakly-Supervised Video Anomaly Detection [37.99031842449251]
  弱い監督下での映像異常検出は重大な課題を呈する。 本稿では,効率的なコンテキストモデリングとセマンティック識別性の向上に焦点をあてた,弱教師付き異常検出フレームワークを提案する。 提案手法は,特定の異常なサブクラスの検出精度を大幅に向上させ,その実用的価値と有効性を裏付けるものである。
  論文  参考訳（メタデータ） (2023-06-26T06:45:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。