論文の概要: When Probing Accuracy Saturates, Fragility Resolves: A Complementary Metric for LLM Pre-Training Analysis

• arxiv url: http://arxiv.org/abs/2606.11375v1
• Date: Tue, 09 Jun 2026 19:00:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-11 16:42:38.146771
• Title: When Probing Accuracy Saturates, Fragility Resolves: A Complementary Metric for LLM Pre-Training Analysis
• Title（参考訳）: 精度が飽和すると、脆弱性は解消する:LCM事前学習分析のための補完的基準
• Authors: Orion Reblitz-Richardson,
• Abstract要約: 線形探索は、隠された状態の分類器が高い精度を達成したときに「符号化された」プロパティを宣言する。 標準的な線形探査は最初の数千歩以内に飽和し、ほとんどの訓練は楽器に見えないままである。 我々は,プローブ精度が崩壊するアクティベーションノイズレベルとして定義される,層ごとの相補的測定値であるフラキシビリティを導入する。
• 参考スコア（独自算出の注目度）: 1.0829694003408499
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Standard linear probing declares a property "encoded" when a classifier on hidden states achieves high accuracy. The protocol works well on a snapshot but breaks across pre-training: probe accuracy saturates within the first few thousand steps, leaving most of training invisible to the instrument. We introduce fragility, a complementary per-layer metric defined as the activation-noise level at which probe accuracy collapses. Fragility is sensitive to both the margin of separability and the redundancy of representation, both of which keep evolving long after accuracy plateaus. Applied to open-checkpoint language models, fragility recovers structure that accuracy alone cannot see. Moralized representations emerge along a lexical $\to$ compositional gradient: lexical moral detection first, compositional moral encoding later. Because probe accuracy on its own tracks how lexically separable a dataset is, we establish the compositional encoding directly, by showing it transfers across construction types that share no contrast tokens. A layer-depth robustness gradient develops monotonically across training while accuracy stays flat. And matched fine-tuning corpora that produce identical probing accuracy leave distinct fragility fingerprints, showing that data curation reshapes probe robustness without changing probe accuracy. In every comparison we test, where probing accuracy returns a flat answer, fragility returns a structured one.
• Abstract（参考訳）: 標準的な線形プローブは、隠蔽状態の分類器が高い精度を達成すると「符号化された」プロパティを宣言する。 プローブの精度は最初の数千ステップで飽和し、ほとんどのトレーニングは楽器に見えなくなる。 我々は,プローブ精度が崩壊するアクティベーションノイズレベルとして定義される,層ごとの相補的測定値であるフラキシビリティを導入する。 脆弱性は分離性の限界と表現の冗長性の両方に敏感であり、どちらも精度の高い台地から長く進化し続ける。 オープンチェックポイント言語モデルに適用された脆弱性は、精度だけでは見えない構造を回復する。 モラル化表現は、レキシカル$\to$コンポジション勾配に沿って現れる: まずレキシカルモラル検出、後にコンポジションモラルエンコーディング。 探索精度はデータセットの語彙的に分離可能であるかを独自のトラックで追跡するため、コントラストトークンを共有しない建設タイプ間での転送を示すことによって、直接合成符号化を確立する。 層深度ロバストネス勾配は、トレーニング中に単調に発達し、精度は平坦である。 そして、同一の探傷精度を生み出す微調整コーパスは、異なる脆弱な指紋を残し、データのキュレーションがプローブの精度を変えることなく、プローブの堅牢性を回復させることを示す。 すべての比較において、検証精度が平坦な答えを返す場合、脆弱性は構造化された答えを返す。

関連論文リスト

• Measuring Temporal Linguistic Emergence in Diffusion Language Models [0.0]
  拡散言語モデルは明示的な聴覚的軌跡を露呈する。 WikiText-103テキスト上でLLaDA-8B-Baseの3つの独立した32ステップ実行について検討する。
  論文  参考訳（メタデータ） (2026-04-25T10:17:47Z)
• LRANet++: Low-Rank Approximation Network for Accurate and Efficient Text Spotting [118.93173826110815]
  高精度検出のための低ランク近似に基づく新しいパラメータ化テキスト形状法を提案する。 異なるテキストの輪郭間の固有形状相関を利用して、形状表現の一貫性とコンパクト性を実現する。 我々は、LRANet++と呼ばれるエンドツーエンドテキストスポッティングフレームワークを構築するために、拡張検出モジュールを軽量な認識ブランチに統合する。
  論文  参考訳（メタデータ） (2025-11-08T03:08:03Z)
• Ambiguity-aware Point Cloud Segmentation by Adaptive Margin Contrastive Learning [65.94127546086156]
  本稿では,ポイントクラウド上のセマンティックセマンティックセグメンテーションのための適応的マージン比較学習法を提案する。 まず,両立度推定フレームワークにコントラスト学習を組み込んだAMContrast3Dを設計する。 共同トレーニングの洞察に触発されて、並列にトレーニングされた2つのブランチとAMContrast3D++を統合することを提案する。
  論文  参考訳（メタデータ） (2025-07-09T07:00:32Z)
• Ethicist: Targeted Training Data Extraction Through Loss Smoothed Soft Prompting and Calibrated Confidence Estimation [56.57532238195446]
  本研究では,対象とするトレーニングデータ抽出のためのEthicistという手法を提案する。 メモリ化を誘発するため、モデルを固定しながらソフトなプロンプト埋め込みをチューニングする。 我々は,最近提案された公開ベンチマークにおいて,エティシストが抽出性能を著しく向上することを示す。
  論文  参考訳（メタデータ） (2023-07-10T08:03:41Z)
• Improving the Accuracy-Robustness Trade-Off of Classifiers via Adaptive Smoothing [9.637143119088426]
  正誤例に対する頑健な基本分類器の信頼性差が,この改良の鍵となることを示す。 逆入力検出器を2つのベースモデルの混合を適応的に調整する混合ネットワークに適応させる。 提案したフレキシブルな手法は「適応的平滑化(adaptive smoothing)」と呼ばれ、クリーンな精度、堅牢性、あるいは敵検出を改善する既存のあるいは将来の方法と連携して機能する。
  論文  参考訳（メタデータ） (2023-01-29T22:05:28Z)
• Confidence Calibration for Intent Detection via Hyperspherical Space and Rebalanced Accuracy-Uncertainty Loss [17.26964140836123]
  一部のシナリオでは、ユーザは正確さだけでなく、モデルの信頼性も気にします。 本稿では,超球面空間と精度・不確かさ損失の再バランスを用いたモデルを提案する。 本モデルでは,既存の校正手法より優れ,校正基準の大幅な改善を実現している。
  論文  参考訳（メタデータ） (2022-03-17T12:01:33Z)
• On the (Un-)Avoidability of Adversarial Examples [4.822598110892847]
  ディープラーニングモデルの逆例は、その信頼性に大きな懸念を引き起こしている。 小摂動下でのモデルラベルの変更が正当化されるかどうかを決定するためのフレームワークを提供する。 適応的なデータ拡張は、決定論的ラベルの下で1-アレスト近傍の分類の整合性を維持していることを示す。
  論文  参考訳（メタデータ） (2021-06-24T21:35:25Z)
• Information-Theoretic Probing with Minimum Description Length [74.29846942213445]
  我々は,最小記述長 (MDL) を持つ情報理論探索法である標準プローブの代替案を提案する。 MDL Probingでは、ラベルを予測するためのプローブのトレーニングが、データを効果的に送信するための教えとして再キャストされる。 これらの手法は結果に一致し、標準プローブよりも情報的かつ安定であることを示す。
  論文  参考訳（メタデータ） (2020-03-27T09:35:38Z)
• Post-Estimation Smoothing: A Simple Baseline for Learning with Side Information [102.18616819054368]
  本稿では,構造指標データを予測に組み込む高速かつ効率的な手法として,後推定平滑化演算子を提案する。 滑らかなステップは元の予測器とは分離されているため、機械学習タスクの幅広いクラスに適用できる。 大規模な空間的・時間的データセットに関する実験は,実測後のスムース化の速度と正確さを浮き彫りにした。
  論文  参考訳（メタデータ） (2020-03-12T18:04:20Z)
• A Closer Look at Accuracy vs. Robustness [94.2226357646813]
  堅牢なネットワークをトレーニングする現在の方法は、テスト精度の低下につながる。 実際の画像データセットが実際に分離されていることを示す。 我々は、実際に堅牢性と精度を達成するには、局所的なリプシッツを強制する手法を使う必要があると結論付けている。
  論文  参考訳（メタデータ） (2020-03-05T07:09:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。