論文の概要: When Do Concepts Become Functionally Sufficient During Language-Model Training?

• arxiv url: http://arxiv.org/abs/2608.15323v1
• Date: Sat, 15 Aug 2026 16:59:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-18 19:59:03.258635
• Title: When Do Concepts Become Functionally Sufficient During Language-Model Training?
• Title（参考訳）: 言語モデル学習において概念は機能的に十分か?
• Abstract要約: 我々は、アクティベーションを分解し、疎いソフトマスクを選択し、モデルに再構成を注入する。 本研究は, 活性化再建, 線形陰極性, 真下流保存, チェックポイント転送における有効性を比較した。 7つのモデルにまたがる固定費用操作点では、下流のマスクは復元マスクよりもかなり柔らかい質量を保っている。
• 参考スコア（独自算出の注目度）: 5.287915290004618
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding a model and its learning mechanisms in depth requires identifying when its internal structures become useful, rather than simply looking at the final state. We study this through concept dynamics: at each layer and checkpoint, we decompose activations, select sparse soft masks, and inject masked reconstructions into the model. Concept analysis is therefore tested functionally: a mask is useful only insofar as it preserves a target under intervention. We compare sufficiency for activation reconstruction, linear decodability, true downstream preservation, and checkpoint transfer under learned alignment. The framework treats decomposition assumptions as hypotheses rather than interpretability guarantees, monitoring functional sufficiency across checkpoints and source-to-final reconstructability under learned alignment. At the shared fixed-penalty operating point across seven models, downstream masks retain substantially less soft mass than reconstruction masks; predictive-distribution shifts remain small.
• Abstract（参考訳）: モデルとその学習メカニズムを深く理解するには、最終的な状態を見るのではなく、内部構造がいつ有用になるかを特定する必要がある。 各層とチェックポイントでアクティベーションを分解し、疎いソフトマスクを選択し、マスク付き再構成をモデルに注入する。 したがって、概念分析は機能的にテストされ、マスクは介入中の標的を保存するためだけに有用である。 本研究は, 活性化再構成, 線形復調性, 真下流保存, チェックポイント転送の効率を学習アライメント下で比較した。 このフレームワークは、分解の仮定を解釈可能性の保証よりもむしろ仮説として扱う。 7つのモデルで共有される固定費用操作点では、下流のマスクは復元マスクよりもかなり柔らかい質量を保ち、予測分布シフトは小さいままである。

関連論文リスト

• DriftScope: Measuring The Hidden Effects of Diffusion Model Adaptation [50.584834483403675]
  新しい視覚概念を学習するか、望ましくないものを消去するか、事前学習したテキスト・画像拡散モデルに適応させることは、意図した効果だけで日常的に評価される。 適応が意味論的に無関係な概念を、構造的にメトリクスを集約することができない方法で体系的に損なうことを実証する。 DriftScopeは、任意の2つのモデルチェックポイントを取り込み、視覚的概念が最も移行したトークンのランクリストを返す、プロンプトレベルの診断ツールである。
  論文  参考訳（メタデータ） (2026-06-30T20:57:51Z)
• Structure-Aware Masking for Protein Representation Learning [0.0]
  構造認識型マスキング手法であるBucket Maskingを導入する。 マスク分布を残留接触に条件付けすることで、Bucket Maskingは学習目標を長距離相互作用のモデル化へとシフトさせる。 下流の4つのタンパク質のフィットネス予測タスクで、Bucket Maskingは通常のランダムマスクよりも最大14%改善できる。
  論文  参考訳（メタデータ） (2026-05-15T19:36:54Z)
• Lost or Hidden? A Concept-Level Forgetting in Supervised Continual Learning [12.190665911412466]
  本稿では, 忘れを明らかに概念の削除, 回復可能性, 否定可能性に分解するフレームワークを提案する。 概念レベルの情報の多くは、線形性仮定の下で復元できることがよく示される。 以上の結果から,概念レベルの忘れ方の大部分は,表現的アクセシビリティの変化によるものであることが示唆された。
  論文  参考訳（メタデータ） (2026-05-10T20:07:10Z)
• An Illusion of Unlearning? Assessing Machine Unlearning Through Internal Representations [16.917151304941967]
  最終層の特徴と分類器のミスアライメントが主な原因で,最先端の非学習手法が成功していることを示す。 隠れた特徴は相変わらず差別的であり、単純な線形探索は、ほぼ原産地の精度を回復することができる。
  論文  参考訳（メタデータ） (2026-04-09T14:02:23Z)
• SINDER: Repairing the Singular Defects of DINOv2 [61.98878352956125]
  大規模なデータセットでトレーニングされたビジョントランスフォーマーモデルは、抽出したパッチトークンにアーティファクトを表示することが多い。 本稿では,小さなデータセットのみを用いて構造欠陥を補正するスムーズなスムーズな正規化を提案する。
  論文  参考訳（メタデータ） (2024-07-23T20:34:23Z)
• Parameter-Efficient and Memory-Efficient Tuning for Vision Transformer: A Disentangled Approach [87.8330887605381]
  本稿では,学習可能なパラメータをわずかに限定して,事前学習した視覚変換器を下流認識タスクに適用する方法を示す。 学習可能で軽量なモジュールを用いてタスク固有のクエリを合成する。 本手法はメモリ制約下での最先端性能を実現し,実環境における適用性を示す。
  論文  参考訳（メタデータ） (2024-07-09T15:45:04Z)
• Understanding Masked Autoencoders via Hierarchical Latent Variable Models [109.35382136147349]
  Masked Autoencoder (MAE) は近年,様々な視覚タスクにおいて顕著な成功を収めている。 MAEに関する興味深い経験的観察の出現にもかかわらず、理論的に原理化された理解はいまだに欠如している。
  論文  参考訳（メタデータ） (2023-06-08T03:00:10Z)
• Masked Autoencoding for Scalable and Generalizable Decision Making [93.84855114717062]
  MaskDPは、強化学習と行動クローンのためのシンプルでスケーラブルな自己教師付き事前学習手法である。 我々は,MaskDPモデルにより,単一ゴールや複数ゴール到達といった新しいBCタスクへのゼロショット転送能力が得られることを発見した。
  論文  参考訳（メタデータ） (2022-11-23T07:04:41Z)
• Improving Self-supervised Pre-training via a Fully-Explored Masked Language Model [57.77981008219654]
  Masked Language Model (MLM)フレームワークは、自己教師型言語事前学習に広く採用されている。 そこで本研究では,テキストシーケンスを複数の非重複セグメントに分割するマスキング手法を提案する。
  論文  参考訳（メタデータ） (2020-10-12T21:28:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。