論文の概要: Shaping & Monitoring Models through their Internal Representations
- arxiv url: http://arxiv.org/abs/2611.07071v1
- Date: Wed, 04 Nov 2026 19:29:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 21:50:50.437884
- Title: Shaping & Monitoring Models through their Internal Representations
- Title（参考訳）: 内部表現による形状・モニタリングモデル
- Abstract要約: 内部表現によるモデル形成のための統一的なフレームワークであるメカニスティック・シェーピングを提案する。
メカニスティック・シェイピング(Mechanistic Shaping)は、モデルが表現する概念の仕様(ルール)に従うように、トレーニング中に適用される。
形状のコンセプトの大部分は監視可能であることが分かっています。
- 参考スコア（独自算出の注目度）: 36.04120752649984
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose Mechanistic Shaping, a unified framework for shaping models through their internal representations. Mechanistic Shaping is applied during training so that models follow specifications (rules) about which concepts they express, measured via their outputs or internal representations (e.g., no harmful content), and also which concepts they rely on, i.e., what they use to make their decisions (e.g., not a candidate's gender when screening a résumé). Across multiple domains (vision, medical imaging, language), scales (up to 32B parameters), and training paradigms (classification, SFT, DPO, GRPO), we find that Mechanistic Shaping substantially reduces targeted behaviors while preserving task performance. Since training against a representation can also modify it, we ask whether shaped concepts remain monitorable, a question that depends on the class of monitors considered. We therefore introduce a hierarchy of such classes, which separates a concept that escapes one probe from a concept that is truly gone. We characterize three geometric mechanisms of circumvention: the concept can drift away from the monitor, be erased from the layer, or persist in higher-order statistics as a nonlinear encoding, which we explain through a product-code construction. Although other mechanisms may arise in different settings or at larger scales, these three account for all of our observations, and each can be detected by a matching monitor. In practice, we find that shaped concepts largely remain monitorable: refitted linear probes recover the concept in most settings, and the original probe remains reliable whenever gradients do not flow through it. Taken together, these results point to the potential of using interpretability as a tool for training, and call for a correspondingly rigorous science of interpretability-based training.
- Abstract（参考訳）: 内部表現によるモデル形成のための統一的なフレームワークであるメカニスティック・シェーピングを提案する。
メカニスティック・シェイピング(Mechanistic Shaping)は、トレーニング中に、モデルがどの概念を、アウトプットや内的表現(例えば有害な内容は含まない)で表現し、どの概念に依存しているか(例えば、レサムをスクリーニングする際の候補者の性別ではなく)について、仕様(ルール)に従うように適用される。
複数の領域(ビジョン、医用画像、言語)、スケール(最大32Bパラメータ)、トレーニングパラダイム(分類、SFT、DPO、GRPO)にまたがって、機械的形状はタスク性能を保ちながら、標的となる動作を大幅に減少させる。
表現に対するトレーニングも変更可能であるので、考慮されたモニタのクラスに依存するような、形状のコンセプトが監視可能であるかどうかを問う。
したがって、そのようなクラスの階層構造を導入し、1つのプローブから真に消滅した概念から逃れる概念を分離する。
この概念はモニタから逸脱したり、層から消去したり、非線形符号化として高次統計を継続することができる。
他のメカニズムは異なる設定や大規模で発生するかもしれないが、これら3つのメカニズムは観測の全てを考慮し、それぞれが一致したモニターによって検出される。
修正された線形プローブは、ほとんどの設定でその概念を回復し、勾配が通過しないたびに元のプローブは信頼性が保たれる。
これらの結果は、解釈可能性をトレーニングのツールとして活用する可能性を示し、解釈可能性に基づくトレーニングの厳格な科学を求める。
関連論文リスト
- Capsule Lens: Locating and Tracking Concept Geometry in Model Representations [8.78662595138283]
提案するCapsule Lensは、その領域のコンセプトを、シンプルで追跡可能な幾何学形式にマッチさせるフレームワークである。
静的表現では、様々なモデルにまたがる概念幾何学の発見方法と、スパン曲線とノルム曲線が重要な幾何学的特徴を明らかにする方法を示す。
動的表現について、異なるトレーニング設定によって誘導される表現のドリフトを追跡する3つのケーススタディを提示する。
論文 参考訳（メタデータ） (2026-09-04T09:15:04Z) - Learn to Rank: Visual Attribution by Learning Importance Ranking [58.69028273772474]
コンピュータビジョンモデルのための視覚属性マップを生成する新しい手法を提案する。
提案手法は, 任意の数段階の勾配補正を施した1つの前方通過において, 密度の高い画素レベルの属性を生成する。
我々の実験は、一貫した定量的改善と、よりシャープで境界に沿った説明を示す。
論文 参考訳（メタデータ） (2026-04-07T12:53:22Z) - Putting a Face to Forgetting: Continual Learning meets Mechanistic Interpretability [34.34283223487095]
連続学習における破滅的な忘れは、基礎となるメカニズムを見渡すことで、しばしばパフォーマンスレベルで測定される。
本稿では,個々の特徴の符号化への変換の結果,破滅的忘れを幾何学的に解釈する機構を導入する。
私たちの仕事は、継続的な学習のための新しい、機能中心の語彙を提供します。
論文 参考訳（メタデータ） (2026-01-29T17:18:36Z) - Concept-Guided Interpretability via Neural Chunking [64.6429903327095]
ニューラルネットワークは、トレーニングデータの規則性を反映した生の集団活動のパターンを示す。
神経集団レベルで繰り返しチャンクを抽出する3つの方法を提案する。
私たちの研究は、認知原則と自然主義的データの構造の両方を活用する、解釈可能性の新しい方向性を指し示しています。
論文 参考訳（メタデータ） (2025-05-16T13:49:43Z) - Walking the Web of Concept-Class Relationships in Incrementally Trained Interpretable Models [25.84386438333865]
概念とクラスは複雑な関係の網を形成しており、それは劣化しやすく、経験を通じて保存および拡張する必要がある。
本研究では,マルチモーダルな概念を用いて,学習可能なパラメータの数を増やすことなく分類を行う新しい手法である MuCIL を提案する。
論文 参考訳（メタデータ） (2025-02-27T18:59:29Z) - Analyzing Finetuning Representation Shift for Multimodal LLMs Steering [56.710375516257876]
隠れた状態を解釈可能な視覚的概念とテキスト的概念にマッピングすることを提案する。
これにより、オリジナルモデルや微調整モデルからのシフトなど、特定のセマンティックダイナミクスをより効率的に比較することが可能になります。
また,これらの変化を捉えるためにシフトベクトルを用いることを実証する。
論文 参考訳（メタデータ） (2025-01-06T13:37:13Z) - DCBM: Data-Efficient Visual Concept Bottleneck Models [13.36057999450821]
概念ボトルネックモデル(CBM)は、人間の理解可能な概念をベースとした予測によって、ニューラルネットワークの解釈可能性を高める。
我々は,解釈可能性を維持しつつ,概念生成時の大規模なサンプルサイズの必要性を低減できるデータ効率のCBMを提案する。
論文 参考訳（メタデータ） (2024-12-16T09:04:58Z) - ClassDiffusion: More Aligned Personalization Tuning with Explicit Class Guidance [90.57708419344007]
新しい概念を学ぶ際に, 概念空間を明示的に規制するために, ** 連続保存損失** を利用するテクニックである **ClassDiffusion** を提示する。
このアプローチは単純ではあるが、ターゲット概念の微調整過程における意味的ドリフトを効果的に防止する。
論文 参考訳（メタデータ） (2024-05-27T17:50:10Z) - InfoCon: Concept Discovery with Generative and Discriminative Informativeness [7.160037417413006]
我々は、様々なロボットタスクに適応し、再組み立て可能な操作概念の自己監督的な発見に焦点を当てる。
我々は、操作の概念を生成的かつ差別的な目標としてモデル化し、それらを意味のあるサブトラジェクトリに自律的にリンクできるメトリクスを導出する。
論文 参考訳（メタデータ） (2024-03-14T14:14:04Z) - Unsupervised Controllable Generation with Self-Training [90.04287577605723]
GANによる制御可能な世代は依然として困難な研究課題である。
本稿では,自己学習を通じてジェネレータを制御する潜伏符号の分布を学習するための教師なしフレームワークを提案する。
我々のフレームワークは、変分オートエンコーダのような他の変種と比較して、より良い絡み合いを示す。
論文 参考訳（メタデータ） (2020-07-17T21:50:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。