論文の概要: Efficient Representations are Controllable Representations

• arxiv url: http://arxiv.org/abs/2602.07828v1
• Date: Sun, 08 Feb 2026 05:32:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-10 20:26:24.821368
• Title: Efficient Representations are Controllable Representations
• Title（参考訳）: 効率的な表現は制御可能な表現である
• Authors: Charles Ye, Jasmine Cui,
• Abstract要約: LLMの内部的な概念の表現方法を制御するには、まずモデルを識別し、次にモデルの既存の特徴幾何学に介入する洗練された方法が必要である。 単純な補助損失でLCMを微調整し、3072の残留ストリーム次元のうち16を、生成に必要な概念を示す不活性な解釈可能性フラグとして訓練する。 その結果、これらの不活性フラグは真の内部機能となり、解釈可能な制御スイッチによって推論時に生成を制御できます。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: What is the most brute-force way to install interpretable, controllable features into a model's activations? Controlling how LLMs internally represent concepts typically requires sophisticated methods to first identify, then intervene on the model's existing feature geometry. We bypass all of this. We finetune an LLM with a simple auxiliary loss, training 16 of its 3072 residual stream dimensions to be inert interpretability flags that simply indicate what concepts are required for generation. The model reorganizes around them anyway, learning to rely on these flags during actual generation tasks. As a result, these inert flags become genuine internal features: interpretable control switches that allow us to steer generation at inference time. Why does this work? When a feature is reliably supplied at a fixed location, gradient descent gradually eliminates redundant encodings elsewhere, and the model erodes its own alternative representations. A model's efficiency pressure is a lever - exploitable to induce interpretable, controllable representations.
• Abstract（参考訳）: モデルアクティベーションに解釈可能で制御可能な機能をインストールする最も残酷な方法は何ですか? LLMを内部的にどのように表現するかを制御するには、まずモデルを識別し、次にモデルの既存の特徴幾何学に介入する洗練された方法が必要となる。 私たちはこの全てをバイパスする。 単純な補助損失でLCMを微調整し、3072の残留ストリーム次元のうち16を、生成に必要な概念を示す不活性な解釈可能性フラグとして訓練する。 モデルはそれらの周りで再編成され、実際の生成タスクの間、これらのフラグを頼りにすることを学ぶ。 その結果、これらの不活性フラグは真の内部機能となり、解釈可能な制御スイッチによって推論時に生成を制御できます。 なぜこれがうまくいくのか? ある機能が固定された場所で確実に供給されると、勾配勾配は徐々に他の場所で冗長な符号化を排除し、モデルが自身の代替表現を侵食する。 モデルの効率圧はレバーであり、解釈可能で制御可能な表現を誘導するために利用される。

関連論文リスト

• CodeCircuit: Toward Inferring LLM-Generated Code Correctness via Attribution Graphs [13.488544043942495]
  本研究の目的は、コード生成中に論理的妥当性を予測可能な内部デオード可能な信号が、モデル内のニューラルダイナミクスで符号化されているかどうかを検討することである。 複雑な残留流を分解することにより,音の推論と論理的失敗を区別する構造的シグネチャを同定することを目的とする。 Python、C++、Javaでの分析では、固有の正当性信号が多様な構文で堅牢であることが確認されている。
  論文  参考訳（メタデータ） (2026-02-06T03:49:15Z)
• SALVE: Sparse Autoencoder-Latent Vector Editing for Mechanistic Control of Neural Networks [0.0]
  SALVEは機械的解釈可能性とモデル編集を橋渡しするフレームワークである。 私たちは、監督なしでスパースでモデルネイティブな機能ベースを学びます。 Grad-FAM(英語版)によりこれらの特徴を検証した。
  論文  参考訳（メタデータ） (2025-12-17T20:06:03Z)
• Hyperdimensional Probe: Decoding LLM Representations via Vector Symbolic Architectures [12.466522376751811]
  超次元プローブは、大規模言語モデルベクトル空間から情報を復号するための新しいパラダイムである。 シンボリック表現とニューラルプローブのアイデアを組み合わせて、モデルの残留ストリームを解釈可能な概念に投影する。 我々の研究は、LLMベクトル空間における情報復号化を進め、神経表現からより情報的、解釈可能、構造化された特徴を抽出することを可能にする。
  論文  参考訳（メタデータ） (2025-09-29T16:59:07Z)
• GrAInS: Gradient-based Attribution for Inference-Time Steering of LLMs and VLMs [56.93583799109029]
  GrAInSは推論時ステアリングのアプローチで、言語のみのモデルと視覚言語の両方のモデルとタスクで動作する。 推論中、GrAInSはトークンレベルの属性信号によって誘導されるトランスフォーマー層で隠されたアクティベーションを隠蔽し、アクティベーションを正規化し、表現スケールを保存する。 微調整と既存のステアリングベースラインの両方を一貫して上回る。
  論文  参考訳（メタデータ） (2025-07-24T02:34:13Z)
• Attribution-guided Pruning for Compression, Circuit Discovery, and Targeted Correction in LLMs [15.23174472320989]
  大規模言語モデル(LLM)は多くの現代のAIアプリケーションの中心である。 eXplainable AI(XAI)の最近の研究は、解釈可能性がモデル圧縮を可能にすることを示唆している。
  論文  参考訳（メタデータ） (2025-06-16T17:38:36Z)
• Unlearning Isn't Deletion: Investigating Reversibility of Machine Unlearning in LLMs [38.837810490068556]
  大規模言語モデル(LLM)におけるアンラーニングは、指定されたデータを削除することを目的としているが、その効果は通常、正確性や複雑度のようなタスクレベルのメトリクスで評価される。 最小限の微調整によって元の動作が容易に復元される間、モデルは忘れることができることを実証する。 この表現可能性の現象は、情報は単に抑圧されているだけであり、真に消去されていないことを示唆している。
  論文  参考訳（メタデータ） (2025-05-22T16:02:10Z)
• Analyzing Finetuning Representation Shift for Multimodal LLMs Steering [56.710375516257876]
  隠れた状態を解釈可能な視覚的概念とテキスト的概念にマッピングすることを提案する。 これにより、オリジナルモデルや微調整モデルからのシフトなど、特定のセマンティックダイナミクスをより効率的に比較することが可能になります。 また,これらの変化を捉えるためにシフトベクトルを用いることを実証する。
  論文  参考訳（メタデータ） (2025-01-06T13:37:13Z)
• Predicting the Performance of Black-box LLMs through Self-Queries [60.87193950962585]
  大規模言語モデル(LLM)は、AIシステムにおいてますます頼りになってきている。 本稿では、フォローアッププロンプトを使用し、異なる応答の確率を表現として捉え、ブラックボックス方式でLCMの特徴を抽出する。 これらの低次元表現上で線形モデルをトレーニングすると、インスタンスレベルでのモデル性能の信頼性を予測できることを示す。
  論文  参考訳（メタデータ） (2025-01-02T22:26:54Z)
• Model Surgery: Modulating LLM's Behavior Via Simple Parameter Editing [63.20133320524577]
  パラメータの小さなサブセットを編集することで、大きな言語モデル(LLM)の特定の振る舞いを効果的に調節できることを示す。 我々の手法は、RealToxicityPromptsデータセットで最大90.0%の毒性を減少させ、ToxiGenで49.2%を達成する。
  論文  参考訳（メタデータ） (2024-07-11T17:52:03Z)
• Unsupervised Controllable Generation with Self-Training [90.04287577605723]
  GANによる制御可能な世代は依然として困難な研究課題である。 本稿では,自己学習を通じてジェネレータを制御する潜伏符号の分布を学習するための教師なしフレームワークを提案する。 我々のフレームワークは、変分オートエンコーダのような他の変種と比較して、より良い絡み合いを示す。
  論文  参考訳（メタデータ） (2020-07-17T21:50:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。