論文の概要: From Stories to Features: Scaling Concept Vectors for AI Alignment & Interpretability

• arxiv url: http://arxiv.org/abs/2610.24556v1
• Date: Sat, 17 Oct 2026 08:23:03 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 11:50:46.674862
• Title: From Stories to Features: Scaling Concept Vectors for AI Alignment & Interpretability
• Title（参考訳）: ストーリーから機能へ - AIアライメントと解釈可能性のためのコンセプトベクトルのスケーリング
• Abstract要約: 特徴ベクトル:人間の解釈可能な概念に対応する言語モデルのアクティベーション空間における方向について検討する。 我々は,合成概念とアンタゴニストのストーリーペアを生成し,それらの平均モデルのアクティベーションの差を特徴ベクトルとして利用する。 このアプローチを2M合成ストーリを用いて1,036個のアライメント関連概念に拡張する。
• 参考スコア（独自算出の注目度）: 9.833868126085237
• License:
• Abstract: We study feature vectors: directions in a language model's activation space that correspond to human-interpretable concepts, such as honesty or deception. Existing unsupervised methods like sparse autoencoders attempt to recover the whole feature space, often at the cost of feature quality and interpretability. We take a more pragmatic route: focusing on concepts relevant to AI safety and alignment, we generate synthetic concept-antagonist story pairs and use the difference of their mean model activations as a feature vector. We scale this approach to 1,036 alignment-relevant concepts using 2M synthetic stories across multiple languages and genres, which we publicly release. Across six models from three model families, our feature vectors reliably generalize to detecting their corresponding concepts in chat dialogues and web text. They form an interpretable geometry shared across models and can causally steer model behavior when injected into activations. We further use these features to analyze model representations during jailbreak attacks, mathematical and agentic reasoning. Our targeted feature construction thus offers a scalable route to studying concepts in language models, potentially extending to millions of features across arbitrary domains.
• Abstract（参考訳）: 特徴ベクトル: 言語モデルのアクティベーション空間における、正直さや偽りといった人間の解釈可能な概念に対応する方向について研究する。 スパースオートエンコーダのような既存の教師なしのメソッドは、しばしば機能品質と解釈可能性の犠牲で、機能空間全体を回復しようとする。 AIの安全性とアライメントに関する概念に注目し、私たちは合成概念とアンタゴニストのストーリーペアを生成し、それらの平均モデルのアクティベーションの違いを特徴ベクトルとして使用します。 このアプローチを,複数の言語やジャンルにまたがる2M合成ストーリを用いて,1,036のアライメント関連概念に拡張する。 3つのモデルファミリーの6つのモデルにまたがって、我々の特徴ベクトルは、チャット対話やWebテキストで対応する概念を検出するために確実に一般化される。 それらはモデル間で共有される解釈可能な幾何学を形成し、アクティベーションに注入された時のモデル挙動を因果的に操る。 さらに、これらの特徴を利用して、ジェイルブレイク攻撃、数学的およびエージェント的推論におけるモデル表現を分析する。 ターゲットとなる機能構築は、言語モデルの概念を研究するためのスケーラブルなルートを提供し、任意のドメインにまたがって数百万の機能に拡張する可能性がある。

関連論文リスト

• Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet [16.049764376014668]
  我々は、モデルの中間層残留ストリームに最大3400万の機能を持つスパースオートエンコーダを訓練する。 有名なエンティティやロケーションに対応する機能や、sarcasmやコード内のエラーといったより抽象的な概念を見つけます。
  論文  参考訳（メタデータ） (2026-05-28T04:57:47Z)
• Universal Sparse Autoencoders: Interpretable Cross-Model Concept Alignment [6.614005142754584]
  ユニバーサルスパースオートエンコーダ(英: Universal Sparse Autoencoders、USAEs)は、複数のディープニューラルネットワークにまたがる解釈可能な概念を明らかにするためのフレームワークである。 USAEは、複数のモデルの内部アクティベーションを一度に再構築し解釈できる普遍的な概念空間を学ぶ。
  論文  参考訳（メタデータ） (2025-02-06T02:06:16Z)
• Large Concept Models: Language Modeling in a Sentence Representation Space [62.73366944266477]
  本稿では,概念を命名した明示的な高レベルな意味表現に基づくアーキテクチャの試みを行う。 概念は言語とモダリティに依存しないものであり、フローにおけるより高いレベルの考えや行動を表している。 本モデルでは,多くの言語に対して,ゼロショットの一般化性能が顕著であることを示す。
  論文  参考訳（メタデータ） (2024-12-11T23:36:20Z)
• Promises and Pitfalls of Generative Masked Language Modeling: Theoretical Framework and Practical Guidelines [74.42485647685272]
  GMLM(Generative Masked Language Models)に焦点を当てる。 我々は,マルコフ連鎖の入力として使用されるマスキングにより,データ分布の条件付き確率に適合するモデルを訓練し,モデルからサンプルを抽出する。 我々は,T5モデルを並列デコーディングに適応させ,最小品質の犠牲を伴って機械翻訳における2～3倍の高速化を実現した。
  論文  参考訳（メタデータ） (2024-07-22T18:00:00Z)
• Meaning Representations from Trajectories in Autoregressive Models [106.63181745054571]
  入力テキストを拡張可能なすべてのトラジェクトリの分布を考慮し,自己回帰言語モデルから意味表現を抽出する。 この戦略はプロンプトフリーであり、微調整は必要とせず、事前訓練された自己回帰モデルにも適用できる。 我々は,大規模なモデルから得られた表現が人間のアノテーションとよく一致し,意味的類似性タスクにおける他のゼロショットおよびプロンプトフリーメソッドよりも優れており,標準埋め込みが扱えないより複雑なエンタテインメントや包含タスクの解決に使用できることを実証的に示す。
  論文  参考訳（メタデータ） (2023-10-23T04:35:58Z)
• Grounded Decoding: Guiding Text Generation with Grounded Models for Embodied Agents [111.15288256221764]
  グラウンデッドデコーディングプロジェクトは、両方のモデルの知識を活用することで、ロボット環境で複雑な長期タスクを解決することを目的としている。 我々はこれを確率的フィルタリングに類似した問題として、言語モデルの下で高い確率を持つシーケンスをデコードし、基底モデル対象のセットで高い確率を示す。 本研究では,3つのシミュレーション領域と実世界の領域にまたがって,そのような基底モデルがどのように得られるのかを実証し,両モデルの知識を活用して,ロボット環境での複雑な長期的タスクを解くことができることを示す。
  論文  参考訳（メタデータ） (2023-03-01T22:58:50Z)
• An Understanding-Oriented Robust Machine Reading Comprehension Model [12.870425062204035]
  本稿では,3種類のロバスト性問題に対処する理解指向機械読解モデルを提案する。 具体的には、入力された質問の正確な意味を理解するために、まず自然言語推論モジュールを使用します。 第3に,一般化の問題に対処する多言語学習機構を提案する。
  論文  参考訳（メタデータ） (2022-07-01T03:32:02Z)
• CAZSL: Zero-Shot Regression for Pushing Models by Generalizing Through Context [13.217582954907234]
  本研究では、文脈認識モデルを構築することにより、物理世界のモデルを一般化できるディープラーニングエージェントを設計する問題について検討する。 本稿では、文脈対応ゼロショット学習(CAZSL)モデル、シームズネットワークを利用したアプローチ、埋め込み空間、文脈変数に基づく正規化を提案する。 提案した学習アルゴリズムを最近リリースされたOmnipushデータセット上でテストし、メタ学習機能のテストを可能にした。
  論文  参考訳（メタデータ） (2020-03-26T01:21:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。