論文の概要: Scaling Inherently Interpretable Language Models

• arxiv url: http://arxiv.org/abs/2608.07594v1
• Date: Thu, 06 Aug 2026 04:29:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:36.452582
• Title: Scaling Inherently Interpretable Language Models
• Title（参考訳）: 独立に解釈可能な言語モデルのスケーリング
• Abstract要約: 言語モデリングの目的に合わせて最適化された,解釈可能性をトレーニングパイプラインの制約とします。 我々は、因果注意マスク付き拡散言語モデルであるSteerling-8Bを用いて、トレーニング時のレシピをインスタンス化する。 生成されたトークンの任意のグループに対して、Steerling-8Bは出力を関連する入力トークン、人間の理解可能な概念、トレーニングデータに属性付ける。
• 参考スコア（独自算出の注目度）: 8.157444017363812
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Interpretability is often treated as a tax on capability: language models are trained as opaque systems, then explained after the fact, with methods whose reliability is difficult to establish. In this work, we challenge this premise. Rather than reverse-engineering a model, we make interpretability a constraint of the training pipeline, optimized alongside the language modeling objective. Across three orders of magnitude of compute, on both autoregressive and diffusion language models, interpretability scales with capability rather than against it. Surprisingly, model representations become more disentangled and aligned with human-understandable concepts with scale. We instantiate the training-time recipe with Steerling-8B, a diffusion language model with a causal attention mask. For any group of generated tokens, Steerling-8B attributes the output to relevant input tokens, human-understandable concepts, and training data. This enables closed-loop intervention: diagnose an output through its concept or feature attribution, retrieve similar training data, and correct the behavior through concept steering without retraining. Steerling-8B remains competitive with open peer models trained on substantially 2-16x more compute, suggesting a different scaling paradigm: interpretability can be designed into training, and it improves with scale.
• Abstract（参考訳）: 言語モデルは不透明なシステムとして訓練され、その後、信頼性を確立するのが難しい手法で説明される。 この作業では、この前提に挑戦します。 モデルのリバースエンジニアリングではなく,言語モデリングの目的に合わせて最適化された,解釈可能性をトレーニングパイプラインの制約とする。 自己回帰言語モデルと拡散言語モデルの両方において、計算の3桁にわたって、解釈可能性はそれに対してではなく能力でスケールする。 驚くべきことに、モデル表現はより絡み合っており、スケールによる人間の理解可能な概念と一致している。 我々は、因果注意マスク付き拡散言語モデルであるSteerling-8Bを用いて、トレーニング時のレシピをインスタンス化する。 生成されたトークンの任意のグループに対して、Steerling-8Bは出力を関連する入力トークン、人間の理解可能な概念、トレーニングデータに属性付ける。 これはクローズドループの介入を可能にし、その概念や特徴の属性を通じてアウトプットを診断し、類似したトレーニングデータを取得し、再トレーニングせずにコンセプトステアリングによって行動を修正する。 Steerling-8Bは、ほぼ2～16倍の計算量でトレーニングされたオープンピアモデルと競合し続けており、異なるスケーリングパラダイムを示唆している。

関連論文リスト

• Characterizing Model-Native Skills [16.891026204025838]
  スキルは、言語モデルに何ができるか、その振る舞いをどのように変えられるのかを記述するための自然なユニットである。 既存の特徴付けは人書き、テキスト記述、手動プロファイリングパイプラインに依存している。 モデルビヘイビアに介入することが目標である場合、スキルの特徴付けは*モデルネイティブ*でなければならない、と我々は主張する。
  論文  参考訳（メタデータ） (2026-04-19T20:58:25Z)
• Pretraining Language Models to Ponder in Continuous Space [50.52734567589996]
  単一のトークン生成ステップ内で,前処理を繰り返し呼び出すことによって,この思考プロセスを言語モデルに導入する。 人間のアノテーションを使わずに、自己教師付き学習を通じて、この方法でモデルを学習できることが示される。
  論文  参考訳（メタデータ） (2025-05-27T03:47:33Z)
• Large Concept Models: Language Modeling in a Sentence Representation Space [62.73366944266477]
  本稿では,概念を命名した明示的な高レベルな意味表現に基づくアーキテクチャの試みを行う。 概念は言語とモダリティに依存しないものであり、フローにおけるより高いレベルの考えや行動を表している。 本モデルでは,多くの言語に対して,ゼロショットの一般化性能が顕著であることを示す。
  論文  参考訳（メタデータ） (2024-12-11T23:36:20Z)
• Observational Scaling Laws and the Predictability of Language Model Performance [51.2336010244645]
  本稿では、モデルトレーニングを回避し、100のパブリックモデルからスケーリング法則を構築する観察的アプローチを提案する。 いくつかの創発現象が滑らかでシグモダルな挙動を辿り、小さなモデルから予測可能であることを示す。 言語モデル機能の改善が進むにつれて、Chain-of-ThoughtやSelf-Consistencyといったポストトレーニング介入の影響を予測する方法を示す。
  論文  参考訳（メタデータ） (2024-05-17T17:49:44Z)
• Mitigating Reversal Curse in Large Language Models via Semantic-aware Permutation Training [57.771940716189114]
  我々は、大きな言語モデル(LLM)が「逆の呪い」に苦しむことを示す。 逆の呪いの根本原因は、訓練と推論の段階で異なる単語順にある。 この問題に対処するために,SPT(Semantic-Aware Permutation Training)を提案する。
  論文  参考訳（メタデータ） (2024-03-01T18:55:20Z)
• Training Trajectories of Language Models Across Scales [99.38721327771208]
  言語モデルのスケールアップは、前例のないパフォーマンス向上につながった。 異なるサイズの言語モデルは事前学習中にどのように学習するか? より大きな言語モデルはなぜ望ましい振る舞いを示すのか?
  論文  参考訳（メタデータ） (2022-12-19T19:16:29Z)
• Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
  教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。 提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。 提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T11:55:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。