Fugu-MT 論文翻訳(概要): Interpreting Language Model Hidden States at Scale

論文の概要: Interpreting Language Model Hidden States at Scale

arxiv url: http://arxiv.org/abs/2608.10260v1
Date: Mon, 10 Aug 2026 21:49:45 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-12 19:14:45.828023
Title: Interpreting Language Model Hidden States at Scale
Title（参考訳）: 大規模に隠れた言語モデルの解釈
Abstract要約: OmniLenは、残差ストリーム、アテンション、トランスレータなど、任意のモデル幅のアクティベーションに単一レンズファミリを適用し、2つの独立したスケーリング技術を組み合わせる。これらのセーブにより、LLaMA-3.3-70B用の482個のレンズが密集し、同じ深さで残留ストリーム設計のカバーを6倍にすることができる。
参考スコア（独自算出の注目度）: 4.6424858468806915
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Lens methods interpret large language models (LLMs) by mapping intermediate activations to the output vocabulary, revealing how next-token predictions develop through the network. Trained lenses remain expensive: affine-translator parameters grow quadratically with model width, while exact, full-vocabulary Kullback--Leibler (KL) training dominates memory. Consequently, prior trained lenses have been applied to models of at most 20B parameters and remain tied to particular component types. We present OmniLens, which applies a single lens family to any model-width activation, whether residual stream, attention, or MLP, and combines two independent scaling techniques. First, low-rank translators make per-lens parameter growth linear in model width and reduce trainable parameters by up to 98.4%. Second, Subset-KL materializes only selected vocabulary logits: its Top-k mode cuts peak training memory by up to 70%, while its importance-sampled variant retains unbiased stochastic gradients for the full KL. These savings enable a dense ensemble of 482 lenses for LLaMA-3.3-70B, providing 6x the coverage of a residual-stream design at the same depth. Model-wide coverage then reveals what single-component lenses cannot: the components where a behavior is most visible need not be those where intervention is most effective, and the most effective interventions lie outside the attention heads examined by prior lens studies. Across three case studies (prompt-injection detection, multi-hop memory injection, and toxicity localization), OmniLens reproduces key published results at substantially lower cost.
Abstract（参考訳）: レンズ法は、中間活性化を出力語彙にマッピングすることで、大規模言語モデル (LLM) を解釈し、次トーケン予測がネットワークを介してどのように発展するかを明らかにする。トレーニングレンズは高価であり、アフィントランスレータパラメータはモデル幅で2倍に成長する一方、正確なフルボキャブラリーのKLトレーニングはメモリを支配している。その結果、事前訓練されたレンズは、少なくとも20Bパラメータのモデルに適用され、特定のコンポーネントタイプに結びついている。 OmniLensは、残差ストリーム、アテンション、MDPなど、任意のモデル幅のアクティベーションに単一レンズファミリを適用し、2つの独立したスケーリング技術を組み合わせる。第一に、低ランクトランスレータは、レンズ当たりのパラメータ成長をモデル幅で線形にし、トレーニング可能なパラメータを最大98.4%削減する。第2に、Subset-KLは選択された語彙ロジットのみを具体化しており、Top-kモードはピークトレーニングメモリを最大70%削減する一方、重要サンプルの変種は完全なKLの偏りのない確率勾配を維持している。これらのセーブにより、LLaMA-3.3-70B用の482個のレンズが密集し、同じ深さで残留ストリーム設計のカバーを6倍にすることができる。行動が最も目に見えるコンポーネントは、介入が最も効果的であるコンポーネントではなく、最も効果的な介入は、以前のレンズ研究によって検査された注意頭の外にある。 3つのケーススタディ(prompt-injection detection, multi-hop memory injection, and toxicity localization)で、OmniLensは、キーパブリッシュされた結果をかなり低コストで再現する。

関連論文リスト

LLaDA MoE v2: Scaling Mixture-of-Experts Diffusion Language Models [129.64558694024126]
拡散言語モデル(dLLM)は自己回帰(AR)言語モデリングの代替を提供する。我々は, MoE dLLM に対するハイパーパラメータ, 計算割り当て, アーキテクチャスケールの最適化を特徴付ける。 23.5Tトークンで30B-A3B dLLMのLLaDA MoE v2をスクラッチからトレーニングします。
論文参考訳（メタデータ） (2026-08-04T10:53:02Z)
Efficient Long-Context Modeling in Diffusion Language Models via Block Approximate Sparse Attention [58.484607892210015]
Diffusion Language Models (DLM) は、グローバルコヒーレント、双方向、および制御可能なテキスト生成を可能にする。既存の多くのブロックスパースアテンション手法は、高分解能アテンション空間上の固定サンプリングパターンによってブロックを選択する。本稿では,ブロックワイド事前サンプリング操作によるBA-Att(Block Approximate Sparse Attention framework)を提案する。
論文参考訳（メタデータ） (2026-05-19T12:01:13Z)
Chain-based Distillation for Effective Initialization of Variable-Sized Small Language Models [36.23126542075003]
大規模言語モデル(LLM)は強力なパフォーマンスを実現するが、リソース制約のある環境でのデプロイにはコストがかかる。スクラッチから小さな言語モデル(SLM)を訓練するには計算コストがかかる。可変サイズの言語モデルを効率的に初期化するためのスケーラブルなパラダイムであるtextbfChain-based Distillation (CBD) を提案する。
論文参考訳（メタデータ） (2026-05-08T14:21:05Z)
From One-to-One to Many-to-Many: Dynamic Cross-Layer Injection for Deep Vision-Language Fusion [91.35078719566472]
VLM(Vision-Language Models)は、粗い非対称接続を使用することで、深刻な視覚的特徴のボトルネックを生み出す。 CLI(Cross-Layer Injection)は,2つのモダリティの間に動的に多対多の橋を架ける,斬新で軽量なフレームワークである。
論文参考訳（メタデータ） (2026-01-15T18:59:10Z)
Bifrost-1: Bridging Multimodal LLMs and Diffusion Models with Patch-level CLIP Latents [55.82787697101274]
Bifrost-1は、事前訓練されたマルチモーダルLLM(MLLM)と拡散モデルをブリッジする統合フレームワークである。予め訓練したMLLMと拡散モデルとパッチレベルのCLIPラプタントをシームレスに統合することにより,高忠実度制御可能な画像生成を実現する。実験の結果,Bifrost-1は視覚的忠実度やマルチモーダル理解の観点から,従来の手法と同等あるいは優れた性能を達成できた。
論文参考訳（メタデータ） (2025-08-08T02:38:47Z)
LESA: Learnable LLM Layer Scaling-Up [57.0510934286449]
LLM(Large Language Models)をスクラッチからトレーニングするには膨大な計算資源が必要であるため、非常に高価である。モデルスケーリングアップは、より小さなモデルのパラメータを活用してより大きなモデルを作成することで、有望なソリューションを提供する。深度スケールアップのための新しい学習方法である textbfLESA を提案する。
論文参考訳（メタデータ） (2025-02-19T14:58:48Z)
Small Models, Big Impact: Efficient Corpus and Graph-Based Adaptation of Small Multilingual Language Models for Low-Resource Languages [10.418542753869433]
低リソース言語(LRL)は、限られたデータのために自然言語処理(NLP)において重大な課題に直面している。現在の最先端の大規模言語モデル(LLM)は、まだLRLと競合している。 mBERTやXLM-Rのような小さなマルチリンガルモデル(mLM)は、トレーニングデータサイズに適合する能力が向上するため、より有望である。
論文参考訳（メタデータ） (2025-02-14T13:10:39Z)
Latent Thought Models with Variational Bayes Inference-Time Computation [52.63299874322121]
ラテント思考モデル(LTM)は、ラテント空間における明示的な事前モデルに従う明示的なラテント思考ベクトルを包含する。 LTMは自己回帰モデルや離散拡散モデルよりも優れたサンプルおよびパラメータ効率を示す。
論文参考訳（メタデータ） (2025-02-03T17:50:34Z)
Liquid: Language Models are Scalable and Unified Multi-modal Generators [112.71734051183726]
Liquidは視覚的理解と生成をシームレスに統合する自動回帰生成パラダイムである。従来のマルチモーダルな大言語モデル(MLLM)とは異なり、Liquidは単一の大言語モデルを用いてこの統合を実現する。初めてLiquidは、ビジュアルタスクと言語タスクの統一トレーニングによって必然的にパフォーマンスが低下する、スケーリングの法則を明らかにした。
論文参考訳（メタデータ） (2024-12-05T16:48:16Z)
Lightweight Modular Parameter-Efficient Tuning for Open-Vocabulary Object Detection [2.1155908599769764]
パラメータ効率の良いオープン語彙オブジェクト検出のための軽量なモジュラーフレームワークUniProj-Detを提案する。 UniProj-Detは事前訓練されたバックボーンを凍結し、学習可能なモダリティトークンを備えたユニバーサル・プロジェクション・モジュールを導入し、最小限のコストで視覚-言語適応を可能にする。
論文参考訳（メタデータ） (2024-08-20T12:27:53Z)
Why Larger Language Models Do In-context Learning Differently? [12.554356517949785]
大規模言語モデル(LLM)は、インコンテキスト学習(ICL)の重要な能力を備えた、AIの強力なツールとして登場した。最近の謎の観測では、異なるスケールのモデルが異なるICLの挙動を持つ可能性がある。
論文参考訳（メタデータ） (2024-05-30T01:11:35Z)
Tokenizer Choice For LLM Training: Negligible or Crucial? [30.33170936148845]
24個の単言語LLMと多言語LLMを学習し,トークン化選択が大規模言語モデル(LLM)の下流性能に与える影響について検討した。トークン化ツールの選択は、ダウンストリームのパフォーマンスとトレーニングコストに大きな影響を与えます。ヨーロッパの5言語で訓練された多言語トークン化器は,英語と比較して語彙サイズが3倍に大きくなることが示唆された。
論文参考訳（メタデータ） (2023-10-12T22:44:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。