論文の概要: Multilingual Steering by Design: Multilingual Sparse Autoencoders and Principled Layer Selection

• arxiv url: http://arxiv.org/abs/2605.23036v1
• Date: Thu, 21 May 2026 21:00:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-25 17:29:20.100023
• Title: Multilingual Steering by Design: Multilingual Sparse Autoencoders and Principled Layer Selection
• Title（参考訳）: 設計による多言語ステアリング:多言語スパースオートエンコーダと原理層選択
• Authors: Yusser Al Ghussin, Daniil Gurgurov, Tanja Baeumel, Josef van Genabith, Patrick Schramowski, Simon Ostermann,
• Abstract要約: マルチリンガルデータ上でのSAEのトレーニングは、一貫して言語間表現を強化していることを示す。 我々は,多言語アライメントと言語分離性の交差に基づく,強調優先階層選択ルールを導入する。 その結果,多言語SAEと交叉選択層を組み合わせることで,言語識別精度と生成品質のトレードオフを安定化できることがわかった。
• 参考スコア（独自算出の注目度）: 16.857692737043198
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sparse autoencoders (SAEs) enable feature-level mechanistic interpretability and activation steering in large language models (LLMs), but SAE-based language control remains unreliable in multilingual settings: most SAEs are trained on English-only data, and steering layers are chosen heuristically. We address these limitations by advancing a principled, mechanistic account of multilingual language steering with SAEs. First, we show that training SAEs on multilingual data consistently strengthens cross-lingual representations and yields more reliable, quality-preserving language control across layers and model families. Second, we introduce an \emph{a priori} steering layer-selection rule based on the intersection of multilingual alignment and language separability, which predicts effective intervention depths without exhaustive layerwise search. We evaluate our approach on LLaMA-3.1-8B and Gemma-2-9B across machine translation and cross-lingual summarization (CrossSumm), using SpBLEU, ROUGE-L, COMET, and LaSE. Our results show that multilingual SAEs combined with intersection-selected layers stabilize the trade-off between language identification accuracy and generation quality, providing a principled, predictive, representation-level account of multilingual SAE steering.
• Abstract（参考訳）: スパースオートエンコーダ(SAE)は、大きな言語モデル(LLM)における機能レベルの機械的解釈性とアクティベーションステアリングを可能にするが、SAEベースの言語制御は多言語設定では信頼性が低く、ほとんどのSAEは英語のみのデータに基づいて訓練されており、ステアリング層はヒューリスティックに選択されている。 SAEを用いた多言語間ステアリングの原理的,機械的考察を推し進めることで,これらの制約に対処する。 まず,多言語データ上でのSAEの訓練により,言語間表現が一貫して強化され,階層やモデルファミリ間の言語制御の信頼性が向上することを示す。 第2に,多言語アライメントと言語分離性の交差に基づく階層選択ルールを導入し,階層探索を徹底せずに効果的な介入深さを予測する。 SBLEU,ROUGE-L,COMET,LaSEを用いて,機械翻訳および言語間要約(CrossSumm)におけるLLaMA-3.1-8BとGemma-2-9Bのアプローチを評価した。 以上の結果から,多言語SAEと交叉選択層を組み合わせることで,言語識別精度と生成品質のトレードオフを安定化し,多言語SAEステアリングの原則的,予測的,表現レベルの説明を提供することがわかった。

関連論文リスト

• CLaS-Bench: A Cross-Lingual Alignment and Steering Benchmark [21.574271160875046]
  CLaS-Benchは,32言語にわたる大規模言語モデル(LLM)における言語強制行動を評価するベンチマークである。 単純な残差ベースのDiffMeanメソッドは、他のすべてのメソッドよりも一貫して優れています。
  論文  参考訳（メタデータ） (2026-01-13T08:42:03Z)
• LangGPS: Language Separability Guided Data Pre-Selection for Joint Multilingual Instruction Tuning [49.22807995935406]
  大規模言語モデル(LLM)の多言語命令追従能力と下流性能を改善するための多言語命令チューニングは広く採用されている手法である。 既存の選択法は、しばしばテキストの品質、多様性、タスク関連性といった特徴に基づいており、典型的には多言語データの固有の言語構造を見落としている。 言語分離性によって導かれる軽量な2段階事前選択フレームワークであるLangGPSを提案する。
  論文  参考訳（メタデータ） (2025-11-13T12:02:32Z)
• Language-Specific Layer Matters: Efficient Multilingual Enhancement for Large Vision-Language Models [60.39744129890118]
  大規模視覚言語モデル(LVLM)は、人間の言語で視覚情報を理解する能力を示す。 本研究では,LVLMの多言語理解能力と浅い層における言語特異的ニューロン活性化の関連性を明らかにする。 精密LAnguage-Specific 層ファインチューニングによるLVLMの多言語化を実現する学習レシピ PLAST を紹介する。
  論文  参考訳（メタデータ） (2025-08-25T18:15:25Z)
• Causal Language Control in Multilingual Transformers via Sparse Feature Steering [7.754609745940422]
  マルチ言語モデルの生成言語を操るために,スパースオートエンコーダの機能を活用できるかどうかを検討する。 我々は、FastText言語分類によって測定された、最大90%の成功で制御された言語シフトを達成する。 解析の結果,言語ステアリングは中間から後期のトランスフォーマー層において最も効果的であることが判明した。
  論文  参考訳（メタデータ） (2025-07-17T06:49:16Z)
• Unveiling Language-Specific Features in Large Language Models via Sparse Autoencoders [41.1110443501488]
  SAEから得られる特徴の単言語性を評価するための新しい指標を提案する。 これらのSAE特徴を非難することは、LLMの1つの言語における能力を大幅に低下させるだけであり、他の言語はほとんど影響を受けないことが示されている。 我々はこれらSAEから派生した言語固有の特徴を活用してステアリングベクターを強化し,LLMによる言語制御を実現する。
  論文  参考訳（メタデータ） (2025-05-08T10:24:44Z)
• Enhancing Multilingual ASR for Unseen Languages via Language Embedding Modeling [50.62091603179394]
  最も先進的なASRモデルの1つであるWhisperは99の言語を効果的に扱う。 しかし、ウィスパーは未確認の言語と戦っているが、それらは事前訓練には含まれていない。 本研究では,これらの関係を利用して未知言語上でのASR性能を向上させる手法を提案する。
  論文  参考訳（メタデータ） (2024-12-21T04:05:43Z)
• Lens: Rethinking Multilingual Enhancement for Large Language Models [70.85065197789639]
  大規模言語モデル(LLM)における多言語機能向上のための新しいアプローチであるLensを提案する。 Lensは2つの部分空間で機能する: 言語に依存しない部分空間で、ターゲット言語と中心言語を一致させて強力な意味表現を継承する部分空間、言語固有の部分空間で、ターゲット言語と中心言語を分離して言語的特異性を保存する部分空間である。 レンズは、モデルの英語能力を維持しながら、多言語のパフォーマンスを著しく向上させ、既存の訓練後のアプローチと比べて計算コストの低い結果を得る。
  論文  参考訳（メタデータ） (2024-10-06T08:51:30Z)
• Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
  本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。 我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
  論文  参考訳（メタデータ） (2023-06-13T08:08:08Z)
• FILTER: An Enhanced Fusion Method for Cross-lingual Language Understanding [85.29270319872597]
  我々は,XLMファインタニングの入力として言語間データを利用する拡張融合法を提案する。 推論中は、ターゲット言語で入力されたテキストとソース言語の翻訳に基づいて予測を行う。 この問題に対処するため,対象言語における翻訳テキストのための自動生成ソフト擬似ラベルに基づくモデル学習のためのKL分割自己学習損失を提案する。
  論文  参考訳（メタデータ） (2020-09-10T22:42:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。