論文の概要: LangFIR: Discovering Sparse Language-Specific Features from Monolingual Data for Language Steering

• arxiv url: http://arxiv.org/abs/2604.03532v1
• Date: Sat, 04 Apr 2026 00:56:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-07 15:49:18.626505
• Title: LangFIR: Discovering Sparse Language-Specific Features from Monolingual Data for Language Steering
• Title（参考訳）: LangFIR: 言語ステアリングのためのモノリンガルデータからスパース言語特有の特徴を発見する
• Authors: Sing Hieng Wong, Hassan Sajjad, A. B. Siddique,
• Abstract要約: LangFIRは,少量のモノリンガルデータとランダムなシーケンスのみを用いて,言語固有のSAE特徴を検出する手法である。 これらの特徴は, 対象言語に対して高度に選択的であり, 因果的に重要であり, 指向性アブレーションは, 対応する言語に対してのみ, 相互エントロピー損失を増大させる。
• 参考スコア（独自算出の注目度）: 6.007532648369572
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) show strong multilingual capabilities, yet reliably controlling the language of their outputs remains difficult. Representation-level steering addresses this by adding language-specific vectors to model activations at inference time, but identifying language-specific directions in the residual stream often relies on multilingual or parallel data that can be expensive to obtain. Sparse autoencoders (SAEs) decompose residual activations into interpretable, sparse feature directions and offer a natural basis for this search, yet existing SAE-based approaches face the same data constraint. We introduce LangFIR (Language Feature Identification via Random-token Filtering), a method that discovers language-specific SAE features using only a small amount of monolingual data and random-token sequences. Many SAE features consistently activated by target-language inputs do not encode language identity. Random-token sequences surface these language-agnostic features, allowing LangFIR to filter them out and isolate a sparse set of language-specific features. We show that these features are extremely sparse, highly selective for their target language, and causally important: directional ablation increases cross-entropy loss only for the corresponding language. Using these features to construct steering vectors for multilingual generation control, LangFIR achieves the best average accuracy BLEU across three models (Gemma 3 1B, Gemma 3 4B, and Llama 3.1 8B), three datasets, and twelve target languages, outperforming the strongest monolingual baseline by up to and surpassing methods that rely on parallel data. Our results suggest that language identity in multilingual LLMs is localized in a sparse set of feature directions discoverable with monolingual data. Code is available at https://anonymous.4open.science/r/LangFIR-C0F5/.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、強い多言語能力を示すが、出力の言語を確実に制御することは困難である。 表現レベルのステアリングは、推論時に言語固有のベクトルをモデルアクティベーションに追加することでこの問題に対処するが、残ストリーム内の言語固有の方向を特定するには、高コストで取得できる多言語または並列データに依存することが多い。 スパースオートエンコーダ(SAE)は、残余の活性化を解釈可能でスパースな特徴方向に分解し、この探索の自然な基盤を提供するが、既存のSAEベースのアプローチは同じデータ制約に直面している。 本稿では,LangFIR (Language Feature Identification via Random-token Filtering)を提案する。 ターゲット言語入力によって一貫して活性化される多くのSAE機能は、言語アイデンティティを符号化しない。 ランダムなシーケンスはこれらの言語に依存しない特徴を表面化し、LangFIRはそれらをフィルタリングし、スパースな言語固有の特徴を分離する。 これらの特徴は, 対象言語に対して高度に選択的であり, 因果的に重要であり, 指向性アブレーションは, 対応する言語に対してのみ, 相互エントロピー損失を増大させる。 これらの特徴を用いて、多言語生成制御のためのステアリングベクトルを構築し、LangFIRは3つのモデル(Gemma 3 1B、Gemma 3 4B、Llama 3.1 8B)、3つのデータセット、12のターゲット言語にまたがるBLEUの最高の平均精度を達成し、並列データに依存するメソッドを上回り、最強のモノリンガルベースラインを上回っている。 以上の結果から,多言語LLMにおける言語同一性は,単言語データで検出可能な特徴方向のスパースセットに局所化されていることが示唆された。 コードはhttps://anonymous.4open.science/r/LangFIR-C0F5/で公開されている。

関連論文リスト

• Tracing Multilingual Representations in LLMs with Cross-Layer Transcoders [51.380449540006985]
  大規模言語モデル(LLM)は多くの言語を処理できるが、どのようにして内部的にこの多様性を表現しているのかは不明だ。 言語固有のデコーディングと多言語表現を共有できるのでしょうか? 層間トランスコーダ(CLT)と属性グラフを用いて内部メカニズムを解析する。
  論文  参考訳（メタデータ） (2025-11-13T22:51:06Z)
• Causal Language Control in Multilingual Transformers via Sparse Feature Steering [7.754609745940422]
  マルチ言語モデルの生成言語を操るために,スパースオートエンコーダの機能を活用できるかどうかを検討する。 我々は、FastText言語分類によって測定された、最大90%の成功で制御された言語シフトを達成する。 解析の結果,言語ステアリングは中間から後期のトランスフォーマー層において最も効果的であることが判明した。
  論文  参考訳（メタデータ） (2025-07-17T06:49:16Z)
• Sparse Autoencoders Can Capture Language-Specific Concepts Across Diverse Languages [11.19692440351977]
  既存の研究はしばしば個々のニューロンに焦点を当てているが、その多意味性は言語固有の単位を分離することが困難である。 本稿では,機能アクティベーション確率に基づくSAE-LAPEを用いて,フィードフォワードネットワーク内の言語固有の特徴を識別する手法を提案する。 これらの機能は、モデルの多言語パフォーマンスと言語出力に影響を与え、fastTextに匹敵するパフォーマンスを持つ言語識別に使用できる。
  論文  参考訳（メタデータ） (2025-07-15T12:00:30Z)
• Unveiling Language-Specific Features in Large Language Models via Sparse Autoencoders [41.1110443501488]
  SAEから得られる特徴の単言語性を評価するための新しい指標を提案する。 これらのSAE特徴を非難することは、LLMの1つの言語における能力を大幅に低下させるだけであり、他の言語はほとんど影響を受けないことが示されている。 我々はこれらSAEから派生した言語固有の特徴を活用してステアリングベクターを強化し,LLMによる言語制御を実現する。
  論文  参考訳（メタデータ） (2025-05-08T10:24:44Z)
• Crosslingual Capabilities and Knowledge Barriers in Multilingual Large Language Models [62.91524967852552]
  大規模言語モデル(LLM)は、多言語コーパスの事前訓練のため、一般的に多言語である。 しかし、これらのモデルは言語間の対応する概念、すなわち言語を横断的に関連付けることができるだろうか? 本研究は,言語横断的タスクにおける最先端LLMの評価である。
  論文  参考訳（メタデータ） (2024-06-23T15:15:17Z)
• Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
  本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。 我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
  論文  参考訳（メタデータ） (2023-06-13T08:08:08Z)
• Multilingual Autoregressive Entity Linking [49.35994386221958]
  mGENREはMultilingual Entity Linking問題のためのシーケンス対シーケンスシステムである。 与えられた言語で言及すると、mGENREはターゲットエンティティの名前を左から右へ、トークンごとに予測します。 提案手法の有効性を3つのMELベンチマーク実験を含む広範囲な評価により示す。
  論文  参考訳（メタデータ） (2021-03-23T13:25:55Z)
• FILTER: An Enhanced Fusion Method for Cross-lingual Language Understanding [85.29270319872597]
  我々は,XLMファインタニングの入力として言語間データを利用する拡張融合法を提案する。 推論中は、ターゲット言語で入力されたテキストとソース言語の翻訳に基づいて予測を行う。 この問題に対処するため,対象言語における翻訳テキストのための自動生成ソフト擬似ラベルに基づくモデル学習のためのKL分割自己学習損失を提案する。
  論文  参考訳（メタデータ） (2020-09-10T22:42:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。