論文の概要: Recurrence Is Not Enough: Causally Validating Multilingual SAE Translation Features in Gemma 2 and 3
- arxiv url: http://arxiv.org/abs/2609.04808v1
- Date: Fri, 04 Sep 2026 07:05:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-07 18:15:23.942655
- Title: Recurrence Is Not Enough: Causally Validating Multilingual SAE Translation Features in Gemma 2 and 3
- Title（参考訳）: 再帰性は十分ではない:Gemma 2と3の多言語SAE翻訳機能の因果検証
- Abstract要約: Gemma 2 では Wu 等から SAE 特徴発見法を再現し, 言語, ソース言語, ターゲット言語によって異なる多言語設定に拡張する。
次に、設定間で再帰する機能が、推論中にアクティベーションを増幅または強調することにより、翻訳行動に影響を与えるかどうかをテストする。
Gemma 2 (L10, 5717) と Gemma 3 (L20, 2456) の1つの機能は、23の言語設定で強化されたときにCOMETスコアを一貫して改善し、それらを分解する。
- 参考スコア（独自算出の注目度）: 4.942983619006376
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Sparse autoencoder (SAE) features are increasingly used to explain and steer language-model behavior, but it remains unclear whether a feature found in one language context plays the same causal role when processing prompts in another language. We study this question using translation-initiation features (Wu et al., 2026). We reproduce the SAE feature discovery method from Wu et al. in Gemma 2 and extend it to multilingual settings that vary prompt language, source language, and target language. We then test whether features that recur across settings affect translation behavior by amplifying or ablating their activations during inference. We also examine whether the method can be applied to Gemma 3. In both models, we observe an identical finding: although we can find more than 20 features that activate frequently across all discovery settings, causal validation shows that nearly all have small or inconsistent effects. In contrast, one feature -- Gemma 2's (L10, 5717) and Gemma 3's (L20, 2456) -- consistently improves COMET scores when amplified and degrades them when ablated across 23 language settings. These results show that feature recurrence can overstate cross-lingual transfer, while identifying a language-agnostic translation-initiation direction in Gemma 2 and Gemma 3.
- Abstract（参考訳）: スパースオートエンコーダ(SAE)機能は、言語モデル動作の説明とステアリングにますます使われているが、ある言語コンテキストにある機能が他の言語での処理プロンプトで同じ因果的役割を果たすかどうかは不明である。
翻訳開始機能(Wu et al ,2026。
我々は、Gemma 2のWu et alからSAE特徴発見法を再現し、プロンプト言語、ソース言語、ターゲット言語が異なる多言語設定に拡張する。
次に、設定間で再帰する機能が、推論中にアクティベーションを増幅または強調することにより、翻訳行動に影響を与えるかどうかをテストする。
また,この手法がGemma 3に適用できるかどうかについても検討する。
両方のモデルにおいて、同一の発見を観察する:全ての発見設定で頻繁に活性化される20以上の機能を見つけることができるが、因果検証は、ほとんどすべてが小さいか一貫性のない効果を持っていることを示している。
対照的に、Gemma 2 (L10, 5717) と Gemma 3 (L20, 2456) の1つの機能は、23の言語設定で短縮されたときにCOMETスコアを一貫して改善し、低下させる。
これらの結果から, Gemma 2 および Gemma 3 における言語に依存しない翻訳開始方向を同定しながら, 言語間移動を過度に繰り返すことが示唆された。
関連論文リスト
- KIT's Submission to Cross-Lingual Voice Cloning in IWSLT 2026 [61.29502937013759]
言語間音声のクローニングは、ソース言語参照から話者識別を保ちながら、ターゲット言語で音声を生成することを目的としている。
鍵となる課題は、アクセントの変化とドメイン固有の語彙の存在において、知性と自然性を維持することである。
我々は、多言語テキスト音声モデル、FishAudio-S2-Proを構築し、言語制御を改善しアクセントリークを低減するために、言語タグプロンプトを導入する。
論文 参考訳（メタデータ） (2026-06-05T13:09:21Z) - LinguaMap: Which Layers of LLMs Speak Your Language and How to Tune Them? [3.809788214307542]
多言語転送ボトルネックと言語一貫性ボトルネックという,2つの重要な障害モードを特定し,特徴付ける。
我々はロジットレンズ解析を拡張し、言語確率層を層単位で追跡し、隠れ状態の言語間セマンティックな類似性を計算する。
これは、効率的な多言語適応のために言語制御の層局所化を利用する最初のアプローチである。
論文 参考訳（メタデータ） (2026-01-27T19:38:12Z) - Causal Language Control in Multilingual Transformers via Sparse Feature Steering [7.754609745940422]
マルチ言語モデルの生成言語を操るために,スパースオートエンコーダの機能を活用できるかどうかを検討する。
我々は、FastText言語分類によって測定された、最大90%の成功で制御された言語シフトを達成する。
解析の結果,言語ステアリングは中間から後期のトランスフォーマー層において最も効果的であることが判明した。
論文 参考訳（メタデータ） (2025-07-17T06:49:16Z) - MSA at SemEval-2025 Task 3: High Quality Weak Labeling and LLM Ensemble Verification for Multilingual Hallucination Detection [0.0]
本稿では,SemEval-2025 Task 3: Mu-SHROOM, The Multilingual Shared-task on Hallucinations and Related Observable Overgeneration misstakesについて述べる。
このタスクは、複数の言語にまたがる命令チューニングされた大規模言語モデル(LLM)によって生成されたテキスト中の幻覚的スパンを検出することを含む。
我々のシステムはアラビア語とバスク語で第1位、ドイツ語、スウェーデン語、フィンランド語で第2位、チェコ語、ファルシ語、フランス語で第3位にランクインした。
論文 参考訳（メタデータ） (2025-05-27T08:26:17Z) - Gemma 3 Technical Report [198.3299202423321]
Gemma 3は、軽量オープンモデルのGemmaファミリに対するマルチモーダルな追加である。
このバージョンでは、視覚理解能力、より広範な言語カバレッジ、より長いコンテキストが導入されている。
また、長いコンテキストで爆発しがちなKVキャッシュメモリを減らすために、モデルのアーキテクチャを変更します。
論文 参考訳（メタデータ） (2025-03-25T15:52:34Z) - Wav2Gloss: Generating Interlinear Glossed Text from Speech [78.64412090339044]
音声から4つの言語アノテーションを自動抽出するタスクであるWav2Glossを提案する。
音声からのインターリニア・グロッシド・テキスト・ジェネレーションの今後の研究の基盤となる基盤となるものについて述べる。
論文 参考訳（メタデータ） (2024-03-19T21:45:29Z) - Shapley Head Pruning: Identifying and Removing Interference in
Multilingual Transformers [54.4919139401528]
言語固有のパラメータを識別・解析することで干渉を減らすことができることを示す。
固定モデルから同定された注目ヘッドを除去することで、文分類と構造予測の両方において、ターゲット言語の性能が向上することを示す。
論文 参考訳（メタデータ） (2022-10-11T18:11:37Z) - UPV at CheckThat! 2021: Mitigating Cultural Differences for Identifying
Multilingual Check-worthy Claims [6.167830237917659]
本稿では,意図しないバイアスを軽減するための補助課題として,言語識別タスクを提案する。
その結果,言語識別とチェックアワーなクレーム検出タスクを併用することで,選択した言語の性能向上が期待できることがわかった。
論文 参考訳（メタデータ） (2021-09-19T21:46:16Z) - Explicit Alignment Objectives for Multilingual Bidirectional Encoders [111.65322283420805]
本稿では,多言語エンコーダAMBER(Aligned Multilingual Bi-directional EncodeR)の学習方法を提案する。
AMBERは、異なる粒度で多言語表現を整列する2つの明示的なアライメント目標を使用して、追加の並列データに基づいて訓練される。
実験結果から、AMBERは、シーケンスタグ付けで1.1平均F1スコア、XLMR-大規模モデル上での検索で27.3平均精度を得ることがわかった。
論文 参考訳（メタデータ） (2020-10-15T18:34:13Z) - Inducing Language-Agnostic Multilingual Representations [61.97381112847459]
言語間の表現は、世界中のほとんどの言語でNLP技術が利用可能になる可能性がある。
i) 対象言語のベクトル空間をピボットソース言語に再配置すること、(ii) 言語固有の手段と分散を取り除くこと、(ii) 副産物としての埋め込みの識別性を向上すること、(iii) 形態的制約や文の並べ替えを除去することによって言語間の入力類似性を高めること、の3つのアプローチを検討する。
論文 参考訳（メタデータ） (2020-08-20T17:58:56Z) - AE TextSpotter: Learning Visual and Linguistic Representation for
Ambiguous Text Spotting [98.08853679310603]
本研究はAmbiguity Elimination Text Spotter(AE TextSpotter)という新しいテキストスポッターを提案する。
AE TextSpotterは、視覚的特徴と言語的特徴の両方を学び、テキスト検出の曖昧さを著しく低減する。
我々の知る限り、言語モデルを用いてテキスト検出を改善するのはこれが初めてである。
論文 参考訳（メタデータ） (2020-08-03T08:40:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。