論文の概要: Target-Language Generation in Multilingual Models: Activation Steering and Optimal Control
- arxiv url: http://arxiv.org/abs/2609.16967v1
- Date: Tue, 15 Sep 2026 10:40:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 14:56:08.461601
- Title: Target-Language Generation in Multilingual Models: Activation Steering and Optimal Control
- Title（参考訳）: 多言語モデルにおける目標言語生成:アクティベーションステアリングと最適制御
- Abstract要約: 本研究では,ターゲット言語テキスト生成のための最適制御手法と,生成したテキストの品質を評価するためのフレームワークを開発する。
提案手法は, テスト対象モデルの大部分に対して, 顕著な差分式アクティベーションステアリング法と同様に, 有効であることがわかった。
- 参考スコア（独自算出の注目度）: 8.520517803085099
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Ensuring that multilingual language models generate coherent text in a specific target language is a major issue in multilingual language modeling. We develop an optimal control method for target-language text generation as well as a framework for evaluating the quality of generated text in terms of language adherence, linguistic coherence, and semantic coherence. We find that the proposed method performs at least as well as the prominent difference-in-means activation steering method for the majority of models tested, with substantially less hyperparameter tuning required.
- Abstract（参考訳）: 多言語言語モデルが特定の対象言語で一貫性のあるテキストを生成することを保証することは、多言語言語モデリングにおいて大きな問題である。
目的語テキスト生成のための最適制御手法と,言語順守,言語コヒーレンス,意味的コヒーレンスの観点から生成したテキストの品質を評価するためのフレームワークを開発する。
提案手法は,高パラメータチューニングを必要とせず,テスト対象のモデルの大部分に対して,少なくとも有意な差分式アクティベーションステアリング法と同等に動作することがわかった。
関連論文リスト
- Meta-Learning Preferences for Multilingual LLM Alignment [31.4144889231502]
言語間での人間の嗜好データの不平等は、多言語設定で大規模言語モデルを整列させる上での課題である。
本稿では,人間のフィードバックと直接選好最適化による強化学習のためのメタラーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2026-07-14T22:38:39Z) - Benchmarking Concept-Spilling Across Languages in LLMs [7.577675422356702]
大規模言語モデル(LLM)は言語間の優れた能力を示すが、他の言語からの表現に対する体系的なバイアスを示すことが多い。
本稿では,言語間の多文語をモデルがどう扱うかを測定することで,多言語意味的ロバスト性を評価するための新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2026-01-18T19:28:26Z) - Accelerating Multilingual Language Model for Excessively Tokenized Languages [3.5570874721859016]
大型言語モデル(LLM)のトークン化子は、文字やUnicodeレベルのトークンを非ローマ語アルファベットの言語で断片化することが多い。
このような言語でテキスト生成を高速化する,シンプルで効果的なフレームワークを提案する。
論文 参考訳（メタデータ） (2024-01-19T12:26:57Z) - On the Analysis of Cross-Lingual Prompt Tuning for Decoder-based
Multilingual Model [49.81429697921861]
多言語自己回帰モデルにおけるパラメータ効率細調整(PEFT)と言語間タスクの相互作用について検討する。
高速チューニングは、微調整よりも低リソース言語の性能向上に有効であることを示す。
論文 参考訳（メタデータ） (2023-11-14T00:43:33Z) - Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。
我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
論文 参考訳（メタデータ） (2023-06-13T08:08:08Z) - Are Multilingual Models Effective in Code-Switching? [57.78477547424949]
多言語モデルの有効性を検討し,複合言語設定の能力と適応性について検討する。
この結果から,事前学習した多言語モデルでは,コードスイッチングにおける高品質な表現が必ずしも保証されないことが示唆された。
論文 参考訳（メタデータ） (2021-03-24T16:20:02Z) - Unsupervised Domain Adaptation of a Pretrained Cross-Lingual Language
Model [58.27176041092891]
最近の研究は、大規模未ラベルテキストに対する言語間言語モデルの事前学習が、大幅な性能向上をもたらすことを示唆している。
本稿では,絡み合った事前学習した言語間表現からドメイン固有の特徴を自動的に抽出する,教師なし特徴分解手法を提案する。
提案モデルでは、相互情報推定を利用して、言語間モデルによって計算された表現をドメイン不変部分とドメイン固有部分に分解する。
論文 参考訳（メタデータ） (2020-11-23T16:00:42Z) - Gradient Vaccine: Investigating and Improving Multi-task Optimization in
Massively Multilingual Models [63.92643612630657]
本稿では、損失関数幾何学のレンズを通して多言語最適化のブラックボックスを覗き込もうとする。
最適化軌道に沿って測定された勾配類似性は重要な信号であり、言語近接とよく相関している。
そこで我々はGradient Vaccineというシンプルでスケーラブルな最適化手法を考案した。
論文 参考訳（メタデータ） (2020-10-12T17:26:34Z) - On the Importance of Word Order Information in Cross-lingual Sequence
Labeling [80.65425412067464]
ソース言語の単語順に適合する言語間モデルでは、ターゲット言語を処理できない可能性がある。
本研究では,ソース言語の単語順序に敏感なモデルを作成することで,対象言語の適応性能が向上するかどうかを検討する。
論文 参考訳（メタデータ） (2020-01-30T03:35:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。