論文の概要: Language Specific Knowledge: Do Models Know Better in X than in English?
- arxiv url: http://arxiv.org/abs/2505.14990v1
- Date: Wed, 21 May 2025 00:31:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-22 15:42:58.799415
- Title: Language Specific Knowledge: Do Models Know Better in X than in English?
- Title（参考訳）: 言語固有の知識: モデルは英語よりもXで知っているか?
- Authors: Ishika Agarwal, Nimet Beyza Bozdag, Dilek Hakkani-Tür,
- Abstract要約: コードスイッチングは、異なる言語間で同じ発話、思考、会話を交互に行う一般的な現象である。
我々はこの現象を表すために言語特化知識(LSK)という用語を作った。
英語以外の言語でチェーン・オブ・シークレット・推論を用いることで,言語モデルの性能が向上することがわかった。
- 参考スコア（独自算出の注目度）: 9.923619418000488
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Code-switching is a common phenomenon of alternating between different languages in the same utterance, thought, or conversation. We posit that humans code-switch because they feel more comfortable talking about certain topics and domains in one language than another. With the rise of knowledge-intensive language models, we ask ourselves the next, natural question: Could models hold more knowledge on some topics in some language X? More importantly, could we improve reasoning by changing the language that reasoning is performed in? We coin the term Language Specific Knowledge (LSK) to represent this phenomenon. As ethnic cultures tend to develop alongside different languages, we employ culture-specific datasets (that contain knowledge about cultural and social behavioral norms). We find that language models can perform better when using chain-of-thought reasoning in some languages other than English, sometimes even better in low-resource languages. Paired with previous works showing that semantic similarity does not equate to representational similarity, we hypothesize that culturally specific texts occur more abundantly in corresponding languages, enabling specific knowledge to occur only in specific "expert" languages. Motivated by our initial results, we design a simple methodology called LSKExtractor to benchmark the language-specific knowledge present in a language model and, then, exploit it during inference. We show our results on various models and datasets, showing an average relative improvement of 10% in accuracy. Our research contributes to the open-source development of language models that are inclusive and more aligned with the cultural and linguistic contexts in which they are deployed.
- Abstract（参考訳）: コードスイッチングは、異なる言語間で同じ発話、思考、会話を交互に行う一般的な現象である。
私たちは、ある言語で特定のトピックやドメインについて話すのが、他の言語よりも心地よいと感じているので、人間のコードスウィッチを仮定します。
知識集約型言語モデルの台頭に伴い、我々は次の自然な疑問を自問自答する: ある言語 X のいくつかのトピックについて、モデルはより多くの知識を保持することができるだろうか?
さらに重要なのは、推論が行われる言語を変更することで推論を改善することができるか?
我々はこの現象を表すために言語特化知識(LSK)という用語を作った。
民族文化は異なる言語と共に発展する傾向にあるため、文化固有のデータセット(文化や社会的行動規範に関する知識を含む)を採用しています。
言語モデルは、英語以外の言語ではチェーン・オブ・ソート・推論を使い、低リソースの言語ではさらに良い結果が得られることが分かっています。
意味的類似性は表現的類似性に等しいものではないことを示す以前の研究と合わせて、文化的な特定のテキストは対応する言語でより多く発生し、特定の知識が特定の「専門的」言語でのみ発生できるという仮説を立てる。
最初の結果に触発されて、言語モデルに存在する言語固有の知識をベンチマークするためにLSKExtractorと呼ばれるシンプルな方法論を設計し、推論中にそれを利用します。
様々なモデルとデータセットで結果を示し、平均的な10%の精度向上を示す。
我々の研究は、それらが展開される文化的・言語的文脈に包括的かつより整合した言語モデルのオープンソース開発に寄与する。
関連論文リスト
- Language Matters: How Do Multilingual Input and Reasoning Paths Affect Large Reasoning Models? [59.970391602080205]
多言語トレーニングにも拘わらず、LRMはテスト時に高リソース言語での推論をデフォルトとする傾向にある。
文化的推論は、推論タスクのパフォーマンスを低下させるが、文化的なタスクに恩恵を与える一方、安全性評価は言語固有の振る舞いを示す。
論文 参考訳（メタデータ） (2025-05-23T02:46:18Z) - Large Language Models Share Representations of Latent Grammatical Concepts Across Typologically Diverse Languages [15.203789021094982]
大規模言語モデル(LLM)では、複数の言語がどのように学習され、エンコードされているか?
Llama-3-8BとAya-23-8Bでスパースオートエンコーダを訓練し、抽象文法の概念が多くの言語で共有される特徴方向に符号化されることを実証する。
論文 参考訳（メタデータ） (2025-01-10T21:18:21Z) - The Role of Language Imbalance in Cross-lingual Generalisation: Insights from Cloned Language Experiments [57.273662221547056]
本研究では,言語間一般化の非直感的な新規ドライバである言語不均衡について検討する。
学習中に支配的な言語が存在することが、あまり頻度の低い言語の性能を高めることを観察する。
分析を実言語に拡張するにつれ、頻繁な言語は依然として恩恵を受けていますが、言語不均衡が言語間の一般化を引き起こすかどうかは決定的ではありません。
論文 参考訳（メタデータ） (2024-04-11T17:58:05Z) - The Less the Merrier? Investigating Language Representation in
Multilingual Models [8.632506864465501]
多言語モデルにおける言語表現について検討する。
我々は、コミュニティ中心のモデルが、低リソース言語で同じ家系の言語を区別する上で、より良い性能を発揮することを実験から観察した。
論文 参考訳（メタデータ） (2023-10-20T02:26:34Z) - Multi-lingual and Multi-cultural Figurative Language Understanding [69.47641938200817]
図形言語は人間のコミュニケーションに浸透するが、NLPでは比較的過小評価されている。
Hindi, Indonesian, Javanese, Kannada, Sundanese, Swahili, Yorubaの7つの多様な言語に関するデータセットを作成しました。
我々のデータセットから,各言語は,同じ領域から派生した言語間で最も高い重なり合いを持つ,図形表現の文化的・地域的概念に依存していることが明らかとなった。
全ての言語は、事前学習データと微調整データの可用性を反映した性能の変化により、英語と比較して大きな欠陥がある。
論文 参考訳（メタデータ） (2023-05-25T15:30:31Z) - Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。
自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
論文 参考訳（メタデータ） (2022-10-14T02:35:19Z) - Discovering Representation Sprachbund For Multilingual Pre-Training [139.05668687865688]
多言語事前学習モデルから言語表現を生成し、言語分析を行う。
すべての対象言語を複数のグループにクラスタリングし、表現のスプラックバンドとして各グループに名前を付ける。
言語間ベンチマークで実験を行い、強いベースラインと比較して大幅な改善が達成された。
論文 参考訳（メタデータ） (2021-09-01T09:32:06Z) - Towards Zero-shot Language Modeling [90.80124496312274]
人間の言語学習に誘導的に偏りを持つニューラルモデルを構築した。
類型的に多様な訓練言語のサンプルからこの分布を推測する。
我々は、保留言語に対する遠隔監視として、追加の言語固有の側情報を利用する。
論文 参考訳（メタデータ） (2021-08-06T23:49:18Z) - Uncovering Constraint-Based Behavior in Neural Models via Targeted
Fine-Tuning [9.391375268580806]
本研究は,言語知識が不明な言語内での競合する言語プロセスを示す。
人間の行動は言語間で類似していることがわかったが、モデル行動の言語間差異は見いだされている。
以上の結果から,言語における言語的制約と相対的ランクの双方をモデルが学習する必要があることが示唆された。
論文 参考訳（メタデータ） (2021-06-02T14:52:11Z) - Understanding Cross-Lingual Syntactic Transfer in Multilingual Recurrent
Neural Networks [3.9342247746757435]
現在、現代のニューラル言語モデルが複数の言語で同時にトレーニングできることが確立されている。
しかし、これらのモデル内の言語間でどのような知識が共有されているのか?
本稿では,言語間移動の異なる形態を識別し,その決定要因について検討する。
我々のLMを関連言語に公開することは、目標言語における文法的知識を常に増加させる訳ではなく、語彙-意味的移動の最適条件が構文的移動に最適でないことを我々は見出した。
論文 参考訳（メタデータ） (2020-03-31T09:48:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。