論文の概要: Language Specific Knowledge: Do Models Know Better in X than in English?

• arxiv url: http://arxiv.org/abs/2505.14990v1
• Date: Wed, 21 May 2025 00:31:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-22 15:42:58.799415
• Title: Language Specific Knowledge: Do Models Know Better in X than in English?
• Title（参考訳）: 言語固有の知識: モデルは英語よりもXで知っているか?
• Authors: Ishika Agarwal, Nimet Beyza Bozdag, Dilek Hakkani-Tür,
• Abstract要約: コードスイッチングは、異なる言語間で同じ発話、思考、会話を交互に行う一般的な現象である。 我々はこの現象を表すために言語特化知識(LSK)という用語を作った。 英語以外の言語でチェーン・オブ・シークレット・推論を用いることで,言語モデルの性能が向上することがわかった。
• 参考スコア（独自算出の注目度）: 9.923619418000488
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Code-switching is a common phenomenon of alternating between different languages in the same utterance, thought, or conversation. We posit that humans code-switch because they feel more comfortable talking about certain topics and domains in one language than another. With the rise of knowledge-intensive language models, we ask ourselves the next, natural question: Could models hold more knowledge on some topics in some language X? More importantly, could we improve reasoning by changing the language that reasoning is performed in? We coin the term Language Specific Knowledge (LSK) to represent this phenomenon. As ethnic cultures tend to develop alongside different languages, we employ culture-specific datasets (that contain knowledge about cultural and social behavioral norms). We find that language models can perform better when using chain-of-thought reasoning in some languages other than English, sometimes even better in low-resource languages. Paired with previous works showing that semantic similarity does not equate to representational similarity, we hypothesize that culturally specific texts occur more abundantly in corresponding languages, enabling specific knowledge to occur only in specific "expert" languages. Motivated by our initial results, we design a simple methodology called LSKExtractor to benchmark the language-specific knowledge present in a language model and, then, exploit it during inference. We show our results on various models and datasets, showing an average relative improvement of 10% in accuracy. Our research contributes to the open-source development of language models that are inclusive and more aligned with the cultural and linguistic contexts in which they are deployed.
• Abstract（参考訳）: コードスイッチングは、異なる言語間で同じ発話、思考、会話を交互に行う一般的な現象である。 私たちは、ある言語で特定のトピックやドメインについて話すのが、他の言語よりも心地よいと感じているので、人間のコードスウィッチを仮定します。 知識集約型言語モデルの台頭に伴い、我々は次の自然な疑問を自問自答する: ある言語 X のいくつかのトピックについて、モデルはより多くの知識を保持することができるだろうか? さらに重要なのは、推論が行われる言語を変更することで推論を改善することができるか? 我々はこの現象を表すために言語特化知識(LSK)という用語を作った。 民族文化は異なる言語と共に発展する傾向にあるため、文化固有のデータセット(文化や社会的行動規範に関する知識を含む)を採用しています。 言語モデルは、英語以外の言語ではチェーン・オブ・ソート・推論を使い、低リソースの言語ではさらに良い結果が得られることが分かっています。 意味的類似性は表現的類似性に等しいものではないことを示す以前の研究と合わせて、文化的な特定のテキストは対応する言語でより多く発生し、特定の知識が特定の「専門的」言語でのみ発生できるという仮説を立てる。 最初の結果に触発されて、言語モデルに存在する言語固有の知識をベンチマークするためにLSKExtractorと呼ばれるシンプルな方法論を設計し、推論中にそれを利用します。 様々なモデルとデータセットで結果を示し、平均的な10%の精度向上を示す。 我々の研究は、それらが展開される文化的・言語的文脈に包括的かつより整合した言語モデルのオープンソース開発に寄与する。

関連論文リスト

• The Role of Language Imbalance in Cross-lingual Generalisation: Insights from Cloned Language Experiments [57.273662221547056]
  本研究では,言語間一般化の非直感的な新規ドライバである言語不均衡について検討する。 学習中に支配的な言語が存在することが、あまり頻度の低い言語の性能を高めることを観察する。 分析を実言語に拡張するにつれ、頻繁な言語は依然として恩恵を受けていますが、言語不均衡が言語間の一般化を引き起こすかどうかは決定的ではありません。
  論文  参考訳（メタデータ） (2024-04-11T17:58:05Z)
• The Less the Merrier? Investigating Language Representation in Multilingual Models [8.632506864465501]
  多言語モデルにおける言語表現について検討する。 我々は、コミュニティ中心のモデルが、低リソース言語で同じ家系の言語を区別する上で、より良い性能を発揮することを実験から観察した。
  論文  参考訳（メタデータ） (2023-10-20T02:26:34Z)
• Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
  合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。 自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
  論文  参考訳（メタデータ） (2022-10-14T02:35:19Z)
• Towards Zero-shot Language Modeling [90.80124496312274]
  人間の言語学習に誘導的に偏りを持つニューラルモデルを構築した。 類型的に多様な訓練言語のサンプルからこの分布を推測する。 我々は、保留言語に対する遠隔監視として、追加の言語固有の側情報を利用する。
  論文  参考訳（メタデータ） (2021-08-06T23:49:18Z)
• Uncovering Constraint-Based Behavior in Neural Models via Targeted Fine-Tuning [9.391375268580806]
  本研究は,言語知識が不明な言語内での競合する言語プロセスを示す。 人間の行動は言語間で類似していることがわかったが、モデル行動の言語間差異は見いだされている。 以上の結果から,言語における言語的制約と相対的ランクの双方をモデルが学習する必要があることが示唆された。
  論文  参考訳（メタデータ） (2021-06-02T14:52:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。