論文の概要: Large Language Models Are Cross-Lingual Knowledge-Free Reasoners

• arxiv url: http://arxiv.org/abs/2406.16655v2
• Date: Tue, 15 Oct 2024 13:08:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-16 13:58:31.951057
• Title: Large Language Models Are Cross-Lingual Knowledge-Free Reasoners
• Title（参考訳）: 言語モデルは言語横断の知識のない推論言語である
• Authors: Peng Hu, Sizhe Liu, Changjiang Gao, Xin Huang, Xue Han, Junlan Feng, Chao Deng, Shujian Huang,
• Abstract要約: 我々は,タスクの推論過程を,知識検索と知識のない推論という2つの分離された構成要素に分解する。 知識のない推論能力は,様々なソース・ターゲット言語方向にほぼ完全に移行可能であることを示す。 知識のない推論は、異なる言語で類似したニューロンを推論するために共有し、知識は異なる言語に別々に格納する、という仮説を立てる。
• 参考スコア（独自算出の注目度）: 43.99097308487008
• License:
• Abstract: Large Language Models have demonstrated impressive reasoning capabilities across multiple languages. However, the relationship between capabilities in different languages is less explored. In this work, we decompose the process of reasoning tasks into two separated components: knowledge retrieval and knowledge-free reasoning, and analyze the relationship between cross-lingual transferability and these two components. With adapted commonsense reasoning datasets and constructed knowledge-free reasoning datasets, we show that the knowledge-free reasoning capability can be nearly perfectly transferred across various source-target language directions despite the secondary impact of resource in some specific target languages, while cross-lingual knowledge retrieval significantly hinders the transfer. Moreover, by analyzing the hidden states and feed-forward network neuron activation during the reasoning, we show that higher similarity of hidden representations and larger overlap of activated neurons could explain the better cross-lingual transferability of knowledge-free reasoning than knowledge retrieval. Thus, we hypothesize that knowledge-free reasoning shares similar neurons in different languages for reasoning, while knowledge is stored separately in different languages. Our code and data is available at: https://github.com/NJUNLP/Knowledge-Free-Reasoning.
• Abstract（参考訳）: 大規模言語モデルは、複数の言語にまたがる印象的な推論機能を示している。 しかし、異なる言語の能力間の関係は、あまり調査されていない。 本研究では,タスクの推論過程を,知識検索と知識自由推論という2つのコンポーネントに分解し,言語間移動可能性とこれら2つのコンポーネントの関係を解析する。 適応型コモンセンス推論データセットと知識のない推論データセットを用いて、特定の対象言語における資源の二次的影響にもかかわらず、知識のない推論能力は、様々なソースターゲット言語方向にほぼ完全に移行できることを示し、言語間知識検索は、その伝達を著しく妨げている。 さらに, 推論中の隠れ状態とフィードフォワードネットワークニューロンの活性化を解析することにより, 隠れ表現の類似度が高く, 活性化ニューロンの重複度が大きいことにより, 知識検索よりも知識のない推論の言語間伝達性が向上することが示唆された。 したがって、知識のない推論は異なる言語で類似したニューロンを推論するために共有し、知識は異なる言語に別々に格納する、という仮説を立てる。 私たちのコードとデータは、https://github.com/NJUNLP/Knowledge-Free-Reasoning.comで利用可能です。

関連論文リスト

• Multilingual Knowledge Editing with Language-Agnostic Factual Neurons [98.73585104789217]
  大規模言語モデル(LLM)が多言語事実知識をどのように表すかを検討する。 異なる言語における同じ事実知識は一般的に、言語に依存しない事実ニューロンと呼ばれる共有ニューロンの集合を活性化する。 そこで本研究では,言語非依存のFactual Neurons (LAFN) を探索・修正し,多言語知識を同時に編集する新しいMKE法を提案する。
  論文  参考訳（メタデータ） (2024-06-24T08:06:56Z)
• Measuring Cross-lingual Transfer in Bytes [9.011910726620538]
  多様な言語からのモデルが、言語横断的な設定で対象言語と類似して動作することを示す。 また,この移行が言語汚染や言語近接と関係がないという証拠も発見された。 我々の実験は、事前学習中に学習した言語に依存しない表現の量を測定する新しい可能性を開いた。
  論文  参考訳（メタデータ） (2024-04-12T01:44:46Z)
• Language Representation Projection: Can We Transfer Factual Knowledge across Languages in Multilingual Language Models? [48.88328580373103]
  パラメータフリーの$textbfL$anguage $textbfR$epresentation $textbfP$rojection Module (LRP2)を提案する。 第1のモジュールは非英語の表現を英語のような同値に変換し、第2のモジュールは英語のような表現を対応する非英語の表現に戻す。 mLAMAデータセットによる実験結果から,LRP2は事実知識検索の精度を大幅に向上し,多種多様な非英語言語間の知識伝達を容易にすることが示された。
  論文  参考訳（メタデータ） (2023-11-07T08:16:16Z)
• Breaking the Language Barrier: Improving Cross-Lingual Reasoning with Structured Self-Attention [18.439771003766026]
  多言語言語モデル(MultiLM)が、異なる言語での推論のために微調整された場合、論理的推論能力を他の言語に伝達できるかどうかを検討する。 我々は,MultiLMが言語間の推論能力をモノリンガルな環境で伝達できることを実証した。 この観察に続いて,コードスイッチングシーケンスにおける言語横断的な注意を促すために,専用パラメータセットを用いた新しいアテンション機構を提案する。
  論文  参考訳（メタデータ） (2023-10-23T18:06:38Z)
• Same Neurons, Different Languages: Probing Morphosyntax in Multilingual Pre-trained Models [84.86942006830772]
  多言語事前学習モデルは文法に関する言語・ユニバーサルの抽象化を導出できると推測する。 43の言語と14のモルフォシンタクティックなカテゴリーで、最先端のニューロンレベルのプローブを用いて、初めて大規模な実験を行った。
  論文  参考訳（メタデータ） (2022-05-04T12:22:31Z)
• Cross-Lingual Ability of Multilingual Masked Language Models: A Study of Language Structure [54.01613740115601]
  本稿では,構成順序,構成,単語共起の3つの言語特性について検討する。 我々の主な結論は、構成順序と単語共起の寄与は限定的である一方、構成は言語間移動の成功にとってより重要であるということである。
  論文  参考訳（メタデータ） (2022-03-16T07:09:35Z)
• Does External Knowledge Help Explainable Natural Language Inference? Automatic Evaluation vs. Human Ratings [35.2513653224183]
  自然言語推論(NLI)は、常識知識を学習し応用するためのモデルを必要とする。 外部知識が説明能力を向上させることができるかどうかを考察する。 我々はこれまでで最大かつ最もきめ細かいNLIクラウドソーシング研究を行っている。
  論文  参考訳（メタデータ） (2021-09-16T09:56:20Z)
• Bridging Linguistic Typology and Multilingual Machine Translation with Multi-View Language Representations [83.27475281544868]
  特異ベクトル標準相関解析を用いて、各情報源からどのような情報が誘導されるかを調べる。 我々の表現は類型学を組み込み、言語関係と相関関係を強化する。 次に、多言語機械翻訳のための多視点言語ベクトル空間を利用して、競合する全体的な翻訳精度を実現する。
  論文  参考訳（メタデータ） (2020-04-30T16:25:39Z)
• Understanding Cross-Lingual Syntactic Transfer in Multilingual Recurrent Neural Networks [3.9342247746757435]
  現在、現代のニューラル言語モデルが複数の言語で同時にトレーニングできることが確立されている。 しかし、これらのモデル内の言語間でどのような知識が共有されているのか? 本稿では,言語間移動の異なる形態を識別し,その決定要因について検討する。 我々のLMを関連言語に公開することは、目標言語における文法的知識を常に増加させる訳ではなく、語彙-意味的移動の最適条件が構文的移動に最適でないことを我々は見出した。
  論文  参考訳（メタデータ） (2020-03-31T09:48:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。