論文の概要: Investigating Syntactic Biases in Multilingual Transformers with RC Attachment Ambiguities in Italian and English

• arxiv url: http://arxiv.org/abs/2504.09886v1
• Date: Mon, 14 Apr 2025 05:19:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-15 16:52:56.403768
• Title: Investigating Syntactic Biases in Multilingual Transformers with RC Attachment Ambiguities in Italian and English
• Title（参考訳）: イタリア語と英語におけるRCアタッチメントの曖昧さを考慮した多言語変換器の構文的バイアスの検討
• Authors: Michael Kamerath, Aniello De Santo,
• Abstract要約: 本研究は,イタリア語と英語の相対的節付きあいまいさの例として,単言語・多言語LLMが人間的嗜好を示すか否かを考察する。 また、これらの嗜好が、構文的・意味的関係に関する微妙な制約に結びついていることが示されている語彙的要因によって調節できるかどうかを検証した。
• 参考スコア（独自算出の注目度）: 1.2891210250935148
• License:
• Abstract: This paper leverages past sentence processing studies to investigate whether monolingual and multilingual LLMs show human-like preferences when presented with examples of relative clause attachment ambiguities in Italian and English. Furthermore, we test whether these preferences can be modulated by lexical factors (the type of verb/noun in the matrix clause) which have been shown to be tied to subtle constraints on syntactic and semantic relations. Our results overall showcase how LLM behavior varies interestingly across models, but also general failings of these models in correctly capturing human-like preferences. In light of these results, we argue that RC attachment is the ideal benchmark for cross-linguistic investigations of LLMs' linguistic knowledge and biases.
• Abstract（参考訳）: 本稿では,過去の文処理研究を活用し,イタリア語と英語の相対的節付きあいまいさの例として,単言語・多言語LLMが人間的嗜好を示すかどうかを考察する。 さらに,これらの嗜好が,構文的・意味的関係に関する微妙な制約に結びついていることが示されている語彙的因子(行列節の動詞/名詞の種類)によって調節可能であるかどうかを検証した。 以上の結果から,LLMの挙動がモデル間で興味深い変化を示すとともに,人間の好みを正確に把握する上で,これらのモデルが一般的に失敗していることを示す。 これらの結果を踏まえて、LLMの言語知識とバイアスに関する言語横断的な研究において、RCアタッチメントが理想的なベンチマークであると論じる。

関連論文リスト

• Can Language Models Learn Typologically Implausible Languages? [62.823015163987996]
  人間の言語にまたがる文法的特徴は、人間の学習バイアスに起因する興味深い相関関係を示している。 言語モデル(LM)が言語普遍性におけるドメイン一般学習バイアスの役割をよりよく決定する方法について論じる。 本研究は,英語(頭初期)と日本語(頭最終)の超自然主義的だが反実的なバージョンを用いて,LMを試験する。
  論文  参考訳（メタデータ） (2025-02-17T20:40:01Z)
• Balanced Multi-Factor In-Context Learning for Multilingual Large Language Models [53.38288894305388]
  MLLM(Multilingual Large Language Model)は,言語間知識伝達をパラメータ更新なしで活用することにより,文脈内学習(ICL)を活用して高い性能を実現する。 1) 意味的類似性,(2) 言語的アライメント,(3) 言語固有のパフォーマンスの3つの要因が多言語ICLに影響を与える。 我々は,これらの因子を定量化し,最適にバランスをとる手法として,バランスの取れた多要素ICL(textbfBMF-ICL)を提案する。
  論文  参考訳（メタデータ） (2025-02-17T06:56:33Z)
• Implicit Causality-biases in humans and LLMs as a tool for benchmarking LLM discourse capabilities [0.0]
  モデルサイズの範囲にまたがる単言語LLMと多言語LLMで生成されたデータと、被験者が提供したデータとを比較した。 我々は,より一般的な談話理解能力のための堅牢なプロキシとして,談話バイアスを伴うLLMの能力を評価するためのベンチマークを開発することを目的とする。
  論文  参考訳（メタデータ） (2025-01-22T16:07:24Z)
• Large Language Models are Easily Confused: A Quantitative Metric, Security Implications and Typological Analysis [5.029635172046762]
  言語融合(Language Confusion)とは、大言語モデル(LLM)が所望の言語でもなく、文脈的に適切な言語でもテキストを生成する現象である。 我々は,この混乱を計測し定量化するために設計された,新しい計量であるLanguage Confusion Entropyを導入する。
  論文  参考訳（メタデータ） (2024-10-17T05:43:30Z)
• Understanding and Mitigating Language Confusion in LLMs [76.96033035093204]
  我々は,既存の英語および多言語プロンプトを用いた15の型的多様言語の評価を行った。 Llama Instruct と Mistral のモデルでは,言語的混乱の度合いが高いことがわかった。 言語混乱は,数発のプロンプト,多言語SFT,選好調整によって部分的に緩和できることがわかった。
  論文  参考訳（メタデータ） (2024-06-28T17:03:51Z)
• Empowering Cross-lingual Abilities of Instruction-tuned Large Language Models by Translation-following demonstrations [0.8133739801185272]
  We propose CrossAlpaca, a It-LLM with cross-lingual instruction-following and translation-following demonstrations。 我々のモデルは、6つの異なる言語でテストされ、単言語データで調整された It-LLM よりも優れています。
  論文  参考訳（メタデータ） (2023-08-27T19:22:12Z)
• Simple Linguistic Inferences of Large Language Models (LLMs): Blind Spots and Blinds [59.71218039095155]
  我々は,ほとんどの人間が自明に感じる単純な推論タスクにおいて,言語理解能力を評価する。 我々は, (i) 文法的に特定された含意, (ii) 不確実性のある明らかな副詞を持つ前提, (iii) 単調性含意を目標とする。 モデルはこれらの評価セットに対して中程度から低い性能を示す。
  論文  参考訳（メタデータ） (2023-05-24T06:41:09Z)
• mPLM-Sim: Better Cross-Lingual Similarity and Transfer in Multilingual Pretrained Language Models [57.225289079198454]
  マルチ並列コーパスを用いてmPLMから言語間の類似性を誘導する言語類似度尺度mPLMSimを提案する。 本研究は,mPLM-Simが,レキシコ,系譜系,地理的スプラックバンドなどの言語類似性尺度と適度に高い相関を示すことを示す。 さらに,mPLMSimが低レベル構文タスクと高レベル意味タスクの両方で実験を行うことで,ゼロショットの言語間移動に有効であるかどうかについても検討する。
  論文  参考訳（メタデータ） (2023-05-23T04:44:26Z)
• Understanding Translationese in Cross-Lingual Summarization [106.69566000567598]
  言語間要約(MS)は、異なる対象言語で簡潔な要約を生成することを目的としている。 大規模なCLSデータを集めるために、既存のデータセットは通常、それらの生成に翻訳を伴います。 本稿では、まず、CLSデータセット構築の異なるアプローチが、異なるレベルの翻訳に結びつくことを確認する。
  論文  参考訳（メタデータ） (2022-12-14T13:41:49Z)
• Cross-Linguistic Syntactic Evaluation of Word Prediction Models [25.39896327641704]
  本稿では,ニューラルワード予測モデルの文法学習能力が言語によってどう異なるかを検討する。 CLAMSには、英語、フランス語、ドイツ語、ヘブライ語、ロシア語のサブバーブ協定の課題セットが含まれている。 CLAMSを用いてLSTM言語モデルと単言語および多言語BERTの評価を行う。
  論文  参考訳（メタデータ） (2020-05-01T02:51:20Z)
• Attribution Analysis of Grammatical Dependencies in LSTMs [0.043512163406551986]
  LSTM言語モデルは、構文に敏感な文法的依存関係を高い精度で捉えることが示されている。 本研究は, モデルが他の名詞と区別する能力と, 数値一致におけるLSTM性能が直接相関していることを示す。 この結果から,LSTM言語モデルが構文依存の頑健な表現を推論できることが示唆された。
  論文  参考訳（メタデータ） (2020-04-30T19:19:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。