論文の概要: Language Models Largely Exhibit Human-like Constituent Ordering Preferences
- arxiv url: http://arxiv.org/abs/2502.05670v3
- Date: Fri, 14 Feb 2025 21:06:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-18 14:06:32.221992
- Title: Language Models Largely Exhibit Human-like Constituent Ordering Preferences
- Title（参考訳）: 言語モデルが人間らしい選択順序を大々的に表す
- Authors: Ada Defne Tur, Gaurav Kamath, Siva Reddy,
- Abstract要約: 我々は,大規模言語モデルと多様な特性を比較し,構成運動の性能を評価する。
粒子移動に関する予期せぬ行動にもかかわらず、LLMは概して構成順序に関する人間の嗜好と一致している。
- 参考スコア（独自算出の注目度）: 23.71601972991744
- License:
- Abstract: Though English sentences are typically inflexible vis-\`a-vis word order, constituents often show far more variability in ordering. One prominent theory presents the notion that constituent ordering is directly correlated with constituent weight: a measure of the constituent's length or complexity. Such theories are interesting in the context of natural language processing (NLP), because while recent advances in NLP have led to significant gains in the performance of large language models (LLMs), much remains unclear about how these models process language, and how this compares to human language processing. In particular, the question remains whether LLMs display the same patterns with constituent movement, and may provide insights into existing theories on when and how the shift occurs in human language. We compare a variety of LLMs with diverse properties to evaluate broad LLM performance on four types of constituent movement: heavy NP shift, particle movement, dative alternation, and multiple PPs. Despite performing unexpectedly around particle movement, LLMs generally align with human preferences around constituent ordering.
- Abstract（参考訳）: 英語の文は通常、柔軟性に欠ける vis-\`a-vis 単語順であるが、構成要素は順序付けにおいて、はるかに多くのばらつきを示すことが多い。
1つの顕著な理論は、構成的順序付けは構成的重みと直接的に相関している、すなわち構成的長さまたは複雑さの尺度である。
これらの理論は、自然言語処理(NLP)の文脈で興味深いが、近年のNLPの進歩は、大規模言語モデル(LLM)の性能を大幅に向上させたが、これらのモデルがどのように言語を処理するのか、どのように人間の言語処理と比較するかについては、まだ不明である。
特に、LLMが構成運動と同一のパターンを呈し、その変化がいつ、どのように人間の言語で起こっているかについての既存の理論についての洞察を与えることができるかどうかについては疑問が残る。
各種LLMと多種多様な特性を比較検討し, NPシフト, 粒子移動, 陽極変態, PPの4種類の成分移動に対する広いLLM性能について検討した。
粒子移動に関する予期せぬ行動にもかかわらず、LLMは概して構成順序に関する人間の嗜好と一致している。
関連論文リスト
- Do LLMs write like humans? Variation in grammatical and rhetorical styles [0.7852714805965528]
大規模言語モデル(LLM)の修辞形式について検討する。
ダグラス・ビーバーの語彙的・文法的・修辞的特徴セットを用いて, LLMと人間との系統的差異を同定した。
このことは、高度な能力にもかかわらず、LLMは人間のスタイルに合うのに苦労していることを示している。
論文 参考訳（メタデータ） (2024-10-21T15:35:44Z) - From Babbling to Fluency: Evaluating the Evolution of Language Models in Terms of Human Language Acquisition [6.617999710257379]
本稿では,LMの能力を評価するための3段階のフレームワークを提案する。
言語研究の手法を用いて, LMの生成能力を評価する。
論文 参考訳（メタデータ） (2024-10-17T06:31:49Z) - Converging to a Lingua Franca: Evolution of Linguistic Regions and Semantics Alignment in Multilingual Large Language Models [11.423589362950812]
大規模言語モデル(LLM)は、特に多言語文脈において顕著な性能を示した。
近年の研究では、LLMは、ある言語で学んだスキルを他の言語に伝達することができることが示唆されているが、この能力の背後にある内部メカニズムはいまだ不明である。
本稿では,LLMの内部動作に関する知見を提供し,言語間能力の向上のための基盤を提供する。
論文 参考訳（メタデータ） (2024-10-15T15:49:15Z) - No Such Thing as a General Learner: Language models and their dual optimization [3.2228025627337864]
我々は、人間もLLMも、様々な意味で一般の学習者ではないと論じている。
言語に対する人間の認知バイアスの重要性について,LLMのパフォーマンスが人間と類似しているか異同であるかは,重要な議論を軽視するものではないと論じる。
論文 参考訳（メタデータ） (2024-08-18T17:01:42Z) - Black Big Boxes: Do Language Models Hide a Theory of Adjective Order? [5.395055685742631]
英語や他の言語では、複雑な名詞句の複数の形容詞は、多くの言語理論の標的となった複雑な順序付けパターンを示している。
本稿では,人体における形容詞順選好(AOP)を説明するために設計された既存の仮説を概観し,言語モデルにおけるAOPを学習するための設定を開発する。
理論言語学で特定された因子によって生成される予測よりも,全てのモデルの予測が人間のAOPにずっと近いことが判明した。
論文 参考訳（メタデータ） (2024-07-02T10:29:09Z) - Understanding and Mitigating Language Confusion in LLMs [76.96033035093204]
我々は,既存の英語および多言語プロンプトを用いた15の型的多様言語の評価を行った。
Llama Instruct と Mistral のモデルでは,言語的混乱の度合いが高いことがわかった。
言語混乱は,数発のプロンプト,多言語SFT,選好調整によって部分的に緩和できることがわかった。
論文 参考訳（メタデータ） (2024-06-28T17:03:51Z) - What Languages are Easy to Language-Model? A Perspective from Learning Probabilistic Regular Languages [78.1866280652834]
大規模言語モデル (LM) は文字列上の分布である。
RNNとTransformer LMによる規則的LM(RLM)の学習性について検討する。
RNNとトランスフォーマーの双方において,RLMランクの複雑さは強く,学習可能性の有意な予測因子であることが判明した。
論文 参考訳（メタデータ） (2024-06-06T17:34:24Z) - Language-Specific Neurons: The Key to Multilingual Capabilities in Large Language Models [117.20416338476856]
大規模言語モデル(LLM)は、特別にキュレートされた多言語並列コーパスで事前訓練されることなく、顕著な多言語機能を示す。
LLM内の言語特異的ニューロンを識別するための新しい検出手法である言語アクティベーション確率エントロピー(LAPE)を提案する。
以上の結果から,LLMが特定の言語を処理できる能力は,神経細胞のサブセットが少なすぎるためであることが示唆された。
論文 参考訳（メタデータ） (2024-02-26T09:36:05Z) - How Proficient Are Large Language Models in Formal Languages? An In-Depth Insight for Knowledge Base Question Answering [52.86931192259096]
知識ベース質問回答(KBQA)は,知識ベースにおける事実に基づいた自然言語質問への回答を目的としている。
最近の研究は、論理形式生成のための大規模言語モデル(LLM)の機能を活用して性能を向上させる。
論文 参考訳（メタデータ） (2024-01-11T09:27:50Z) - Simple Linguistic Inferences of Large Language Models (LLMs): Blind Spots and Blinds [59.71218039095155]
我々は,ほとんどの人間が自明に感じる単純な推論タスクにおいて,言語理解能力を評価する。
我々は, (i) 文法的に特定された含意, (ii) 不確実性のある明らかな副詞を持つ前提, (iii) 単調性含意を目標とする。
モデルはこれらの評価セットに対して中程度から低い性能を示す。
論文 参考訳（メタデータ） (2023-05-24T06:41:09Z) - Are Representations Built from the Ground Up? An Empirical Examination
of Local Composition in Language Models [91.3755431537592]
構成的・非構成的句を表現することは言語理解にとって重要である。
まず,より長いフレーズのLM-内部表現を,その構成成分から予測する問題を定式化する。
意味的構成性の人間の判断と相関する予測精度を期待するが、大部分はそうではない。
論文 参考訳（メタデータ） (2022-10-07T14:21:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。