論文の概要: For GPT-4 as with Humans: Information Structure Predicts Acceptability of Long-Distance Dependencies

• arxiv url: http://arxiv.org/abs/2505.09005v1
• Date: Tue, 13 May 2025 22:41:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-15 21:44:09.316442
• Title: For GPT-4 as with Humans: Information Structure Predicts Acceptability of Long-Distance Dependencies
• Title（参考訳）: 人間と同様のGPT-4の場合:情報構造は長距離依存の受容性を予測する
• Authors: Nicole Cuneo, Eleanor Graves, Supantho Rakshit, Adele E. Goldberg,
• Abstract要約: 標準文の情報構造に関する英語話者の判断は、独立して収集された受容可能性評価を予測する。 我々はGPT-4を人間と新しい拡張で使用するのと同じタスクで探索する。 その結果,情報構造と受容可能性に関する信頼性の高いメタ言語的スキルが明らかにされた。
• 参考スコア（独自算出の注目度）: 0.8062201442038958
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: It remains debated how well any LM understands natural language or generates reliable metalinguistic judgments. Moreover, relatively little work has demonstrated that LMs can represent and respect subtle relationships between form and function proposed by linguists. We here focus on a particular such relationship established in recent work: English speakers' judgments about the information structure of canonical sentences predicts independently collected acceptability ratings on corresponding 'long distance dependency' [LDD] constructions, across a wide array of base constructions and multiple types of LDDs. To determine whether any LM captures this relationship, we probe GPT-4 on the same tasks used with humans and new extensions.Results reveal reliable metalinguistic skill on the information structure and acceptability tasks, replicating a striking interaction between the two, despite the zero-shot, explicit nature of the tasks, and little to no chance of contamination [Studies 1a, 1b]. Study 2 manipulates the information structure of base sentences and confirms a causal relationship: increasing the prominence of a constituent in a context sentence increases the subsequent acceptability ratings on an LDD construction. The findings suggest a tight relationship between natural and GPT-4 generated English, and between information structure and syntax, which begs for further exploration.
• Abstract（参考訳）: LMが自然言語をどのように理解しているか、あるいは信頼できる金属言語学的判断を生成するかについては議論が続いている。 さらに、LMが言語学者によって提案された形式と機能の間の微妙な関係を表現し、尊重できることを示す研究は比較的少ない。 英語話者の標準文の情報構造に関する判断は、対応する「長距離依存」構造(LDD)に対して独立に収集された受容性評価を予測し、幅広い基本構造と多種類のLCDを横断する。 この関係をつかむためには、人や新しい拡張で使われるのと同じタスクでGPT-4を探索し、その結果、情報構造と受容性タスクの信頼性の高いメタプログラミング技術を明らかにし、タスクのゼロショット、明示的な性質、汚染の可能性がほとんどないにもかかわらず、両者の衝撃的な相互作用を再現する(研究1a,1b)。 研究2では, 基本文の情報構造を操作し, 因果関係の確認を行う。 その結果,自然とGPT-4が生成する英語と,情報構造と構文の関係が強く,さらなる探索が望まれることが示唆された。

関連論文リスト

• ExpliCa: Evaluating Explicit Causal Reasoning in Large Language Models [75.05436691700572]
  明示的な因果推論において,LLM(Large Language Models)を評価するための新しいデータセットであるExpliCaを紹介する。 ExpliCa上で7つの商用およびオープンソース LLM をテストしました。 驚くべきことに、モデルは因果関係と時間的関係を関連付ける傾向にあり、そのパフォーマンスはイベントの言語的順序にも強く影響される。
  論文  参考訳（メタデータ） (2025-02-21T14:23:14Z)
• Assessing Language Comprehension in Large Language Models Using Construction Grammar [3.0906699069248806]
  構築文法(CxG)は、構築(Cxns)として知られる言語要素によって捉えられる意味に関する洞察を提供する。 これらのデータセットは、事前学習データには現れないような例を含むように慎重に構築されているが、人間が理解するのは直感的で容易である。 我々の実験は、LLMが8つのユニークなCxnsを通して伝達する意味についての理解を人間と対比することで、下流の自然言語推論と推論タスクに焦点を当てた。
  論文  参考訳（メタデータ） (2025-01-08T18:15:10Z)
• Simple Linguistic Inferences of Large Language Models (LLMs): Blind Spots and Blinds [59.71218039095155]
  我々は,ほとんどの人間が自明に感じる単純な推論タスクにおいて,言語理解能力を評価する。 我々は, (i) 文法的に特定された含意, (ii) 不確実性のある明らかな副詞を持つ前提, (iii) 単調性含意を目標とする。 モデルはこれらの評価セットに対して中程度から低い性能を示す。
  論文  参考訳（メタデータ） (2023-05-24T06:41:09Z)
• A Knowledge-Enhanced Adversarial Model for Cross-lingual Structured Sentiment Analysis [31.05169054736711]
  言語間構造的感情分析タスクは、ソース言語からターゲット言語へ知識を伝達することを目的としている。 本稿では,暗黙的分散と明示的構造的知識を両立させた知識強化逆数モデル(textttKEAM)を提案する。 我々は5つのデータセットの実験を行い、textttKEAMと教師なしおよび教師なしの両方の手法を比較した。
  論文  参考訳（メタデータ） (2022-05-31T03:07:51Z)
• Linguistic dependencies and statistical dependence [76.89273585568084]
  文脈における単語の確率を推定するために,事前学習した言語モデルを用いる。 最大CPMI木は非文脈PMI推定値から抽出した木よりも言語的依存関係によく対応していることがわかった。
  論文  参考訳（メタデータ） (2021-04-18T02:43:37Z)
• ERICA: Improving Entity and Relation Understanding for Pre-trained Language Models via Contrastive Learning [97.10875695679499]
  そこで本研究では, ERICA という新たなコントラスト学習フレームワークを提案し, エンティティとその関係をテキストでより深く理解する。 実験の結果,提案する erica フレームワークは文書レベルの言語理解タスクにおいて一貫した改善を実現することがわかった。
  論文  参考訳（メタデータ） (2020-12-30T03:35:22Z)
• GATE: Graph Attention Transformer Encoder for Cross-lingual Relation and Event Extraction [107.8262586956778]
  言語に依存しない文表現を学習するために、普遍的な依存解析を伴うグラフ畳み込みネットワーク(GCN)を導入する。 GCNは、長い範囲の依存関係を持つ単語をモデル化するのに苦労する。 そこで本研究では,構文的距離の異なる単語間の依存関係を学習するための自己認識機構を提案する。
  論文  参考訳（メタデータ） (2020-10-06T20:30:35Z)
• Word Interdependence Exposes How LSTMs Compose Representations [18.34617849764921]
  NLPにおける最近の研究は、LSTM言語モデルが言語データの構成構造を捉えていることを示している。 LSTMにおける単語の意味間の相互依存度を,内部ゲートでの相互作用に基づく新しい尺度として提示する。
  論文  参考訳（メタデータ） (2020-04-27T21:48:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。