論文の概要: Testing the Ability of Language Models to Interpret Figurative Language
- arxiv url: http://arxiv.org/abs/2204.12632v1
- Date: Tue, 26 Apr 2022 23:42:22 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-29 00:29:56.554324
- Title: Testing the Ability of Language Models to Interpret Figurative Language
- Title（参考訳）: フィギュラブル言語を解釈する言語モデルの能力をテストする
- Authors: Emmy Liu, Chen Cui, Kenneth Zheng, Graham Neubig
- Abstract要約: 比喩的・比喩的な言語は言論において一般的である。
現代の言語モデルが非リテラルなフレーズをどの程度解釈できるかについては、未解決の疑問が残る。
ウィノグラードスタイルの非文字言語理解タスクであるFig-QAを紹介する。
- 参考スコア（独自算出の注目度）: 69.59943454934799
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Figurative and metaphorical language are commonplace in discourse, and
figurative expressions play an important role in communication and cognition.
However, figurative language has been a relatively under-studied area in NLP,
and it remains an open question to what extent modern language models can
interpret nonliteral phrases. To address this question, we introduce Fig-QA, a
Winograd-style nonliteral language understanding task consisting of correctly
interpreting paired figurative phrases with divergent meanings. We evaluate the
performance of several state-of-the-art language models on this task, and find
that although language models achieve performance significantly over chance,
they still fall short of human performance, particularly in zero- or few-shot
settings. This suggests that further work is needed to improve the nonliteral
reasoning capabilities of language models.
- Abstract（参考訳）: 形容詞的言語は談話において一般的であり、形容詞的表現はコミュニケーションや認知において重要な役割を担っている。
しかし、フィギュラティブ言語は、nlpにおいて比較的未熟な領域であり、現代言語モデルが非文字句をどの程度解釈できるのかという疑問が残されている。
この問題に対処するため、我々は、ウィノグラードスタイルのノンリテラル言語理解タスクであるfig-qaを紹介する。
我々は,この課題における最先端言語モデルの性能を評価するとともに,言語モデルの性能が著しく向上する一方で,特にゼロショットや少数ショットの設定では人間の性能に不足していることを見出した。
これは、言語モデルの非リテラル推論能力を改善するためにさらなる作業が必要であることを示唆している。
関連論文リスト
- Meta4XNLI: A Crosslingual Parallel Corpus for Metaphor Detection and Interpretation [6.0158981171030685]
本稿ではスペイン語と英語の両方でメタファアノテーションを含むメタファ検出と解釈のタスクのための新しい並列データセットを提案する。
言語モデルのメタファ識別と理解能力について,一言語間実験と言語間実験による検討を行った。
論文 参考訳（メタデータ） (2024-04-10T14:44:48Z) - Multilingual Text Representation [3.4447129363520337]
現代のNLPのブレークスルーには、100以上の言語でタスクを実行できる大規模な多言語モデルが含まれている。
最先端の言語モデルは、単語の単純な1ホット表現から始まり、長い道のりを歩んだ。
我々は、言語民主化の潜在能力が、既知の限界を超えてどのように得られるかについて論じる。
論文 参考訳（メタデータ） (2023-09-02T14:21:22Z) - LMs stand their Ground: Investigating the Effect of Embodiment in
Figurative Language Interpretation by Language Models [0.0]
表現言語は、その解釈が従来の順序や意味から逸脱しているため、言語モデルの課題である。
しかし、人間がメタファーを理解し解釈するのは、メタファーを具現化したメタファーから導き出すことができるためである。
本研究は、比喩文の動作がより具体化されている場合に、より大きな言語モデルが比喩文の解釈にいかに優れているかを示す。
論文 参考訳（メタデータ） (2023-05-05T11:44:12Z) - Overcoming Barriers to Skill Injection in Language Modeling: Case Study
in Arithmetic [14.618731441943847]
我々は,言語モデルが言語能力を維持しつつ数学的に熟練することを可能にする新しい枠組みを開発する。
具体的には、言語モデルに非言語的スキルを注入しながら発生する言語スキルの破滅的な忘れを克服するために、情報理論の介入を提供する。
論文 参考訳（メタデータ） (2022-11-03T18:53:30Z) - Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。
自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
論文 参考訳（メタデータ） (2022-10-14T02:35:19Z) - Analyzing the Limits of Self-Supervision in Handling Bias in Language [52.26068057260399]
我々は、言語モデルが、認識、識別、抽出、言い換えの4つのタスクのセマンティクスをいかにうまく捉えているかを評価する。
分析の結果,言語モデルでは,ジェンダーや政治的アフィリエイトなど,様々なバイアス次元にまたがって,これらのタスクを広範囲にわたって実行することが可能であることが示唆された。
論文 参考訳（メタデータ） (2021-12-16T05:36:08Z) - Language Models are Few-shot Multilingual Learners [66.11011385895195]
我々は、非英語言語における多言語分類を行う際に、GPTモデルとT5モデルの多言語的スキルを評価する。
文脈としての英語の例を見ると、事前学習された言語モデルは、英語のテストサンプルだけでなく、英語以外のサンプルも予測できることが示されている。
論文 参考訳（メタデータ） (2021-09-16T03:08:22Z) - It's not Rocket Science : Interpreting Figurative Language in Narratives [48.84507467131819]
我々は2つの非構成的図形言語(イディオムとシミュラ)の解釈を研究する。
実験の結果、事前学習された言語モデルのみに基づくモデルは、これらのタスクにおいて人間よりもはるかにひどい性能を示すことがわかった。
また, 知識強化モデルを提案し, 具体的言語を解釈するための人的戦略を採用した。
論文 参考訳（メタデータ） (2021-08-31T21:46:35Z) - AM2iCo: Evaluating Word Meaning in Context across Low-ResourceLanguages
with Adversarial Examples [51.048234591165155]
本稿では, AM2iCo, Adversarial and Multilingual Meaning in Contextを提案する。
言語間文脈における単語の意味の同一性を理解するために、最先端(SotA)表現モデルを忠実に評価することを目的としている。
その結果、現在のSotAプリトレーニングエンコーダは人間のパフォーマンスにかなり遅れていることが明らかとなった。
論文 参考訳（メタデータ） (2021-04-17T20:23:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。