論文の概要: Does the "most sinfully decadent cake ever" taste good? Answering Yes/No Questions from Figurative Contexts

• arxiv url: http://arxiv.org/abs/2309.13748v1
• Date: Sun, 24 Sep 2023 20:38:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-26 17:42:15.992495
• Title: Does the "most sinfully decadent cake ever" taste good? Answering Yes/No Questions from Figurative Contexts
• Title（参考訳）: 一番罪深いケーキ」は美味しいですか? 具体的文脈からイエス/ノー質問に答える
• Authors: Geetanjali Rakshit and Jeffrey Flanigan
• Abstract要約: 自然言語では比喩的言語が一般的であり、コミュニケーションを記憶し、創造的にする一方で、理解するのが困難である。 図形的・非図形的文脈を用いた1000のイエス/ノー質問の集合であるFigurativeQAを提案する。 最新のBERTベースのQAモデルでは、図形的文脈からの質問に答えると、平均で15%まで性能が低下することを示す。
• 参考スコア（独自算出の注目度）: 8.289914768495036
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Figurative language is commonplace in natural language, and while making communication memorable and creative, can be difficult to understand. In this work, we investigate the robustness of Question Answering (QA) models on figurative text. Yes/no questions, in particular, are a useful probe of figurative language understanding capabilities of large language models. We propose FigurativeQA, a set of 1000 yes/no questions with figurative and non-figurative contexts, extracted from the domains of restaurant and product reviews. We show that state-of-the-art BERT-based QA models exhibit an average performance drop of up to 15\% points when answering questions from figurative contexts, as compared to non-figurative ones. While models like GPT-3 and ChatGPT are better at handling figurative texts, we show that further performance gains can be achieved by automatically simplifying the figurative contexts into their non-figurative (literal) counterparts. We find that the best overall model is ChatGPT with chain-of-thought prompting to generate non-figurative contexts. Our work provides a promising direction for building more robust QA models with figurative language understanding capabilities.
• Abstract（参考訳）: 自然言語では比喩的言語が一般的であり、コミュニケーションを記憶し、創造的にすることは困難である。 本研究では,図形テキストを用いた質問応答モデル(QA)の堅牢性について検討する。 yes/no 質問は、特に、大きな言語モデルの比定的な言語理解能力の有用な調査である。 本稿では,レストランや商品レビューの領域から抽出した,1000のイエス/ノーの質問に対して,具体的・非具体的コンテキストを用いた質問セットであるFigurativeQAを提案する。 実数的な文脈から質問に答える場合, 最先端のbertベースのqaモデルでは, 非フィギュラブルモデルと比較して, 平均的なパフォーマンス低下率が15\%であることを示す。 GPT-3やChatGPTのようなモデルは、図形テキストを扱うのに優れているが、図形コンテキストを非図形(文字)に自動的に単純化することで、さらなるパフォーマンス向上が達成できることを示す。 全体として最高のモデルがChatGPTであり、チェーン・オブ・シントが非表現的コンテキストを生成することを促している。 私たちの仕事は、図形言語理解機能を備えたより堅牢なQAモデルを構築するための有望な方向を提供します。

関連論文リスト

• Evaluating Text-to-Visual Generation with Image-to-Text Generation [113.07368313330994]
  VQAScore(VQAScore)は、アライメントスコアを生成するビジュアル・クエクション・アンサーリング(VQA)モデルである。 これは、多くの(8)画像テキストアライメントベンチマークで最先端の結果を生成する。 我々は1,600の合成テキストプロンプトを備えたより難しいベンチマークであるGenAI-Benchを紹介する。
  論文  参考訳（メタデータ） (2024-04-01T17:58:06Z)
• That was the last straw, we need more: Are Translation Systems Sensitive to Disambiguating Context? [64.38544995251642]
  我々は、源泉に存在している意味的あいまいさ(本研究における英語)について研究する。 我々は、リテラルと図形の両方にオープンなイディオムに焦点を当てている。 現在のMTモデルは、たとえ文脈が比喩的解釈を示しているとしても、英語のイディオムを文字通りに翻訳する。
  論文  参考訳（メタデータ） (2023-10-23T06:38:49Z)
• DiPlomat: A Dialogue Dataset for Situated Pragmatic Reasoning [89.92601337474954]
  プラグマティック推論は、実生活における会話でしばしば起こる暗黙の意味を解読する上で重要な役割を担っている。 そこで我々は,現実的な推論と会話理解の場所に関するマシンの能力のベンチマークを目的とした,新しい挑戦であるDiPlomatを紹介した。
  論文  参考訳（メタデータ） (2023-06-15T10:41:23Z)
• ConFiguRe: Exploring Discourse-level Chinese Figures of Speech [19.356209443798694]
  コンフィギュア認識のための中国語コーパス(ConFiguRe)の構築 ConFiguReは、談話レベルのコンテキストから図形単位を抽出することを目的としている。 私たちは徹底的な実験を行い、3つのタスクがすべて既存のモデルに挑戦していることを示します。
  論文  参考訳（メタデータ） (2022-09-16T02:31:48Z)
• FLUTE: Figurative Language Understanding and Textual Explanations [37.83909874945428]
  FLUTEは8000の図式NLIインスタンスのデータセットで、説明とともにリリースします。 我々は、GPT-3を人間の専門家と組み合わせることで、データセットの作成をスケールアップできることを示す。
  論文  参考訳（メタデータ） (2022-05-24T23:25:02Z)
• Testing the Ability of Language Models to Interpret Figurative Language [69.59943454934799]
  比喩的・比喩的な言語は言論において一般的である。 現代の言語モデルが非リテラルなフレーズをどの程度解釈できるかについては、未解決の疑問が残る。 ウィノグラードスタイルの非文字言語理解タスクであるFig-QAを紹介する。
  論文  参考訳（メタデータ） (2022-04-26T23:42:22Z)
• Investigating Robustness of Dialog Models to Popular Figurative Language Constructs [30.841109045790862]
  入力ダイアログコンテキストが図形言語の使用を示す状況において,既存のダイアログモデルの性能を解析する。 既存のモデルが図形言語に対してより堅牢になるための軽量なソリューションを提案する。
  論文  参考訳（メタデータ） (2021-10-01T23:55:16Z)
• It's not Rocket Science : Interpreting Figurative Language in Narratives [48.84507467131819]
  我々は2つの非構成的図形言語(イディオムとシミュラ)の解釈を研究する。 実験の結果、事前学習された言語モデルのみに基づくモデルは、これらのタスクにおいて人間よりもはるかにひどい性能を示すことがわかった。 また, 知識強化モデルを提案し, 具体的言語を解釈するための人的戦略を採用した。
  論文  参考訳（メタデータ） (2021-08-31T21:46:35Z)
• Probing Contextual Language Models for Common Ground with Visual Representations [76.05769268286038]
  我々は、マッチングと非マッチングの視覚表現を区別する上で、テキストのみの表現がいかに効果的かを評価するための探索モデルを設計する。 以上の結果から,言語表現だけでは,適切な対象カテゴリから画像パッチを検索する強力な信号が得られることがわかった。 視覚的に接地された言語モデルは、例えば検索においてテキストのみの言語モデルよりわずかに優れているが、人間よりもはるかに低い。
  論文  参考訳（メタデータ） (2020-05-01T21:28:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。