論文の概要: Just-DREAM-about-it: Figurative Language Understanding with DREAM-FLUTE

• arxiv url: http://arxiv.org/abs/2210.16407v1
• Date: Fri, 28 Oct 2022 21:14:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-01 16:51:21.819873
• Title: Just-DREAM-about-it: Figurative Language Understanding with DREAM-FLUTE
• Title（参考訳）: Just-DREAM-about-it: DREAM-FLUTEを用いた図形言語理解
• Authors: Yuling Gu, Yao Fu, Valentina Pyatkin, Ian Magnusson, Bhavana Dalvi Mishra and Peter Clark
• Abstract要約: DREAM-FLUTE(英語版)は、これを実現した図形言語理解システムである。 DREAM-FLUTEは既存のシーン編集モデルであるDREAMを使って「メンタルモデル」を構築している。
• 参考スコア（独自算出の注目度）: 24.225825794155188
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Figurative language (e.g., "he flew like the wind") is challenging to understand, as it is hard to tell what implicit information is being conveyed from the surface form alone. We hypothesize that to perform this task well, the reader needs to mentally elaborate the scene being described to identify a sensible meaning of the language. We present DREAM-FLUTE, a figurative language understanding system that does this, first forming a "mental model" of situations described in a premise and hypothesis before making an entailment/contradiction decision and generating an explanation. DREAM-FLUTE uses an existing scene elaboration model, DREAM, for constructing its "mental model." In the FigLang2022 Shared Task evaluation, DREAM-FLUTE achieved (joint) first place (Acc@60=63.3%), and can perform even better with ensemble techniques, demonstrating the effectiveness of this approach. More generally, this work suggests that adding a reflective component to pretrained language models can improve their performance beyond standard fine-tuning (3.3% improvement in Acc@60).
• Abstract（参考訳）: 形容詞的言語(例えば「風のように飛んだ」)は、表面形態だけから暗黙の情報を伝えることが困難であるため、理解するのが困難である。 我々は、このタスクをうまく実行するには、読者は言語の意味を識別するために説明されているシーンを精神的に精巧にする必要があると仮定する。 DREAM-FLUTEは、まず、前提と仮説で記述された状況の「メンタルモデル」を作成し、その後、係り受け/係り受け決定を行い、説明を生成するための図形言語理解システムである。 DREAM-FLUTEは既存のシーン編集モデルであるDREAMを使って「メンタルモデル」を構築している。 figlang2022の共有タスク評価では、dream-fluteが1位(acc@60=63.3%)を獲得し、アンサンブル技術によりさらにパフォーマンスが向上し、このアプローチの有効性が実証された。 より一般的に、この研究は、事前訓練された言語モデルにリフレクティブコンポーネントを追加することで、標準的な微調整(Acc@60では3.3%改善)以上のパフォーマンスを向上させることを示唆している。

関連論文リスト

• Pixel Sentence Representation Learning [67.4775296225521]
  本研究では,視覚表現学習プロセスとして,文レベルのテキスト意味論の学習を概念化する。 タイポスや単語順シャッフルのような視覚的に接地されたテキスト摂動法を採用し、人間の認知パターンに共鳴し、摂動を連続的に認識できるようにする。 我々のアプローチは、大規模に教師なしのトピックアライメントトレーニングと自然言語推論監督によってさらに強化されている。
  論文  参考訳（メタデータ） (2024-02-13T02:46:45Z)
• Interpreting Pretrained Language Models via Concept Bottlenecks [55.47515772358389]
  事前訓練された言語モデル(PLM)は、様々な自然言語処理タスクにおいて大きな進歩を遂げてきた。 ブラックボックスの性質による解釈可能性の欠如は、責任ある実装に課題をもたらす。 本研究では,人間にとって理解しやすい高レベルで有意義な概念を用いて,PLMを解釈する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-08T20:41:18Z)
• Explaining Speech Classification Models via Word-Level Audio Segments and Paralinguistic Features [35.31998003091635]
  音声分類モデルを説明するための新しい手法を提案する。 入力摂動による2つの情報レベルの理解が容易な説明を生成する。 英語とイタリア語の2つの音声分類課題に対して、最先端の2つのSLUモデルを説明することによって、我々のアプローチを検証する。
  論文  参考訳（メタデータ） (2023-09-14T14:12:34Z)
• Verbs in Action: Improving verb understanding in video-language models [128.87443209118726]
  CLIPに基づく最先端のビデオ言語モデルは、動詞の理解が限られていることが示されている。 我々は,CLIPに基づくビデオ言語モデルの動詞理解を改善するために,新しいVerb-Focused Contrastiveフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-04-13T17:57:01Z)
• Training Language Models with Language Feedback at Scale [50.70091340506957]
  我々は、より情報的な言語フィードバックを利用する新しいアプローチであるLanguage Feedback (ILF)から学習を導入する。 ILFは3つのステップから成り、まず言語モデルを入力に条件付けし、最初のLM出力を出力し、改善を生成する。 理論的には、ILFは人間からのフィードバックによる強化学習と同様、ベイズ推論とみなすことができる。
  論文  参考訳（メタデータ） (2023-03-28T17:04:15Z)
• Beware the Rationalization Trap! When Language Model Explainability Diverges from our Mental Models of Language [9.501243481182351]
  言語モデルは人間とは異なる言語を学び、表現する。 言語モデル説明可能性の成功を評価するためには,ユーザの言語モデルからその相違が与える影響を検討する必要がある。
  論文  参考訳（メタデータ） (2022-07-14T13:26:03Z)
• FLUTE: Figurative Language Understanding and Textual Explanations [37.83909874945428]
  FLUTEは8000の図式NLIインスタンスのデータセットで、説明とともにリリースします。 我々は、GPT-3を人間の専門家と組み合わせることで、データセットの作成をスケールアップできることを示す。
  論文  参考訳（メタデータ） (2022-05-24T23:25:02Z)
• Testing the Ability of Language Models to Interpret Figurative Language [69.59943454934799]
  比喩的・比喩的な言語は言論において一般的である。 現代の言語モデルが非リテラルなフレーズをどの程度解釈できるかについては、未解決の疑問が残る。 ウィノグラードスタイルの非文字言語理解タスクであるFig-QAを紹介する。
  論文  参考訳（メタデータ） (2022-04-26T23:42:22Z)
• It's not Rocket Science : Interpreting Figurative Language in Narratives [48.84507467131819]
  我々は2つの非構成的図形言語(イディオムとシミュラ)の解釈を研究する。 実験の結果、事前学習された言語モデルのみに基づくモデルは、これらのタスクにおいて人間よりもはるかにひどい性能を示すことがわかった。 また, 知識強化モデルを提案し, 具体的言語を解釈するための人的戦略を採用した。
  論文  参考訳（メタデータ） (2021-08-31T21:46:35Z)
• Fusing Context Into Knowledge Graph for Commonsense Reasoning [21.33294077354958]
  外部エンティティ記述を利用して,グラフエンティティのコンテキスト情報を提供する。 CommonsenseQAタスクでは、まず質問と選択から概念を抽出し、これらの概念の間に関連するトリプルを見つけます。 CommonsenseQAデータセットでは、80.7%(シングルモデル)と83.3%(アンサンブルモデル)の精度で最新の結果を達成しています。
  論文  参考訳（メタデータ） (2020-12-09T00:57:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。