論文の概要: ePiC: Employing Proverbs in Context as a Benchmark for Abstract Language Understanding

• arxiv url: http://arxiv.org/abs/2109.06838v1
• Date: Tue, 14 Sep 2021 17:21:12 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-15 15:38:14.009612
• Title: ePiC: Employing Proverbs in Context as a Benchmark for Abstract Language Understanding
• Title（参考訳）: ePiC: 抽象言語理解のためのベンチマークとしてコンテキストにProverbsを採用する
• Authors: Sayan Ghosh and Shashank Srivastava
• Abstract要約: 本稿では,抽象言語理解のためのベンチマークとして,文脈の証明を取り入れた高品質なクラウドソース型物語データセットを提案する。 このデータセットは、小冊子と物語の間の配列の微妙な注釈を提供し、物語と物語の間には最小限の語彙的重複を含む。 我々の実験は、ニューラルネットワークモデルが人間に比べてタスクに苦労していることを示し、タスクが複数の学習課題を引き起こすことを示している。
• 参考スコア（独自算出の注目度）: 12.107259467873092
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While large language models have shown exciting progress on several NLP benchmarks, evaluating their ability for complex analogical reasoning remains under-explored. Here, we introduce a high-quality crowdsourced dataset of narratives for employing proverbs in context as a benchmark for abstract language understanding. The dataset provides fine-grained annotation of aligned spans between proverbs and narratives, and contains minimal lexical overlaps between narratives and proverbs, ensuring that models need to go beyond surface-level reasoning to succeed. We explore three tasks: (1) proverb recommendation and alignment prediction, (2) narrative generation for a given proverb and topic, and (3) identifying narratives with similar motifs. Our experiments show that neural language models struggle in our tasks compared to humans, and the tasks pose multiple learning challenges.
• Abstract（参考訳）: 大規模言語モデルはいくつかのnlpベンチマークでエキサイティングな進歩を見せているが、複雑な類似推論の能力の評価は未検討のままである。 本稿では,抽象言語理解のベンチマークとして,文脈の証明を取り入れた高品質なクラウドソース型物語データセットを提案する。 データセットは、段落と物語の間の配列の微妙な注釈を提供し、物語と段落の間に最小限の語彙的重複を含むため、モデルが成功するためには表面レベルの推論を超える必要がある。 提案課題は,(1)推理とアライメント予測,(2)与えられた推理と話題の物語生成,(3)類似したモチーフを持つ物語の同定の3つである。 我々の実験では、ニューラルネットワークモデルは人間に比べてタスクに苦労しており、タスクは複数の学習課題を引き起こす。

関連論文リスト

• Generating Continuations in Multilingual Idiomatic Contexts [2.0849578298972835]
  非合成図形テキストを含むニュアンス言語理解における生成言語モデル(LM)の能力を検証する。 3つの異なるトレーニング設定の下で、2つの異なる言語(英語とポルトガル語)でデータセットを使用して実験を行う。 以上の結果から,本モデルでは慣用的文脈よりも文脈の連続性をわずかに向上し,マージンが極端に小さいことが示唆された。
  論文  参考訳（メタデータ） (2023-10-31T05:40:33Z)
• Multi-level Contrastive Learning for Script-based Character Understanding [14.341307979533871]
  文字の個人性やアイデンティティを発話から学習することを目的としたスクリプトにおける文字理解のシナリオに取り組む。 キャラクタのグローバル情報をきめ細かな方法でキャプチャするマルチレベルコントラスト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-20T02:40:52Z)
• DiPlomat: A Dialogue Dataset for Situated Pragmatic Reasoning [89.92601337474954]
  プラグマティック推論は、実生活における会話でしばしば起こる暗黙の意味を解読する上で重要な役割を担っている。 そこで我々は,現実的な推論と会話理解の場所に関するマシンの能力のベンチマークを目的とした,新しい挑戦であるDiPlomatを紹介した。
  論文  参考訳（メタデータ） (2023-06-15T10:41:23Z)
• Effective Cross-Task Transfer Learning for Explainable Natural Language Inference with T5 [50.574918785575655]
  2つのタスクのパフォーマンス向上という文脈において、逐次微調整とマルチタスク学習のモデルを比較した。 この結果から,2つのタスクのうち,第1のタスクにおいて逐次マルチタスク学習は良好に調整できるが,第2のタスクでは性能が低下し,過度な適合に苦しむことが明らかとなった。
  論文  参考訳（メタデータ） (2022-10-31T13:26:08Z)
• Don't Copy the Teacher: Data and Model Challenges in Embodied Dialogue [92.01165203498299]
  後続の身体的対話命令は、自然言語交換から複雑なタスクのシーケンスを完了させるエージェントを必要とする。 本稿では,模倣学習(IL)と関連する低レベルメトリクスが,実際には誤解を招くものであり,具体的対話研究の目標と一致していないことを論じる。
  論文  参考訳（メタデータ） (2022-10-10T05:51:40Z)
• Coarse-to-Fine: Hierarchical Multi-task Learning for Natural Language Understanding [51.31622274823167]
  本稿では,各タスクの下位レベルを全タスクに共有し,中間レベルを異なるグループに分割し,上位レベルを各タスクに割り当てる,粗大なパラダイムを持つ階層型フレームワークを提案する。 これにより、すべてのタスクから基本言語特性を学習し、関連するタスクのパフォーマンスを高め、無関係なタスクから負の影響を減らすことができる。
  論文  参考訳（メタデータ） (2022-08-19T02:46:20Z)
• Local Interpretations for Explainable Natural Language Processing: A Survey [5.717407321642629]
  本研究では,自然言語処理(NLP)タスクにおけるディープニューラルネットワークの解釈可能性を改善するための様々な手法について検討する。 本研究のはじめに,解釈可能性という用語の定義とその諸側面について,包括的に議論する。
  論文  参考訳（メタデータ） (2021-03-20T02:28:33Z)
• Multi-turn Dialogue Reading Comprehension with Pivot Turns and Knowledge [43.352833140317486]
  マルチターン対話読解は、機械に対話コンテキストを読み、応答選択や回答質問といったタスクを解くことを目的としている。 この研究は、ピボット発話として重要なターンを抽出することで、上記の2つの課題に対処する最初の試みである。 本稿では,対話理解のためのトランスフォーマーに基づく言語モデル上に,ピボット指向の深層選択モデル(PoDS)を提案する。
  論文  参考訳（メタデータ） (2021-02-10T15:00:12Z)
• Probing Task-Oriented Dialogue Representation from Language Models [106.02947285212132]
  本稿では,タスク指向対話タスクにおいて,どのモデルが本質的に最も有意義な表現を担っているかを明らかにするために,事前学習された言語モデルについて検討する。 我々は、アノテートラベルを教師付き方法で固定された事前学習言語モデルの上に、分類器プローブとしてフィードフォワード層を微調整する。
  論文  参考訳（メタデータ） (2020-10-26T21:34:39Z)
• Exemplar-Controllable Paraphrasing and Translation using Bitext [57.92051459102902]
  私たちは、バイリンガルテキスト(bitext)からのみ学ぶことができるように、以前の作業からモデルを適用する。 提案した1つのモデルでは、両言語で制御されたパラフレーズ生成と、両言語で制御された機械翻訳の4つのタスクを実行することができる。
  論文  参考訳（メタデータ） (2020-10-12T17:02:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。