論文の概要: CIS2: A Simplified Commonsense Inference Evaluation for Story Prose

• arxiv url: http://arxiv.org/abs/2202.07880v1
• Date: Wed, 16 Feb 2022 06:14:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-17 14:57:35.011414
• Title: CIS2: A Simplified Commonsense Inference Evaluation for Story Prose
• Title（参考訳）: CIS2: ストーリーテキストのための簡易なコモンセンス推論評価
• Authors: Bryan Li, Lara J. Martin, and Chris Callison-Burch
• Abstract要約: 私たちは、コンテキストコモンセンス推論(CCI)と呼ばれる、ストーリーの散文中のコモンセンス推論の領域に注目します。 文選択におけるタスクコンテキストコモンセンス推論(CIS$2$)を導入する。
• 参考スコア（独自算出の注目度）: 21.32351425259654
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformers have been showing near-human performance on a variety of tasks, but they are not without their limitations. We discuss the issue of conflating results of transformers that are instructed to do multiple tasks simultaneously. In particular, we focus on the domain of commonsense reasoning within story prose, which we call contextual commonsense inference (CCI). We look at the GLUCOSE (Mostafazadeh et al 2020) dataset and task for predicting implicit commonsense inferences between story sentences. Since the GLUCOSE task simultaneously generates sentences and predicts the CCI relation, there is a conflation in the results. Is the model really measuring CCI or is its ability to generate grammatical text carrying the results? In this paper, we introduce the task contextual commonsense inference in sentence selection (CIS$^2$), a simplified task that avoids conflation by eliminating language generation altogether. Our findings emphasize the necessity of future work to disentangle language generation from the desired NLP tasks at hand.
• Abstract（参考訳）: トランスフォーマーは様々なタスクで人間に近いパフォーマンスを示しているが、制限がないわけではない。 複数のタスクを同時に行うように指示された変換器の融合結果の問題について議論する。 特に,コンテキスト・コモンセンス推論(cci)と呼ばれる,ストーリー・プロスにおけるコモンセンス推論の領域に注目した。 我々はGLUCOSE(Mostafazadeh et al 2020)データセットとストーリー文間の暗黙のコモンセンス推論を予測するタスクについて検討する。 GLUCOSEタスクは同時に文を生成し、CCI関係を予測するので、結果に矛盾がある。 モデルは本当にCCIを測定しているのか、それとも結果を運ぶ文法テキストを生成する能力があるのか? 本稿では,文選択におけるタスクコンテキスト・コモンセンス推論(cis$^2$)について紹介する。 本研究は,対象とするnlpタスクから言語生成を分離する今後の作業の必要性を強調する。

関連論文リスト

• Can Language Models Take A Hint? Prompting for Controllable Contextualized Commonsense Inference [12.941933077524919]
  我々は、文脈化されたコモンセンス推論を強化するデータ拡張手法である"hinting"を導入する。 『Hinting』では、ハードプロンプトとソフトプロンプトを併用して推論プロセスの導出を行う。 この結果から,"隠れ"は文脈コモンセンス推論の性能を損なうことなく,制御性の向上を図っている。
  論文  参考訳（メタデータ） (2024-10-03T04:32:46Z)
• Complex Reasoning over Logical Queries on Commonsense Knowledge Graphs [61.796960984541464]
  論理クエリをサンプリングして作成した新しいデータセットであるCOM2(COMplex COMmonsense)を提示する。 我々は、手書きのルールと大きな言語モデルを用いて、複数の選択とテキスト生成の質問に言語化します。 COM2でトレーニングされた言語モデルでは、複雑な推論能力が大幅に改善されている。
  論文  参考訳（メタデータ） (2024-03-12T08:13:52Z)
• Towards Event Extraction from Speech with Contextual Clues [61.164413398231254]
  本稿では,音声イベント抽出(SpeechEE)タスクを導入し,3つの合成トレーニングセットと1つの人為的テストセットを構築した。 テキストからのイベント抽出と比較して、SpeechEEは、主に連続的で単語境界を持たない複雑な音声信号のために、より大きな課題を提起する。 我々の手法はすべてのデータセットに大幅な改善をもたらし、最大10.7%のF1ゲインを達成する。
  論文  参考訳（メタデータ） (2024-01-27T11:07:19Z)
• Adversarial Transformer Language Models for Contextual Commonsense Inference [14.12019824666882]
  コモンセンス推論はコヒーレントなコモンセンスアサーションを生成するタスクである。 課題のいくつかは、推測された事実のトピックに対する制御可能性の欠如、トレーニング中の常識知識の欠如である。 我々は、上記の課題に対処する技術を開発する。
  論文  参考訳（メタデータ） (2023-02-10T18:21:13Z)
• Effective Cross-Task Transfer Learning for Explainable Natural Language Inference with T5 [50.574918785575655]
  2つのタスクのパフォーマンス向上という文脈において、逐次微調整とマルチタスク学習のモデルを比較した。 この結果から,2つのタスクのうち,第1のタスクにおいて逐次マルチタスク学習は良好に調整できるが,第2のタスクでは性能が低下し,過度な適合に苦しむことが明らかとなった。
  論文  参考訳（メタデータ） (2022-10-31T13:26:08Z)
• A Survey of Implicit Discourse Relation Recognition [9.57170901247685]
  暗黙的談話関係認識(IDRR)は、暗黙的関係を検出し、接続性のない2つのテキストセグメント間でその感覚を分類することである。 この記事では、IDRRタスクに関する包括的で最新の調査を提供する。
  論文  参考訳（メタデータ） (2022-03-06T15:12:53Z)
• GATE: Graph Attention Transformer Encoder for Cross-lingual Relation and Event Extraction [107.8262586956778]
  言語に依存しない文表現を学習するために、普遍的な依存解析を伴うグラフ畳み込みネットワーク(GCN)を導入する。 GCNは、長い範囲の依存関係を持つ単語をモデル化するのに苦労する。 そこで本研究では,構文的距離の異なる単語間の依存関係を学習するための自己認識機構を提案する。
  論文  参考訳（メタデータ） (2020-10-06T20:30:35Z)
• Paragraph-level Commonsense Transformers with Recurrent Memory [77.4133779538797]
  物語からコヒーレントなコモンセンス推論を生成するために,段落レベルの情報を含む談話認識モデルを訓練する。 以上の結果から,PARA-COMETは文レベルのベースライン,特にコヒーレントかつ新規な推論に優れていた。
  論文  参考訳（メタデータ） (2020-10-04T05:24:12Z)
• Is Supervised Syntactic Parsing Beneficial for Language Understanding? An Empirical Investigation [71.70562795158625]
  従来のNLPは、高レベルセマンティック言語理解(LU)の成功に必要な構文解析を長い間保持(教師付き)してきた。 近年のエンドツーエンドニューラルネットワークの出現、言語モデリング(LM)による自己監視、および幅広いLUタスクにおける成功は、この信念に疑問を投げかけている。 本研究では,LM-Pretrained Transformer Network の文脈における意味的LUに対する教師あり構文解析の有用性を実証的に検討する。
  論文  参考訳（メタデータ） (2020-08-15T21:03:36Z)
• CS-NLP team at SemEval-2020 Task 4: Evaluation of State-of-the-art NLP Deep Learning Architectures on Commonsense Reasoning Task [3.058685580689605]
  本稿では,SemEval-2020 Task 4 competition: Commonsense Validation and Explanation (ComVE) Challengeについて述べる。 本システムは、3つの異なる自然言語推論サブタスクに対して手動でキュレートされたラベル付きテキストデータセットを使用する。 第2のサブタスクでは、声明が意味をなさない理由を選択するため、27人の参加者のうち、最初の6チーム(93.7%)で非常に競争力のある結果が得られます。
  論文  参考訳（メタデータ） (2020-05-17T13:20:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。