論文の概要: Penguins Don't Fly: Reasoning about Generics through Instantiations and Exceptions

• arxiv url: http://arxiv.org/abs/2205.11658v1
• Date: Mon, 23 May 2022 22:45:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-29 06:17:17.519197
• Title: Penguins Don't Fly: Reasoning about Generics through Instantiations and Exceptions
• Title（参考訳）: Penguins Don't Fly: Instantiationsと例外によるジェネリックの推論
• Authors: Emily Allaway, Jena D. Hwang, Chandra Bhagavatula, Kathleen McKeown, Doug Downey, Yejin Choi
• Abstract要約: 系図は世界に関する一般化を表現している。 常識知識ベースはしばしば一般的な知識を符号化するが、設計上はそのような例外を符号化することはできない。 本稿では,ジェネリックの現実的に関係のある真と偽のインスタンスを生成する新しいフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 73.56753518339247
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generics express generalizations about the world (e.g., "birds can fly"). However, they are not universally true -- while sparrows and penguins are both birds, only sparrows can fly and penguins cannot. Commonsense knowledge bases, which are used extensively in many NLP tasks as a source of world-knowledge, can often encode generic knowledge but, by-design, cannot encode such exceptions. Therefore, it is crucial to realize the specific instances when a generic statement is true or false. In this work, we present a novel framework to generate pragmatically relevant true and false instances of a generic. We use pre-trained language models, constraining the generation based on insights from linguistic theory, and produce ${\sim}20k$ exemplars for ${\sim}650$ generics. Our system outperforms few-shot generation from GPT-3 (by 12.5 precision points) and our analysis highlights the importance of constrained decoding for this task and the implications of generics exemplars for language inference tasks.
• Abstract（参考訳）: ジェネリックは世界に関する一般化を表現する(例えば「鳥は飛ぶことができる」)。 しかし、スズメとペンギンはどちらも鳥類だが、飛べるのはスズメだけであり、ペンギンは飛べない。 ワールド知識の源泉として多くのNLPタスクで広く使われているコモンセンス知識ベースは、しばしば一般的な知識をエンコードするが、設計によってはそのような例外をエンコードすることはできない。 したがって、ジェネリックステートメントがtrueかfalseである場合に、特定のインスタンスを実現することが重要です。 本研究では,ジェネリックの実用的関連性のある真と偽のインスタンスを生成する新しいフレームワークを提案する。 我々は事前訓練された言語モデルを使用し、言語理論からの洞察に基づいて生成を制約し、${\sim}650$ジェネリックに対して${\sim}20k$の例を生成する。 本システムでは,GPT-3(精度12.5点)からの少数ショット生成よりも優れており,このタスクにおける制約付きデコードの重要性と,言語推論タスクにおけるジェネリクスの意義が強調されている。

関連論文リスト

• GeniL: A Multilingual Dataset on Generalizing Language [19.43611224855484]
  生成言語におけるステレオタイプの存在を評価するための現在の手法は、単純なテンプレートや共起に基づく尺度に依存している。 意味的文脈を理解することは一般化の事例を検出するために重要であると論じる。 我々は、一般化の例に注釈を付けた9言語から50K以上の文からなる多言語データセットGeniLを構築した。
  論文  参考訳（メタデータ） (2024-04-08T20:58:06Z)
• SLOG: A Structural Generalization Benchmark for Semantic Parsing [68.19511282584304]
  合成一般化ベンチマークの目的は、モデルがいかにして新しい複雑な言語表現に一般化するかを評価することである。 既存のベンチマークは、しばしば語彙一般化に焦点を当て、訓練に精通した構文構造における新しい語彙項目の解釈は、しばしば不足している。 SLOGは,COGSを拡張したセマンティック解析データセットである。
  論文  参考訳（メタデータ） (2023-10-23T15:39:09Z)
• Uncertainty in Natural Language Generation: From Theory to Applications [42.55924708592451]
  我々は,不確実性に対する原則的対応が,これらの目標に適合するシステムや評価プロトコルの作成に有効であると主張している。 まず,不確実性を表現するために必要な基本理論,枠組み,語彙について述べる。 そこで,本研究では,一般的なアレタリック/エピステミック二分法よりも情報的かつ忠実な2次元分類法を提案する。
  論文  参考訳（メタデータ） (2023-07-28T17:51:21Z)
• A Measure-Theoretic Characterization of Tight Language Models [105.16477132329416]
  病理学的には「確率質量」が無限列の集合に漏れることがある。 本稿では,言語モデリングの尺度論的扱いについて述べる。 多くのポピュラーな言語モデルファミリーが実際に密接な関係にあることを証明しています。
  論文  参考訳（メタデータ） (2022-12-20T18:17:11Z)
• Formal Specifications from Natural Language [3.1806743741013657]
  本稿では,自然言語を複雑な意味を持つ形式仕様に翻訳する言語モデルについて検討する。 特に、構造化英語文からなる3つのデータセット上で、オフザシェルフ言語モデルを微調整する。
  論文  参考訳（メタデータ） (2022-06-04T10:49:30Z)
• Does BERT really agree ? Fine-grained Analysis of Lexical Dependence on a Syntactic Task [70.29624135819884]
  目的の構文テンプレート上で,BERTが語彙非依存の主観値数アグリーメント(NA)を実行できる範囲について検討した。 名詞文では,単純なテンプレートに対してモデルがよく一般化されるが,1つのアトラクターが存在する場合,語彙非依存の構文一般化を行うことができないことが示唆された。
  論文  参考訳（メタデータ） (2022-04-14T11:33:15Z)
• Leveraging the Inductive Bias of Large Language Models for Abstract Textual Reasoning [3.616948583169635]
  GPT-3やT5のような大きな自然言語モデルは、様々な一般的なNLPタスクにおいて印象的な能力を示している。 このようなモデルに埋め込まれた知識は、従来のNLPタスクだけでなく、シンボリック推論エンジンを訓練する非伝統的なタスクにも有用な帰納的バイアスをもたらすことを示す。
  論文  参考訳（メタデータ） (2021-10-05T21:40:46Z)
• Neural Abstructions: Abstractions that Support Construction for Grounded Language Learning [69.1137074774244]
  言語の相互作用を効果的に活用するには、言語基底に対する2つの最も一般的なアプローチの制限に対処する必要がある。 本稿では,ラベル条件付き生成モデルの推論手順に対する制約のセットであるニューラル・アブストラクションの考え方を紹介する。 この手法により,マインクラフトにおけるオープンエンドハウスタスクのセマンティックな変更をユーザ人口が構築できることが示される。
  論文  参考訳（メタデータ） (2021-07-20T07:01:15Z)
• Infusing Finetuning with Semantic Dependencies [62.37697048781823]
  シンタックスとは異なり、セマンティクスは今日の事前訓練モデルによって表面化されないことを示す。 次に、畳み込みグラフエンコーダを使用して、タスク固有の微調整にセマンティック解析を明示的に組み込む。
  論文  参考訳（メタデータ） (2020-12-10T01:27:24Z)
• GenericsKB: A Knowledge Base of Generic Statements [18.68800894936855]
  我々はNLPコミュニティのための新しいリソース、すなわち*ジェネリックステートメントの大きな(3.5M+文)知識ベースを提示する*。 これは、抽出またはクラウドソースされた三つ組とは対照的に、*自然に発生する*ジェネリック文を含む最初の大きなリソースである。 すべてのジェネリックKB文は、その話題用語、周囲の文脈(文)、そして(学習された)信頼によって注釈付けされる。
  論文  参考訳（メタデータ） (2020-05-02T00:08:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。