論文の概要: Inferring Implicit Relations with Language Models

• arxiv url: http://arxiv.org/abs/2204.13778v1
• Date: Thu, 28 Apr 2022 21:00:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-03 07:30:40.838200
• Title: Inferring Implicit Relations with Language Models
• Title（参考訳）: 言語モデルによる帰属関係の推論
• Authors: Uri Katz, Mor Geva, Jonathan Berant
• Abstract要約: そこで本研究では,現在のモデルが暗黙的推論問題に苦しむ理由を考察する。 我々は、ある質問に対して、モデルが概念-関係ペアのリストを出力すべきである、IMPLICITRelationSというベンチマークを構築した。 IMPLICITrelationSを用いて、GPT-3ファミリーのモデルを評価し、これらのモデルが暗黙的推論QAタスクに苦戦しているのに対して、暗黙的関係を推測することに成功した。
• 参考スコア（独自算出の注目度）: 38.70860544044594
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A prominent challenge for modern language understanding systems is the ability to answer implicit reasoning questions, where the required reasoning steps for answering the question are not mentioned in the text explicitly. In this work, we investigate why current models struggle with implicit reasoning question answering (QA) tasks, by decoupling inference of reasoning steps from their execution. We define a new task of implicit relation inference and construct a benchmark, IMPLICITRELATIONS, where given a question, a model should output a list of concept-relation pairs, where the relations describe the implicit reasoning steps required for answering the question. Using IMPLICITRELATIONS, we evaluate models from the GPT-3 family and find that, while these models struggle on the implicit reasoning QA task, they often succeed at inferring implicit relations. This suggests that the bottleneck for answering implicit reasoning questions is in the ability of language models to retrieve and reason over information rather than to plan an accurate reasoning strategy
• Abstract（参考訳）: 現代の言語理解システムにおいて顕著な課題は、暗黙の推論問題に答える能力である。 本研究では,現在のモデルが暗黙の推論質問応答(qa)タスクに苦しむ理由を,その実行から推論ステップの推論を分離することで検証する。 暗黙的関係推論の新しいタスクを定義し, IMPLICITRELATIONSというベンチマークを構築し, ある質問に対して, モデルが解答に必要な暗黙的推論ステップを記述した概念-関係ペアのリストを出力する。 IMPLICITrelationSを用いて、GPT-3ファミリーのモデルを評価し、これらのモデルが暗黙的推論QAタスクに苦労する一方で、暗黙的関係を推測することに成功した。 このことは、暗黙の推論問題に答えるボトルネックは、正確な推論戦略を計画するよりも、言語モデルによる情報検索と推論能力にあることを示唆している。

関連論文リスト

• Chain-of-Probe: Examing the Necessity and Accuracy of CoT Step-by-Step [81.50681925980135]
  モデル推論における心の変化を探索する手法を提案する。 心的変化のパターンを解析することにより,モデルの推論の正しさを検証した。 我々の検証では、最終回答では正しいが、多くの応答が推論プロセスに誤りを含んでいることが明らかになった。
  論文  参考訳（メタデータ） (2024-06-23T15:50:22Z)
• Towards More Faithful Natural Language Explanation Using Multi-Level Contrastive Learning in VQA [7.141288053123662]
  視覚的質問応答(VQA-NLE)における自然言語の説明は,ブラックボックスシステムに対するユーザの信頼を高めるために,自然言語文を生成することによって,モデルの意思決定プロセスを説明することを目的としている。 既存のポストホックな説明は、人間の論理的推論と常に一致している訳ではなく、1) 誘惑的不満足な説明は、生成した説明が論理的に答えに繋がらないこと、2) 現実的不整合性、2) 画像上の事実を考慮せずに解答の反事実的説明を偽示すること、3) 意味的摂動の過敏性、モデルは、小さな摂動によって引き起こされる意味的変化を認識できないこと、である。
  論文  参考訳（メタデータ） (2023-12-21T05:51:55Z)
• Evaluating the Rationale Understanding of Critical Reasoning in Logical Reading Comprehension [13.896697187967547]
  論理的読解データセットから、なぜ解答オプションを選択するか、あるいは排除すべきかを説明する、合理的テキストをクラウドソースします。 実験の結果、最近の大規模言語モデル(例えば、インストラクションGPT)は、たとえ主要な疑問に正しく答えられるとしても、要求に答えることに苦慮していることがわかった。
  論文  参考訳（メタデータ） (2023-11-30T08:44:55Z)
• Clarify When Necessary: Resolving Ambiguity Through Interaction with LMs [58.620269228776294]
  そこで本稿では,ユーザに対して,あいまいさを解消するためのタスク非依存のフレームワークを提案する。 我々は3つのNLPアプリケーション(質問応答、機械翻訳、自然言語推論)にまたがるシステムを評価する。 インテントシムは堅牢であり、幅広いNLPタスクやLMの改善を実証している。
  論文  参考訳（メタデータ） (2023-11-16T00:18:50Z)
• Question Decomposition Improves the Faithfulness of Model-Generated Reasoning [23.34325378824462]
  大規模言語モデル(LLM)は、その振る舞いの正しさと安全性を検証するのが困難である。 一つのアプローチは、LLMが質問に答えるときにステップバイステップの推論を生成することによって、彼らの推論を外部化するように促すことである。 このアプローチは、モデルの実的推論を忠実に反映する記述された推論に依存しており、必ずしもそうではない。 分解に基づく手法は、時にはCoTの手法に近づき、質問応答タスクにおいて高い性能を達成する。
  論文  参考訳（メタデータ） (2023-07-17T00:54:10Z)
• Keeping the Questions Conversational: Using Structured Representations to Resolve Dependency in Conversational Question Answering [26.997542897342164]
  本稿では,中間表現を会話の手がかりとして捉え,生成するための新しいフレームワークCONVSR(CONVQA using Structured Representations)を提案する。 我々はQuACとCANARDのデータセット上でモデルをテストし、提案するフレームワークが標準的な質問書き直しモデルよりも優れたF1スコアを達成できることを実験結果により示す。
  論文  参考訳（メタデータ） (2023-04-14T13:42:32Z)
• STREET: A Multi-Task Structured Reasoning and Explanation Benchmark [56.555662318619135]
  マルチタスクとマルチドメインの自然言語推論と説明ベンチマークを統一的に導入する。 我々は、モデルが質問に答えるだけでなく、ある解の正しさを証明できる中間的な結論を生成するために、問題の前提がどのように使われているかを記述する、段階的に構造化された説明を生成することを期待している。
  論文  参考訳（メタデータ） (2023-02-13T22:34:02Z)
• GreaseLM: Graph REASoning Enhanced Language Models for Question Answering [159.9645181522436]
  GreaseLMは、事前訓練されたLMとグラフニューラルネットワークの符号化された表現を、複数の層にわたるモダリティ相互作用操作で融合する新しいモデルである。 GreaseLMは、状況制約と構造化知識の両方の推論を必要とする問題に、より確実に答えることができる。
  論文  参考訳（メタデータ） (2022-01-21T19:00:05Z)
• Discrete Reasoning Templates for Natural Language Understanding [79.07883990966077]
  我々は,複雑な質問をより単純な質問に分解する手法を提案する。 事前定義された推論テンプレートの指示に従って最終回答を導出する。 我々のアプローチは、解釈可能でありながら最先端技術と競合し、監督をほとんど必要としないことを示す。
  論文  参考訳（メタデータ） (2021-04-05T18:56:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。