論文の概要: Transformers as Soft Reasoners over Language

• arxiv url: http://arxiv.org/abs/2002.05867v2
• Date: Tue, 5 May 2020 17:33:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-01 03:56:47.186975
• Title: Transformers as Soft Reasoners over Language
• Title（参考訳）: ソフト推論言語としてのトランスフォーマー
• Authors: Peter Clark, Oyvind Tafjord, Kyle Richardson
• Abstract要約: 本稿では,事実と規則を自然言語文として提供し,形式表現をバイパスする問題について検討する。 我々は、合成されたデータを用いて、これらの文に対する推論(または推論)をエミュレートするようにトランスフォーマーを訓練する。 RuleTakersと呼ばれる私たちのモデルは、この種の言語に対するソフトな推論が学習可能であるという、最初の実証的なデモンストレーションを提供します。
• 参考スコア（独自算出の注目度）: 33.291806251021185
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Beginning with McCarthy's Advice Taker (1959), AI has pursued the goal of providing a system with explicit, general knowledge and having the system reason over that knowledge. However, expressing the knowledge in a formal (logical or probabilistic) representation has been a major obstacle to this research. This paper investigates a modern approach to this problem where the facts and rules are provided as natural language sentences, thus bypassing a formal representation. We train transformers to reason (or emulate reasoning) over these sentences using synthetically generated data. Our models, that we call RuleTakers, provide the first empirical demonstration that this kind of soft reasoning over language is learnable, can achieve high (99%) accuracy, and generalizes to test data requiring substantially deeper chaining than seen during training (95%+ scores). We also demonstrate that the models transfer well to two hand-authored rulebases, and to rulebases paraphrased into more natural language. These findings are significant as it suggests a new role for transformers, namely as limited "soft theorem provers" operating over explicit theories in language. This in turn suggests new possibilities for explainability, correctability, and counterfactual reasoning in question-answering.
• Abstract（参考訳）: McCarthy's Advice Taker (1959) から始まり、AIは明示的で一般的な知識を持つシステムを提供し、その知識にシステム理性を持たせるという目標を追求してきた。 しかし、形式的(論理的または確率的)表現で知識を表現することは、この研究の大きな障害となっている。 本稿では,事実や規則を自然言語文として提供し,形式表現をバイパスする現代的アプローチについて検討する。 合成生成データを用いて,これらの文に対して推論(あるいは推論)するようにトランスフォーマーを訓練する。 RuleTakersと呼ばれる私たちのモデルは、この種のソフト推論が学習可能であり、高い(99%)精度を実現し、トレーニング中に見るよりもはるかに深い連鎖を必要とするテストデータ(95%以上)を一般化する、最初の実証的なデモンストレーションを提供します。 また、モデルが2つの手書きのルールベースにうまく移行し、ルールベースがより自然言語にパラフレーズ化されることを実証する。 これらの発見は、トランスフォーマーの新たな役割、すなわち言語における明示的な理論を乗り越える限定された「ソフト定理プロバー」を示唆している。 これは、質問応答における説明可能性、修正可能性、反事実推論の新たな可能性を示唆する。

関連論文リスト

• A Multi-Task Text Classification Pipeline with Natural Language Explanations: A User-Centric Evaluation in Sentiment Analysis and Offensive Language Identification in Greek Tweets [8.846643533783205]
  この研究は、テキスト分類タスクで使用できる新しいパイプラインの初期の概念を紹介している。 テキストをラベル付けする分類器と、説明を提供する説明生成器の2つのモデルから構成される。 ギリシャのツイートにおける感情分析と攻撃的な言語識別のタスクを中心に実験が行われている。
  論文  参考訳（メタデータ） (2024-10-14T08:41:31Z)
• Implicit Chain of Thought Reasoning via Knowledge Distillation [58.80851216530288]
  思考推論ステップの連鎖を明示的に生成する代わりに、言語モデルの内部の隠れ状態を使用して暗黙の推論を行います。 このアプローチにより、明示的にチェーン・オブ・シントなしでは解決不可能なタスクを、非チェーン・オブ・シントに匹敵する速度で解決できることが分かりました。
  論文  参考訳（メタデータ） (2023-11-02T17:59:49Z)
• Learning Language Representations with Logical Inductive Bias [19.842271716111153]
  より優れた言語表現学習のための新しい論理帰納バイアスについて検討する。 我々はこの新たな帰納バイアスを符号化するために、FOLNetという新しいニューラルネットワークを開発した。 変換器の自己アテンションモジュールは2つのニューラルロジック演算子によって構成できることがわかった。
  論文  参考訳（メタデータ） (2023-02-19T02:21:32Z)
• Language Models as Inductive Reasoners [125.99461874008703]
  本稿では,帰納的推論のための新しいパラダイム(タスク)を提案し,自然言語の事実から自然言語規則を誘導する。 タスクのための1.2kルールファクトペアを含むデータセットDEERを作成し,ルールと事実を自然言語で記述する。 我々は、事前訓練された言語モデルが自然言語の事実から自然言語規則をいかに誘導できるかを、初めてかつ包括的な分析を行う。
  論文  参考訳（メタデータ） (2022-12-21T11:12:14Z)
• AbductionRules: Training Transformers to Explain Unexpected Inputs [2.2630663834223763]
  AbductionRulesは、自然言語の知識ベース上で一般的な推論を訓練し、テストするために設計されたデータセットのグループです。 本稿では,帰納的推論へのこのアプローチの適用可能性と今後の作業で改善される可能性について論じる。
  論文  参考訳（メタデータ） (2022-03-23T04:18:30Z)
• Learning Symbolic Rules for Reasoning in Quasi-Natural Language [74.96601852906328]
  我々は,ルールを手作業で構築することなく,自然言語入力で推論できるルールベースシステムを構築した。 本稿では,形式論理文と自然言語文の両方を表現可能な"Quasi-Natural"言語であるMetaQNLを提案する。 提案手法は,複数の推論ベンチマークにおける最先端の精度を実現する。
  論文  参考訳（メタデータ） (2021-11-23T17:49:00Z)
• Neural Unification for Logic Reasoning over Natural Language [0.28675177318965034]
  自動定理証明(Automated Theorem Proving)は、いくつかの予想(クエリ)が一連の公理(事実と規則)の論理的な結果であることを示すことができるコンピュータプログラムの開発を扱う。 近年のアプローチでは、自然言語(英語)で表される公理の予想を導出するトランスフォーマーに基づくアーキテクチャが提案されている。 本研究は, 一般化の項における最先端結果を実現するニューラルユニファイザという, 新たなアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-09-17T10:48:39Z)
• Fact-driven Logical Reasoning for Machine Reading Comprehension [82.58857437343974]
  私たちは、常識と一時的な知識のヒントの両方を階層的にカバーする動機があります。 具体的には,文の背骨成分を抽出し,知識単位の一般的な定式化を提案する。 次に、事実単位の上にスーパーグラフを構築し、文レベル(事実群間の関係)と実体レベルの相互作用の利点を享受する。
  論文  参考訳（メタデータ） (2021-05-21T13:11:13Z)
• Provable Limitations of Acquiring Meaning from Ungrounded Form: What will Future Language Models Understand? [87.20342701232869]
  未知のシステムが意味を習得する能力について検討する。 アサーションによってシステムが等価性のような意味関係を保存する表現をエミュレートできるかどうか検討する。 言語内のすべての表現が参照的に透明であれば,アサーションによってセマンティックエミュレーションが可能になる。 しかし、言語が変数バインディングのような非透過的なパターンを使用する場合、エミュレーションは計算不能な問題になる可能性がある。
  論文  参考訳（メタデータ） (2021-04-22T01:00:17Z)
• Leap-Of-Thought: Teaching Pre-Trained Models to Systematically Reason Over Implicit Knowledge [96.92252296244233]
  大規模な事前学習言語モデル(LM)は推論能力を得るが、制御は困難である。 本研究では,暗黙的,事前学習された知識と明示的な自然言語文を併用して,体系的推論を確実に行うことができることを示す。 我々の研究は、シンプルな自然言語文を追加することで、モデルを簡単に修正できるユーザと対話することで、常に改善されるオープンドメインシステムへの道を開く。
  論文  参考訳（メタデータ） (2020-06-11T17:02:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。