論文の概要: Language Models as Inductive Reasoners

• arxiv url: http://arxiv.org/abs/2212.10923v2
• Date: Fri, 2 Feb 2024 14:06:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-05 20:54:16.283237
• Title: Language Models as Inductive Reasoners
• Title（参考訳）: 帰納的推論としての言語モデル
• Authors: Zonglin Yang, Li Dong, Xinya Du, Hao Cheng, Erik Cambria, Xiaodong Liu, Jianfeng Gao, Furu Wei
• Abstract要約: 本稿では,帰納的推論のための新しいパラダイム(タスク)を提案し,自然言語の事実から自然言語規則を誘導する。 タスクのための1.2kルールファクトペアを含むデータセットDEERを作成し,ルールと事実を自然言語で記述する。 我々は、事前訓練された言語モデルが自然言語の事実から自然言語規則をいかに誘導できるかを、初めてかつ包括的な分析を行う。
• 参考スコア（独自算出の注目度）: 125.99461874008703
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Inductive reasoning is a core component of human intelligence. In the past research of inductive reasoning within computer science, formal language is used as representations of knowledge (facts and rules, more specifically). However, formal language can cause systematic problems for inductive reasoning such as disability of handling raw input such as natural language, sensitiveness to mislabeled data, and incapacity to handle ambiguous input. To this end, we propose a new paradigm (task) for inductive reasoning, which is to induce natural language rules from natural language facts, and create a dataset termed DEER containing 1.2k rule-fact pairs for the task, where rules and facts are written in natural language. New automatic metrics are also proposed and analysed for the evaluation of this task. With DEER, we investigate a modern approach for inductive reasoning where we use natural language as representation for knowledge instead of formal language and use pretrained language models as "reasoners". Moreover, we provide the first and comprehensive analysis of how well pretrained language models can induce natural language rules from natural language facts. We also propose a new framework drawing insights from philosophy literature for this task, which we show in the experiment section that surpasses baselines in both automatic and human evaluations. We discuss about our future perspectives for inductive reasoning in Section 7. Dataset and code are available at https://github.com/ZonglinY/Inductive_Reasoning.
• Abstract（参考訳）: 帰納的推論は人間の知性の中核的な要素である。 コンピュータ科学における帰納的推論の研究では、形式言語は知識の表現(事実や規則)として用いられる。 しかし、形式言語は、自然言語のような生の入力を扱う障害、誤ったラベルされたデータに対する敏感さ、あいまいな入力を扱う能力の欠如など、帰納的推論の体系的な問題を引き起こす可能性がある。 そこで本研究では,自然言語の事実から自然言語規則を誘導する帰納的推論のための新しいパラダイム(タスク)を提案し,そのタスクのための1.2kのルールファクトペアを含むデータセットであるDEERを作成し,ルールと事実を自然言語で記述する。 また、このタスクの評価のために、新しい自動メトリクスを提案し、分析する。 DEERでは、自然言語を形式言語ではなく知識の表現として使用し、事前学習された言語モデルを「推論者」として使用する、帰納的推論の現代的なアプローチについて検討する。 さらに,事前学習された言語モデルが自然言語の事実から自然言語ルールをいかに引き起こすかを,最初に総合的に分析する。 また,本課題に対する哲学文献からの洞察を引き出す新たな枠組みを提案する。 第7節では,帰納的推論の今後の展望について論じる。 データセットとコードはhttps://github.com/zongliny/inductive_reasoningで入手できる。

関連論文リスト

• Language Models can be Logical Solvers [99.40649402395725]
  論理解法の推論過程を直接エミュレートする新しい言語モデルであるLoGiPTを導入する。 LoGiPTは、導出的ソルバの見えない推論過程を明らかにして精錬することから導かれる、新しく構築された命令チューニングデータセットに基づいて微調整される。
  論文  参考訳（メタデータ） (2023-11-10T16:23:50Z)
• Natural Language Decompositions of Implicit Content Enable Better Text Representations [56.85319224208865]
  本稿では,暗黙的に伝達されたコンテンツを明示的に考慮したテキスト分析手法を提案する。 我々は大きな言語モデルを用いて、観察されたテキストと推論的に関係する命題の集合を生成する。 本研究は,NLPにおいて,文字のみではなく,観察された言語の背景にある意味をモデル化することが重要であることを示唆する。
  論文  参考訳（メタデータ） (2023-05-23T23:45:20Z)
• Injecting structural hints: Using language models to study inductive biases in language learning [40.8902073270634]
  言語モデルに帰納バイアスを注入し,形式的構造化データに基づいて事前学習を行う。 次に, 学習者の言語学習能力の評価を行った。 非文脈自由な関係が最良の帰納バイアスとなることを示す。
  論文  参考訳（メタデータ） (2023-04-25T18:00:08Z)
• ChatABL: Abductive Learning via Natural Language Interaction with ChatGPT [72.83383437501577]
  大規模言語モデル(LLM)は、最近数学的な能力において大きな可能性を証明している。 LLMは現在、認識、言語理解、推論能力のブリッジングに困難を抱えている。 本稿では, LLMを帰納学習フレームワークに統合する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-04-21T16:23:47Z)
• Logical Reasoning over Natural Language as Knowledge Representation: A Survey [43.29703101875716]
  本稿では,自然言語を知識表現として,事前学習した言語モデルを推論として利用する論理推論の新しいパラダイムについて概説する。 この新たなパラダイムは、形式表現の多くの課題を軽減するだけでなく、エンドツーエンドのニューラルメソッドよりもアドバンテージを持つため、有望である。
  論文  参考訳（メタデータ） (2023-03-21T16:56:05Z)
• Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
  合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。 自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
  論文  参考訳（メタデータ） (2022-10-14T02:35:19Z)
• Learning Symbolic Rules for Reasoning in Quasi-Natural Language [74.96601852906328]
  我々は,ルールを手作業で構築することなく,自然言語入力で推論できるルールベースシステムを構築した。 本稿では,形式論理文と自然言語文の両方を表現可能な"Quasi-Natural"言語であるMetaQNLを提案する。 提案手法は,複数の推論ベンチマークにおける最先端の精度を実現する。
  論文  参考訳（メタデータ） (2021-11-23T17:49:00Z)
• Towards Coinductive Models for Natural Language Understanding. Bringing together Deep Learning and Deep Semantics [0.0]
  Coinductionはオペレーティング システムおよびプログラミング言語の設計で首尾よく使用されました。 テキストマイニングや機械翻訳、インテンシティリティやモダリティをモデル化するいくつかの試みに存在している。 本稿では,自然言語処理における帰納と造語の組み合わせの例を示す。
  論文  参考訳（メタデータ） (2020-12-09T03:10:36Z)
• Universal linguistic inductive biases via meta-learning [36.43388942327124]
  帰納的バイアスが言語習得における観察されたパターンを説明することができるかは不明である。 ニューラルネットワークモデルに言語的帰納バイアスを与えるためのフレームワークを導入する。 この枠組みを音節構造に基づくケーススタディで実証する。
  論文  参考訳（メタデータ） (2020-06-29T19:15:10Z)
• A Dataset for Statutory Reasoning in Tax Law Entailment and Question Answering [37.66486350122862]
  本稿では,法定推論における自然言語理解手法の性能について検討する。 我々は、法的ドメインのテキストコーパスとともにデータセットを導入する。 タスクを完全に解くように設計された手作りPrologベースのシステムと対比する。
  論文  参考訳（メタデータ） (2020-05-11T16:54:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。