論文の概要: AbductionRules: Training Transformers to Explain Unexpected Inputs

• arxiv url: http://arxiv.org/abs/2203.12186v1
• Date: Wed, 23 Mar 2022 04:18:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-25 06:56:20.343353
• Title: AbductionRules: Training Transformers to Explain Unexpected Inputs
• Title（参考訳）: AbductionRules: 予期せぬ入力を説明するためのトランスフォーマーのトレーニング
• Authors: Nathan Young, Qiming Bao, Joshua Bensemann, Michael Witbrock
• Abstract要約: AbductionRulesは、自然言語の知識ベース上で一般的な推論を訓練し、テストするために設計されたデータセットのグループです。 本稿では,帰納的推論へのこのアプローチの適用可能性と今後の作業で改善される可能性について論じる。
• 参考スコア（独自算出の注目度）: 2.2630663834223763
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Transformers have recently been shown to be capable of reliably performing logical reasoning over facts and rules expressed in natural language, but abductive reasoning - inference to the best explanation of an unexpected observation - has been underexplored despite significant applications to scientific discovery, common-sense reasoning, and model interpretability. We present AbductionRules, a group of natural language datasets designed to train and test generalisable abduction over natural-language knowledge bases. We use these datasets to finetune pretrained Transformers and discuss their performance, finding that our models learned generalisable abductive techniques but also learned to exploit the structure of our data. Finally, we discuss the viability of this approach to abductive reasoning and ways in which it may be improved in future work.
• Abstract（参考訳）: トランスフォーマーは、最近、自然言語で表現された事実や規則に対する論理的推論を確実に行うことができることが示されているが、予期せぬ観察の最良の説明に対する推論である帰納的推論は、科学的発見、常識的推論、モデル解釈可能性への重要な応用にもかかわらず、過度に研究されている。 本稿では,自然言語知識ベース上での一般推論のトレーニングとテストを目的とした自然言語データセットであるAbductionRulesを紹介する。 これらのデータセットを使用して、トレーニング済みのトランスフォーマーを微調整し、それらのパフォーマンスについて議論し、私たちのモデルは一般的な誘引的テクニックを学びました。 最後に,帰納的推論に対するこのアプローチの有効性と,今後の作業で改善される可能性について考察する。

関連論文リスト

• A distributional simplicity bias in the learning dynamics of transformers [50.91742043564049]
  自然言語データに基づいてトレーニングされたトランスフォーマーは、単純さのバイアスも示している。 具体的には、入力トークン間の多体相互作用を逐次学習し、低次相互作用の予測誤差において飽和点に達する。 このアプローチは、自然言語処理などにおいて、データ内の異なる順序の相互作用が学習にどのように影響するかを研究する可能性を開く。
  論文  参考訳（メタデータ） (2024-10-25T15:39:34Z)
• Explaining Text Similarity in Transformer Models [52.571158418102584]
  説明可能なAIの最近の進歩により、トランスフォーマーの説明の改善を活用することで、制限を緩和できるようになった。 両線形類似性モデルにおける2次説明の計算のために開発された拡張であるBiLRPを用いて、NLPモデルにおいてどの特徴相互作用が類似性を促進するかを調べる。 我々の発見は、異なる意味的類似性タスクやモデルに対するより深い理解に寄与し、新しい説明可能なAIメソッドが、どのようにして深い分析とコーパスレベルの洞察を可能にするかを強調した。
  論文  参考訳（メタデータ） (2024-05-10T17:11:31Z)
• Explainability for Large Language Models: A Survey [59.67574757137078]
  大規模言語モデル(LLM)は、自然言語処理における印象的な能力を示している。 本稿では,トランスフォーマーに基づく言語モデルを記述する手法について,説明可能性の分類法を紹介した。
  論文  参考訳（メタデータ） (2023-09-02T22:14:26Z)
• Language Models as Inductive Reasoners [125.99461874008703]
  本稿では,帰納的推論のための新しいパラダイム(タスク)を提案し,自然言語の事実から自然言語規則を誘導する。 タスクのための1.2kルールファクトペアを含むデータセットDEERを作成し,ルールと事実を自然言語で記述する。 我々は、事前訓練された言語モデルが自然言語の事実から自然言語規則をいかに誘導できるかを、初めてかつ包括的な分析を行う。
  論文  参考訳（メタデータ） (2022-12-21T11:12:14Z)
• Can Transformers Reason in Fragments of Natural Language? [2.1485350418225244]
  自然言語処理(NLP)に対する最先端のディープラーニングベースのアプローチは、自然言語テキストによる推論を含むさまざまな能力で評価されている。 本研究では, 満足度の問題がますます複雑化する自然言語の制御断片における, 公式な有効推論の検出について検討する。
  論文  参考訳（メタデータ） (2022-11-10T08:46:53Z)
• Combining Transformers with Natural Language Explanations [13.167758466408825]
  本稿では,外部記憶を利用して自然言語記述を記憶し,それらを分類結果の説明に利用するトランスフォーマーモデルの拡張を提案する。 法的なテキスト分析と議論マイニングという2つの領域を実験的に評価し,分類性能を維持したり改善したりしながら,本手法が関連する説明を得られることを示す。
  論文  参考訳（メタデータ） (2021-09-02T09:17:04Z)
• Towards Interpretable Natural Language Understanding with Explanations as Latent Variables [146.83882632854485]
  そこで本研究では,人間に注釈付き説明文の小さなセットだけを必要とする自然言語理解の枠組みを構築した。 我々のフレームワークは、ニューラルネットワークの基本的な推論過程をモデル化する潜在変数として、自然言語の説明を扱う。
  論文  参考訳（メタデータ） (2020-10-24T02:05:56Z)
• Leap-Of-Thought: Teaching Pre-Trained Models to Systematically Reason Over Implicit Knowledge [96.92252296244233]
  大規模な事前学習言語モデル(LM)は推論能力を得るが、制御は困難である。 本研究では,暗黙的,事前学習された知識と明示的な自然言語文を併用して,体系的推論を確実に行うことができることを示す。 我々の研究は、シンプルな自然言語文を追加することで、モデルを簡単に修正できるユーザと対話することで、常に改善されるオープンドメインシステムへの道を開く。
  論文  参考訳（メタデータ） (2020-06-11T17:02:20Z)
• Transformers as Soft Reasoners over Language [33.291806251021185]
  本稿では,事実と規則を自然言語文として提供し,形式表現をバイパスする問題について検討する。 我々は、合成されたデータを用いて、これらの文に対する推論(または推論)をエミュレートするようにトランスフォーマーを訓練する。 RuleTakersと呼ばれる私たちのモデルは、この種の言語に対するソフトな推論が学習可能であるという、最初の実証的なデモンストレーションを提供します。
  論文  参考訳（メタデータ） (2020-02-14T04:23:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。