Fugu-MT 論文翻訳(概要): Can Transformers Reason in Fragments of Natural Language?

論文の概要: Can Transformers Reason in Fragments of Natural Language?

arxiv url: http://arxiv.org/abs/2211.05417v1
Date: Thu, 10 Nov 2022 08:46:53 GMT
ステータス: 処理完了
システム内更新日: 2022-11-11 14:19:27.010908
Title: Can Transformers Reason in Fragments of Natural Language?
Title（参考訳）: トランスフォーマーは自然言語のフラグメントに推論できるのか?
Authors: Viktor Schlegel, Kamen V. Pavlov, Ian Pratt-Hartmann
Abstract要約: 自然言語処理(NLP)に対する最先端のディープラーニングベースのアプローチは、自然言語テキストによる推論を含むさまざまな能力で評価されている。本研究では, 満足度の問題がますます複雑化する自然言語の制御断片における, 公式な有効推論の検出について検討する。
参考スコア（独自算出の注目度）: 2.1485350418225244
License: http://creativecommons.org/licenses/by/4.0/
Abstract: State-of-the-art deep-learning-based approaches to Natural Language Processing (NLP) are credited with various capabilities that involve reasoning with natural language texts. In this paper we carry out a large-scale empirical study investigating the detection of formally valid inferences in controlled fragments of natural language for which the satisfiability problem becomes increasingly complex. We find that, while transformer-based language models perform surprisingly well in these scenarios, a deeper analysis re-veals that they appear to overfit to superficial patterns in the data rather than acquiring the logical principles governing the reasoning in these fragments.
Abstract（参考訳）: 自然言語処理(nlp)に対する最先端のディープラーニングベースのアプローチは、自然言語テキストの推論に関わるさまざまな機能を備えている。本稿では, 満足度問題がますます複雑化する自然言語の制御された断片における形式的正当な推論の検出について, 大規模実証研究を行う。トランスフォーマーベースの言語モデルはこれらのシナリオでは驚くほどうまく機能するが、より深い分析では、これらのフラグメントの推論を論理的に規定するよりも、データ内の表面的なパターンに過度に適合しているようである。

関連論文リスト

Explaining Text Similarity in Transformer Models [52.571158418102584]
説明可能なAIの最近の進歩により、トランスフォーマーの説明の改善を活用することで、制限を緩和できるようになった。両線形類似性モデルにおける2次説明の計算のために開発された拡張であるBiLRPを用いて、NLPモデルにおいてどの特徴相互作用が類似性を促進するかを調べる。我々の発見は、異なる意味的類似性タスクやモデルに対するより深い理解に寄与し、新しい説明可能なAIメソッドが、どのようにして深い分析とコーパスレベルの洞察を可能にするかを強調した。
論文参考訳（メタデータ） (2024-05-10T17:11:31Z)
Empower Nested Boolean Logic via Self-Supervised Curriculum Learning [67.46052028752327]
大規模言語モデルを含む事前学習された言語モデルは、多言語論理に直面するランダムセレクタのように振る舞う。この基本的能力で言語モデルを強化するために,本稿では,新たな自己教師付き学習手法であるtextitCurriculum Logical Reasoning (textscClr) を提案する。
論文参考訳（メタデータ） (2023-10-09T06:54:02Z)
Evaluating Transformer's Ability to Learn Mildly Context-Sensitive Languages [6.227678387562755]
近年の研究では、非正規言語や文脈自由言語でさえ、自己意識は理論的に学習に限られていることが示唆されている。様々な複雑さの文脈に敏感な言語を学習するトランスフォーマーの能力をテストする。分析の結果,学習した自己注意パターンと表現が依存性関係をモデル化し,計数行動を示した。
論文参考訳（メタデータ） (2023-09-02T08:17:29Z)
Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
論文参考訳（メタデータ） (2022-10-14T02:35:19Z)
Color Overmodification Emerges from Data-Driven Learning and Pragmatic Reasoning [53.088796874029974]
話者の指示表現は、実践的な言語使用の性質を照らし出すのに役立つ方法で、コミュニケーションイデアルから逸脱していることを示す。ニューラルネットワークを学習エージェントとして採用することにより、過度な修正は、頻度の低い、あるいは正常な環境特性に結びつく可能性が高いことを示す。
論文参考訳（メタデータ） (2022-05-18T18:42:43Z)
AbductionRules: Training Transformers to Explain Unexpected Inputs [2.2630663834223763]
AbductionRulesは、自然言語の知識ベース上で一般的な推論を訓練し、テストするために設計されたデータセットのグループです。本稿では,帰納的推論へのこのアプローチの適用可能性と今後の作業で改善される可能性について論じる。
論文参考訳（メタデータ） (2022-03-23T04:18:30Z)
A Latent-Variable Model for Intrinsic Probing [93.62808331764072]
固有プローブ構築のための新しい潜在変数定式化を提案する。我々は、事前訓練された表現が言語間交互に絡み合ったモルフォシンタクスの概念を発達させる経験的証拠を見出した。
論文参考訳（メタデータ） (2022-01-20T15:01:12Z)
Uncovering More Shallow Heuristics: Probing the Natural Language Inference Capacities of Transformer-Based Pre-Trained Language Models Using Syllogistic Patterns [9.031827448667086]
我々は、自然言語推論(NLI)のために微調整されたトランスフォーマーベース事前学習言語モデル(PLM)が使用する浅瀬を探索する。モデルが特定の浅瀬に強く依存していることの証拠を見つけ、前提と仮説の間の対称性と対称性を拾い上げる。
論文参考訳（メタデータ） (2022-01-19T14:15:41Z)
Pushing the Limits of Rule Reasoning in Transformers through Natural Language Satisfiability [30.01308882849197]
本稿では,アルゴリズム推論データセットを作成するための新しい手法を提案する。鍵となる考え方は、ハードプロポーズSAT問題の経験的なサンプリングや、言語に関する複雑性理論的な研究から洞察を得ることである。十分なトレーニングデータを得た現在のトランスフォーマーは、結果のNLSat問題を解決するのに驚くほど堅牢であることがわかった。
論文参考訳（メタデータ） (2021-12-16T17:47:20Z)
On the Transferability of Neural Models of Morphological Analogies [7.89271130004391]
本稿では,形態的課題に焦点をあて,形態的類似を検出するための深層学習手法を提案する。我々は、我々のフレームワークが言語間でどのように移行するかを示す実証的研究を行い、これらの言語間の興味深い類似点と相違点を強調します。これらの結果を踏まえ、多言語形態モデルの構築の可能性についても論じる。
論文参考訳（メタデータ） (2021-08-09T11:08:33Z)
Unnatural Language Inference [48.45003475966808]
我々は、RoBERTaやBARTのような最先端のNLIモデルは、ランダムに並べ替えられた単語の例に不変であり、時にはよりよく機能することさえあります。我々の発見は、自然言語理解モデルと、その進捗を測定するために使われるタスクが、本当に人間のような構文理解を必要とするという考えに疑問を投げかけている。
論文参考訳（メタデータ） (2020-12-30T20:40:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。