論文の概要: ORCHARD: A Benchmark For Measuring Systematic Generalization of Multi-Hierarchical Reasoning

• arxiv url: http://arxiv.org/abs/2111.14034v1
• Date: Sun, 28 Nov 2021 03:11:37 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-02 09:31:34.113954
• Title: ORCHARD: A Benchmark For Measuring Systematic Generalization of Multi-Hierarchical Reasoning
• Title（参考訳）: ORCHARD:多階層推論の体系的一般化のベンチマーク
• Authors: Bill Tuck Weng Pung, Alvin Chan
• Abstract要約: 本稿では,Transformer と LSTM のモデルが体系的一般化において驚くほど失敗することを示す。 また、階層間の参照の増加に伴い、Transformerはランダムにしか動作しないことを示す。
• 参考スコア（独自算出の注目度）: 8.004425059996963
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The ability to reason with multiple hierarchical structures is an attractive and desirable property of sequential inductive biases for natural language processing. Do the state-of-the-art Transformers and LSTM architectures implicitly encode for these biases? To answer this, we propose ORCHARD, a diagnostic dataset for systematically evaluating hierarchical reasoning in state-of-the-art neural sequence models. While there have been prior evaluation frameworks such as ListOps or Logical Inference, our work presents a novel and more natural setting where our models learn to reason with multiple explicit hierarchical structures instead of only one, i.e., requiring the ability to do both long-term sequence memorizing, relational reasoning while reasoning with hierarchical structure. Consequently, backed by a set of rigorous experiments, we show that (1) Transformer and LSTM models surprisingly fail in systematic generalization, and (2) with increased references between hierarchies, Transformer performs no better than random.
• Abstract（参考訳）: 複数の階層構造で推論する能力は、自然言語処理における逐次帰納バイアスの魅力と望ましい性質である。 最先端のトランスフォーマーとLSTMアーキテクチャは、これらのバイアスを暗黙的にエンコードしているか? そこで本研究では,最先端ニューラルシーケンスモデルの階層的推論を体系的に評価する診断データセットであるorchardを提案する。 listopsや論理推論のような事前評価フレームワークはありましたが、私たちの研究は、モデルが複数の明示的な階層構造ではなく、複数の階層構造を推論することを学ぶための、新しい、より自然な設定を提示しています。 その結果,(1)変圧器とlstmのモデルが系統的一般化において驚くほど失敗し,(2)階層間の参照が増加すると,変圧器はランダムに動作しないことが示された。

関連論文リスト

• Integrating Hierarchical Semantic into Iterative Generation Model for Entailment Tree Explanation [7.5496857647335585]
  本稿では,HiSCG (Controller-Generator) の枠組みに基づいて文の階層的意味論を統合するアーキテクチャを提案する。 提案手法はEntailmentBankデータセットの3つの設定で同等のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2024-09-26T11:46:58Z)
• Learning Syntax Without Planting Trees: Understanding When and Why Transformers Generalize Hierarchically [74.96551626420188]
  自然言語データに基づいて訓練されたトランスフォーマーは、その階層構造を学習し、目に見えない構文構造を持つ文に一般化することが示されている。 本研究では,変圧器モデルにおける帰納バイアスの発生源と,そのような一般化行動を引き起こす可能性のあるトレーニングについて検討する。
  論文  参考訳（メタデータ） (2024-04-25T07:10:29Z)
• Inducing Systematicity in Transformers by Attending to Structurally Quantized Embeddings [60.698130703909804]
  トランスフォーマーは、複雑なデータセットでトレーニングされた後、構造と実体の新規な構成に一般化する。 本稿では,SQ-Transformerを提案する。 SQ-Transformerは,複数の低複雑さ意味解析および機械翻訳データセット上で,バニラ変換器よりも強い構成一般化を実現することを示す。
  論文  参考訳（メタデータ） (2024-02-09T15:53:15Z)
• Improving Grammar-based Sequence-to-Sequence Modeling with Decomposition and Constraints [30.219318352970948]
  より高速な推論のための2つの低ランクなニューラルネットワークQCFGについて検討する。 木階層とソースカバレッジに対する2つのソフト制約を導入します。 我々のモデルは、ほとんどの設定でバニラニューラルQCFGよりも優れています。
  論文  参考訳（メタデータ） (2023-06-05T08:05:05Z)
• Query Structure Modeling for Inductive Logical Reasoning Over Knowledge Graphs [67.043747188954]
  KGに対する帰納的論理的推論のための構造モデル付きテキスト符号化フレームワークを提案する。 線形化されたクエリ構造とエンティティを、事前訓練された言語モデルを使ってエンコードして、回答を見つける。 2つの帰納的論理推論データセットと3つの帰納的推論データセットについて実験を行った。
  論文  参考訳（メタデータ） (2023-05-23T01:25:29Z)
• Mutual Exclusivity Training and Primitive Augmentation to Induce Compositionality [84.94877848357896]
  最近のデータセットは、標準的なシーケンス・ツー・シーケンスモデルにおける体系的な一般化能力の欠如を露呈している。 本稿では,セq2seqモデルの振る舞いを分析し,相互排他バイアスの欠如と全例を記憶する傾向の2つの要因を同定する。 広範に使用されている2つの構成性データセット上で、標準的なシーケンス・ツー・シーケンスモデルを用いて、経験的改善を示す。
  論文  参考訳（メタデータ） (2022-11-28T17:36:41Z)
• H-Transformer-1D: Fast One-Dimensional Hierarchical Attention for Sequences [16.59989033959959]
  本稿では,トランスフォーマーアーキテクチャにおける注目度を計算するための効率的な階層的手法について述べる。 提案手法は,Long Range Arenaベンチマークにおいて,平均で+6点以上の代替準四進法よりも優れている。 また、One-Billion Wordデータセットに新しいSOTAテストパープレキシティを設定し、5倍のモデルパラメータを前回のベストなTransformerベースのモデルと比較する。
  論文  参考訳（メタデータ） (2021-07-25T23:07:03Z)
• Structured Reordering for Modeling Latent Alignments in Sequence Transduction [86.94309120789396]
  本稿では,分離可能な置換の辺りを正確に推定する効率的な動的プログラミングアルゴリズムを提案する。 結果のSeq2seqモデルは、合成問題やNLPタスクの標準モデルよりも体系的な一般化が優れている。
  論文  参考訳（メタデータ） (2021-06-06T21:53:54Z)
• Tree-structured Attention with Hierarchical Accumulation [103.47584968330325]
  階層的累積」は解析木構造を一定時間複雑度で自己注意に符号化する。 提案手法は,4つの IWSLT 翻訳タスクと WMT'14 翻訳タスクにおいて,SOTA 法より優れている。
  論文  参考訳（メタデータ） (2020-02-19T08:17:00Z)
• Does syntax need to grow on trees? Sources of hierarchical inductive bias in sequence-to-sequence networks [28.129220683169052]
  ニューラルネットワークモデルでは、帰納バイアスは理論上モデルアーキテクチャのあらゆる側面から生じる可能性がある。 2つの構文的タスクで訓練されたニューラルシークエンス・ツー・シーケンスモデルの一般化挙動にどのようなアーキテクチャ的要因が影響を及ぼすかを検討する。
  論文  参考訳（メタデータ） (2020-01-10T19:02:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。