論文の概要: Dyna-bAbI: unlocking bAbI's potential with dynamic synthetic benchmarking

• arxiv url: http://arxiv.org/abs/2112.00086v1
• Date: Tue, 30 Nov 2021 20:36:56 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-02 13:30:38.515183
• Title: Dyna-bAbI: unlocking bAbI's potential with dynamic synthetic benchmarking
• Title（参考訳）: Dyna-bAbI:動的合成ベンチマークによるbAbIのロック解除の可能性
• Authors: Ronen Tamari, Kyle Richardson, Aviad Sar-Shalom, Noam Kahlon, Nelson Liu, Reut Tsarfaty, Dafna Shahaf
• Abstract要約: Dyna-bAbIは動的フレームワークであり、bAbIのタスク生成を細かく制御する。 構成一般化を必要とする3つの新しいタスクを構築することで、私たちのアイデアを実証する。
• 参考スコア（独自算出の注目度）: 16.109330335379962
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While neural language models often perform surprisingly well on natural language understanding (NLU) tasks, their strengths and limitations remain poorly understood. Controlled synthetic tasks are thus an increasingly important resource for diagnosing model behavior. In this work we focus on story understanding, a core competency for NLU systems. However, the main synthetic resource for story understanding, the bAbI benchmark, lacks such a systematic mechanism for controllable task generation. We develop Dyna-bAbI, a dynamic framework providing fine-grained control over task generation in bAbI. We demonstrate our ideas by constructing three new tasks requiring compositional generalization, an important evaluation setting absent from the original benchmark. We tested both special-purpose models developed for bAbI as well as state-of-the-art pre-trained methods, and found that while both approaches solve the original tasks (>99% accuracy), neither approach succeeded in the compositional generalization setting, indicating the limitations of the original training data. We explored ways to augment the original data, and found that though diversifying training data was far more useful than simply increasing dataset size, it was still insufficient for driving robust compositional generalization (with <70% accuracy for complex compositions). Our results underscore the importance of highly controllable task generators for creating robust NLU systems through a virtuous cycle of model and data development.
• Abstract（参考訳）: ニューラルネットワークモデルは、自然言語理解(NLU)タスクにおいて驚くほどよく機能するが、その強みと限界はよく理解されていない。 したがって、制御された合成タスクはモデル行動の診断にますます重要なリソースとなる。 本研究では,NLUシステムのコアコンピテンシーであるストーリ理解に焦点を当てる。 しかし、ストーリー理解のための主要な合成資源であるbAbIベンチマークは、制御可能なタスク生成のための体系的なメカニズムを欠いている。 我々は,bAbIにおけるタスク生成のきめ細かい制御を実現する動的フレームワークDyna-bAbIを開発した。 我々は,構成の一般化を必要とする3つの新しいタスクを構築することにより,本手法を実証する。 我々は,bAbI向けに開発された特殊目的モデルと最先端の事前訓練手法の両方を試験し,両手法が元の課題(>99%の精度)を解く一方で,いずれの手法も構成的一般化設定に成功せず,元の訓練データの限界を示した。 トレーニングデータの多様化は、単にデータセットのサイズを拡大するよりもはるかに有用であったが、頑健な構成一般化(複雑な合成に対して70%の精度で)を駆動するには不十分であることがわかった。 この結果から,モデルとデータ開発を多用した堅牢なNLUシステム構築における,高度に制御可能なタスクジェネレータの重要性が示唆された。

関連論文リスト

• Idempotent Unsupervised Representation Learning for Skeleton-Based Action Recognition [13.593511876719367]
  教師なし表現学習のための新しい骨格ベース等等化生成モデル(IGM)を提案する。 ベンチマークデータセットであるNTU RGB+DとPKUMMDに関する実験により,提案手法の有効性を実証した。
  論文  参考訳（メタデータ） (2024-10-27T06:29:04Z)
• Weak-to-Strong Reasoning [33.20094938292376]
  我々は、強力なモデルを自律的に訓練データを洗練させるプログレッシブラーニングフレームワークを導入する。 3つの弱いモデルを用いてLlama2-70bの推論能力を大幅に向上させる。 この作業は、AI推論能力を強化するための、よりスケーラブルで洗練された戦略の道を開くものだ。
  論文  参考訳（メタデータ） (2024-07-18T16:25:17Z)
• Building Minimal and Reusable Causal State Abstractions for Reinforcement Learning [63.58935783293342]
  Causal Bisimulation Modeling (CBM) は、各タスクのダイナミクスと報酬関数の因果関係を学習し、最小限のタスク固有の抽象化を導出する手法である。 CBMの学習された暗黙的ダイナミクスモデルは、明確なものよりも根底にある因果関係と状態抽象化を正確に識別する。
  論文  参考訳（メタデータ） (2024-01-23T05:43:15Z)
• End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes [52.818579746354665]
  本稿では,ニューラルネットワークを一般化し,トランスフォーマーアーキテクチャを用いて獲得関数を学習する,エンド・ツー・エンドの差別化可能な最初のメタBOフレームワークを提案する。 我々は、この強化学習(RL)によるエンドツーエンドのフレームワークを、ラベル付き取得データの欠如に対処できるようにします。
  論文  参考訳（メタデータ） (2023-05-25T10:58:46Z)
• STAR: Boosting Low-Resource Information Extraction by Structure-to-Text Data Generation with Large Language Models [56.27786433792638]
  STARは大規模言語モデル(LLM)を利用してデータインスタンスを合成するデータ生成手法である。 我々は、初期データインスタンスを取得するための詳細なステップバイステップ命令を設計する。 実験の結果,STARが生成したデータは,低リソースイベント抽出および関係抽出タスクの性能を著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2023-05-24T12:15:19Z)
• Towards Robust Dataset Learning [90.2590325441068]
  本稿では,頑健なデータセット学習問題を定式化するための三段階最適化法を提案する。 ロバストな特徴と非ロバストな特徴を特徴付ける抽象モデルの下で,提案手法はロバストなデータセットを確実に学習する。
  論文  参考訳（メタデータ） (2022-11-19T17:06:10Z)
• CorpusBrain: Pre-train a Generative Retrieval Model for Knowledge-Intensive Language Tasks [62.22920673080208]
  単一ステップ生成モデルは、検索プロセスを劇的に単純化し、エンドツーエンドで最適化することができる。 我々は、事前学習された生成検索モデルをCorpsBrainと名付け、コーパスに関する全ての情報が、追加のインデックスを構築することなく、そのパラメータにエンコードされる。
  論文  参考訳（メタデータ） (2022-08-16T10:22:49Z)
• Syntactic and Semantic-driven Learning for Open Information Extraction [42.65591370263333]
  正確で高カバレッジのニューラルオープンIEシステムを構築する上で最大のボトルネックの1つは、大きなラベル付きコーパスの必要性である。 そこで本研究では,人間に反するデータを使わずにオープンなIEモデルを学習するシンタクティクスとセマンティック駆動型学習手法を提案する。
  論文  参考訳（メタデータ） (2021-03-05T02:59:40Z)
• Stronger, Faster and More Explainable: A Graph Convolutional Baseline for Skeleton-based Action Recognition [22.90127409366107]
  グラフ畳み込みネットワーク(GCN)に基づく効率的だが強力なベースラインを提案する。 畳み込みニューラルネットワーク(CNN)におけるResNetアーキテクチャの成功に触発されたResGCNモジュールがGCNで導入された。 PartAttブロックは、アクションシーケンス全体の上で最も重要な身体部分を発見するために提案される。
  論文  参考訳（メタデータ） (2020-10-20T02:56:58Z)
• Deep Imitation Learning for Bimanual Robotic Manipulation [70.56142804957187]
  本稿では,ロボットによるバイマニュアル操作のための深層模倣学習フレームワークを提案する。 中心となる課題は、操作スキルを異なる場所にあるオブジェクトに一般化することである。 i)マルチモーダルダイナミクスを要素運動プリミティブに分解し、(ii)リカレントグラフニューラルネットワークを用いて各プリミティブをパラメータ化して相互作用を捕捉し、(iii)プリミティブを逐次的に構成する高レベルプランナと、プリミティブダイナミクスと逆運動学制御を組み合わせた低レベルコントローラを統合することを提案する。
  論文  参考訳（メタデータ） (2020-10-11T01:40:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。