論文の概要: Learning to Decompose: Hypothetical Question Decomposition Based on
Comparable Texts
- arxiv url: http://arxiv.org/abs/2210.16865v1
- Date: Sun, 30 Oct 2022 15:38:03 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-01 16:58:44.260337
- Title: Learning to Decompose: Hypothetical Question Decomposition Based on
Comparable Texts
- Title(参考訳): 分解学習:比較可能なテキストに基づく仮説的質問分解
- Authors: Ben Zhou and Kyle Richardson and Xiaodong Yu and Dan Roth
- Abstract要約: 本研究は,分解型変圧器の大規模中間訓練について,比較テキストから遠ざかって検討する。
このような中間的事前学習により、多様なタスクのための堅牢な分解ベースモデルの開発がより実現可能であることを示す。
- 参考スコア(独自算出の注目度): 65.84370471189676
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Explicit decomposition modeling, which involves breaking down complex tasks
into more straightforward and often more interpretable sub-tasks, has long been
a central theme in developing robust and interpretable NLU systems. However,
despite the many datasets and resources built as part of this effort, the
majority have small-scale annotations and limited scope, which is insufficient
to solve general decomposition tasks. In this paper, we look at large-scale
intermediate pre-training of decomposition-based transformers using distant
supervision from comparable texts, particularly large-scale parallel news. We
show that with such intermediate pre-training, developing robust
decomposition-based models for a diverse range of tasks becomes more feasible.
For example, on semantic parsing, our model, DecompT5, improves 20% to 30% on
two datasets, Overnight and TORQUE, over the baseline language model. We
further use DecompT5 to build a novel decomposition-based QA system named
DecompEntail, improving over state-of-the-art models, including GPT-3, on both
HotpotQA and StrategyQA by 8% and 4%, respectively.
- Abstract(参考訳): 複雑なタスクをより単純で、しばしば解釈可能なサブタスクに分解する明示的分解モデリングは、堅牢で解釈可能なNLUシステムの開発において長い間中心的なテーマであった。
しかし、この取り組みの一部として構築された多くのデータセットとリソースにもかかわらず、大多数は小規模のアノテーションと限定的なスコープを持ち、一般的な分解タスクを解決するには不十分である。
本稿では,分解型変圧器の大規模中間訓練について,比較テキスト,特に大規模並列ニュースから遠ざかって検討する。
このような中間事前学習により,多様なタスクに対するロバストな分解ベースモデルの開発がより実現可能となることを示す。
例えば、セマンティック解析において、私たちのモデルであるDecompT5は、ベースライン言語モデルよりも、OvernightとTORQUEの2つのデータセットで20%から30%改善します。
我々はさらに,新たな分解ベースのqaシステムであるdecompentailの構築にdecompt5を使用し,hotpotqaとstrategyqaの両方で,gpt-3を含む最先端モデルをそれぞれ8%,strategyqaを4%改善した。
関連論文リスト
- Adaptive Message Passing: A General Framework to Mitigate Oversmoothing,
Oversquashing, and Underreaching [24.887653505233036]
長距離相互作用は、多くの科学分野における複雑なシステムの正しい記述に不可欠である。
ほとんどのディープグラフネットワークは、(同期)メッセージパッシングの固有の制限のため、実際には長距離依存をモデル化できません。
この研究は、これらの制限を緩和する一般的なフレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-27T12:49:27Z) - Building blocks for complex tasks: Robust generative event extraction
for radiology reports under domain shifts [11.845850292404768]
マルチパスT5ベースのテキスト・テキスト生成モデルでは、BERTベースのタスク固有分類層を用いた手法と比較して、試験モード間の一般化が優れていることを示す。
そこで我々は, 大規模コーパス処理を臨床応用に利用しやすくするため, モデルの推論コストを低減させる手法を開発した。
論文 参考訳(メタデータ) (2023-06-15T23:16:58Z) - Robustness Analysis on Foundational Segmentation Models [13.415144081943513]
モデルはしばしば、分類、オブジェクト検出、セグメンテーションといったさまざまな下流タスクに適応し、ターゲットデータセットでほとんどトレーニングされない。
我々は、COCOとADE20Kという2つの異なるデータセットを使用して、4つの最先端セグメンテーションアーキテクチャをベンチマークした。
我々は,(1)VFMは圧縮による汚損に対して堅牢ではないこと,(2)選択されたVFMは非VFMモデルに比べて顕著に性能が向上したり堅牢性を示したりしないが,ゼロショット評価では競争的に堅牢であること,などの興味深い洞察を得た。
論文 参考訳(メタデータ) (2023-06-15T16:59:42Z) - Part-Based Models Improve Adversarial Robustness [57.699029966800644]
人間の事前知識とエンドツーエンドの学習を組み合わせることで、ディープニューラルネットワークの堅牢性を向上させることができることを示す。
我々のモデルは、部分分割モデルと小さな分類器を組み合わせて、オブジェクトを同時に部品に分割するようにエンドツーエンドに訓練されている。
実験の結果,これらのモデルによりテクスチャバイアスが低減され,一般的な汚職に対する堅牢性が向上し,相関が急上昇することが示唆された。
論文 参考訳(メタデータ) (2022-09-15T15:41:47Z) - Semantic-aware Modular Capsule Routing for Visual Question Answering [55.03883681191765]
SuPER と呼ばれるセマンティック・アウェアな modUlar caPsulE フレームワークを提案する。
5つのベンチマークデータセットに対して提案した SUPER スキームの有効性と一般化能力を比較検討した。
論文 参考訳(メタデータ) (2022-07-21T10:48:37Z) - Joint Super-Resolution and Inverse Tone-Mapping: A Feature Decomposition
Aggregation Network and A New Benchmark [0.0]
本稿では,分解機構の潜在的なパワーを活用するために,FDAN(Feature Decomposition Aggregation Network)を提案する。
特に,特徴分解ブロック(FDB)を設計し,詳細と基本特徴マップの学習可能な分離を実現する。
また、SRITM-4K(SRITM-4K)という共同SR-ITMのための大規模データセットも収集し、堅牢なモデルトレーニングと評価のための汎用シナリオを提供する。
論文 参考訳(メタデータ) (2022-07-07T15:16:36Z) - Retrieve-and-Fill for Scenario-based Task-Oriented Semantic Parsing [110.4684789199555]
シナリオベースのセマンティックパーシングを導入し、最初に発話の「scenario」を曖昧にする必要がある元のタスクの変種を紹介します。
この定式化により、タスクの粗くきめ細かな側面を分離することが可能となり、それぞれがオフザシェルフニューラルネットワークモジュールで解決される。
私たちのモデルはモジュール化され、差別化可能で、解釈可能で、シナリオから余分な監督を得られるようになります。
論文 参考訳(メタデータ) (2022-02-02T08:00:21Z) - X2Parser: Cross-Lingual and Cross-Domain Framework for Task-Oriented
Compositional Semantic Parsing [51.81533991497547]
タスク指向コンポジションセマンティックパーシング(TCSP)は複雑なネストされたユーザクエリを処理する。
本報告では,TCSPの変換可能なクロスランガルとクロスドメインを比較した。
本稿では,フラット化意図とスロット表現を別々に予測し,両方の予測タスクをシーケンスラベリング問題にキャストすることを提案する。
論文 参考訳(メタデータ) (2021-06-07T16:40:05Z) - Text Modular Networks: Learning to Decompose Tasks in the Language of
Existing Models [61.480085460269514]
本稿では,既存のモデルで解けるより単純なモデルに分解することで,複雑なタスクを解くための解釈可能なシステムを構築するためのフレームワークを提案する。
我々はこのフレームワークを用いて、ニューラルネットワークのファクトイド単一スパンQAモデルとシンボリック電卓で答えられるサブクエストに分解することで、マルチホップ推論問題に答えられるシステムであるModularQAを構築する。
論文 参考訳(メタデータ) (2020-09-01T23:45:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。