論文の概要: Learning to Decompose: Hypothetical Question Decomposition Based on Comparable Texts

• arxiv url: http://arxiv.org/abs/2210.16865v1
• Date: Sun, 30 Oct 2022 15:38:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-01 16:58:44.260337
• Title: Learning to Decompose: Hypothetical Question Decomposition Based on Comparable Texts
• Title（参考訳）: 分解学習:比較可能なテキストに基づく仮説的質問分解
• Authors: Ben Zhou and Kyle Richardson and Xiaodong Yu and Dan Roth
• Abstract要約: 本研究は,分解型変圧器の大規模中間訓練について,比較テキストから遠ざかって検討する。 このような中間的事前学習により、多様なタスクのための堅牢な分解ベースモデルの開発がより実現可能であることを示す。
• 参考スコア（独自算出の注目度）: 65.84370471189676
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Explicit decomposition modeling, which involves breaking down complex tasks into more straightforward and often more interpretable sub-tasks, has long been a central theme in developing robust and interpretable NLU systems. However, despite the many datasets and resources built as part of this effort, the majority have small-scale annotations and limited scope, which is insufficient to solve general decomposition tasks. In this paper, we look at large-scale intermediate pre-training of decomposition-based transformers using distant supervision from comparable texts, particularly large-scale parallel news. We show that with such intermediate pre-training, developing robust decomposition-based models for a diverse range of tasks becomes more feasible. For example, on semantic parsing, our model, DecompT5, improves 20% to 30% on two datasets, Overnight and TORQUE, over the baseline language model. We further use DecompT5 to build a novel decomposition-based QA system named DecompEntail, improving over state-of-the-art models, including GPT-3, on both HotpotQA and StrategyQA by 8% and 4%, respectively.
• Abstract（参考訳）: 複雑なタスクをより単純で、しばしば解釈可能なサブタスクに分解する明示的分解モデリングは、堅牢で解釈可能なNLUシステムの開発において長い間中心的なテーマであった。 しかし、この取り組みの一部として構築された多くのデータセットとリソースにもかかわらず、大多数は小規模のアノテーションと限定的なスコープを持ち、一般的な分解タスクを解決するには不十分である。 本稿では,分解型変圧器の大規模中間訓練について,比較テキスト,特に大規模並列ニュースから遠ざかって検討する。 このような中間事前学習により,多様なタスクに対するロバストな分解ベースモデルの開発がより実現可能となることを示す。 例えば、セマンティック解析において、私たちのモデルであるDecompT5は、ベースライン言語モデルよりも、OvernightとTORQUEの2つのデータセットで20%から30%改善します。 我々はさらに,新たな分解ベースのqaシステムであるdecompentailの構築にdecompt5を使用し,hotpotqaとstrategyqaの両方で,gpt-3を含む最先端モデルをそれぞれ8%,strategyqaを4%改善した。

関連論文リスト

• VLM2Vec: Training Vision-Language Models for Massive Multimodal Embedding Tasks [60.5257456681402]
  我々は、幅広い下流タスクを扱える普遍的な埋め込みモデルを構築している。 1 MMEB(Massive Multimodal Embedding Benchmark)は、4 つのメタタスク(分類、視覚的質問応答、マルチモーダル検索、視覚的グラウンド)と36 つのデータセット(20 のトレーニングと16 の評価データセットを含む)と、2 の VLM2Vec (Vision-Language Model -> Vector) を含む。
  論文  参考訳（メタデータ） (2024-10-07T16:14:05Z)
• Limits of Transformer Language Models on Learning to Compose Algorithms [77.2443883991608]
  我々は,LLaMAモデルのトレーニングと,複数の個別サブタスクの合成学習を必要とする4つのタスクにおけるGPT-4とGeminiの促進について検討した。 その結果,現在最先端のTransformer言語モデルにおける構成学習は,非常に非効率なサンプルであることが示唆された。
  論文  参考訳（メタデータ） (2024-02-08T16:23:29Z)
• Adaptive Message Passing: A General Framework to Mitigate Oversmoothing, Oversquashing, and Underreaching [23.487431014596556]
  長距離相互作用は、多くの科学分野における複雑なシステムの正しい記述に不可欠である。 ほとんどのディープグラフネットワークは、(同期)メッセージパッシングの固有の制限のため、実際には長距離依存をモデル化できません。 この研究は、これらの制限を緩和する一般的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-27T12:49:27Z)
• Building blocks for complex tasks: Robust generative event extraction for radiology reports under domain shifts [11.845850292404768]
  マルチパスT5ベースのテキスト・テキスト生成モデルでは、BERTベースのタスク固有分類層を用いた手法と比較して、試験モード間の一般化が優れていることを示す。 そこで我々は, 大規模コーパス処理を臨床応用に利用しやすくするため, モデルの推論コストを低減させる手法を開発した。
  論文  参考訳（メタデータ） (2023-06-15T23:16:58Z)
• Robustness Analysis on Foundational Segmentation Models [28.01242494123917]
  本研究では,セグメンテーションタスクのためのVisual Foundation Models (VFM) のロバストネス解析を行う。 2つの異なるデータセットを使用して、7つの最先端セグメンテーションアーキテクチャをベンチマークする。 VFMは、強靭性において不定形モデルをすべて上回るものではないにもかかわらず、圧縮誘起汚損に対する脆弱性を示し、マルチモーダルモデルはゼロショットシナリオにおける競争力を示し、VFMは特定の対象カテゴリに対して強靭性を示す。
  論文  参考訳（メタデータ） (2023-06-15T16:59:42Z)
• Part-Based Models Improve Adversarial Robustness [57.699029966800644]
  人間の事前知識とエンドツーエンドの学習を組み合わせることで、ディープニューラルネットワークの堅牢性を向上させることができることを示す。 我々のモデルは、部分分割モデルと小さな分類器を組み合わせて、オブジェクトを同時に部品に分割するようにエンドツーエンドに訓練されている。 実験の結果,これらのモデルによりテクスチャバイアスが低減され,一般的な汚職に対する堅牢性が向上し,相関が急上昇することが示唆された。
  論文  参考訳（メタデータ） (2022-09-15T15:41:47Z)
• Semantic-aware Modular Capsule Routing for Visual Question Answering [55.03883681191765]
  SuPER と呼ばれるセマンティック・アウェアな modUlar caPsulE フレームワークを提案する。 5つのベンチマークデータセットに対して提案した SUPER スキームの有効性と一般化能力を比較検討した。
  論文  参考訳（メタデータ） (2022-07-21T10:48:37Z)
• Joint Super-Resolution and Inverse Tone-Mapping: A Feature Decomposition Aggregation Network and A New Benchmark [0.0]
  本稿では,分解機構の潜在的なパワーを活用するために,FDAN(Feature Decomposition Aggregation Network)を提案する。 特に,特徴分解ブロック(FDB)を設計し,詳細と基本特徴マップの学習可能な分離を実現する。 また、SRITM-4K(SRITM-4K)という共同SR-ITMのための大規模データセットも収集し、堅牢なモデルトレーニングと評価のための汎用シナリオを提供する。
  論文  参考訳（メタデータ） (2022-07-07T15:16:36Z)
• Retrieve-and-Fill for Scenario-based Task-Oriented Semantic Parsing [110.4684789199555]
  シナリオベースのセマンティックパーシングを導入し、最初に発話の「scenario」を曖昧にする必要がある元のタスクの変種を紹介します。 この定式化により、タスクの粗くきめ細かな側面を分離することが可能となり、それぞれがオフザシェルフニューラルネットワークモジュールで解決される。 私たちのモデルはモジュール化され、差別化可能で、解釈可能で、シナリオから余分な監督を得られるようになります。
  論文  参考訳（メタデータ） (2022-02-02T08:00:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。