論文の概要: Breakpoint Transformers for Modeling and Tracking Intermediate Beliefs

• arxiv url: http://arxiv.org/abs/2211.07950v1
• Date: Tue, 15 Nov 2022 07:28:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-16 14:26:07.013999
• Title: Breakpoint Transformers for Modeling and Tracking Intermediate Beliefs
• Title（参考訳）: 中間信念のモデル化と追跡のためのブレークポイントトランスフォーマー
• Authors: Kyle Richardson, Ronen Tamari, Oren Sultan, Reut Tsarfaty, Dafna Shahaf, Ashish Sabharwal
• Abstract要約: 本稿では,ブレークポイントモデリングと呼ばれる表現学習フレームワークを提案する。 私たちのアプローチは、中間表現を構築するために、効率的でエンドツーエンドの方法でモデルをトレーニングします。 我々は,従来の表現学習手法よりも,T5に基づく主要なブレークポイント変換器の利点を示す。
• 参考スコア（独自算出の注目度）: 37.754787051387034
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Can we teach natural language understanding models to track their beliefs through intermediate points in text? We propose a representation learning framework called breakpoint modeling that allows for learning of this type. Given any text encoder and data marked with intermediate states (breakpoints) along with corresponding textual queries viewed as true/false propositions (i.e., the candidate beliefs of a model, consisting of information changing through time) our approach trains models in an efficient and end-to-end fashion to build intermediate representations that facilitate teaching and direct querying of beliefs at arbitrary points alongside solving other end tasks. To show the benefit of our approach, we experiment with a diverse set of NLU tasks including relational reasoning on CLUTRR and narrative understanding on bAbI. Using novel belief prediction tasks for both tasks, we show the benefit of our main breakpoint transformer, based on T5, over conventional representation learning approaches in terms of processing efficiency, prediction accuracy and prediction consistency, all with minimal to no effect on corresponding QA end tasks. To show the feasibility of incorporating our belief tracker into more complex reasoning pipelines, we also obtain SOTA performance on the three-tiered reasoning challenge for the TRIP benchmark (around 23-32% absolute improvement on Tasks 2-3).
• Abstract（参考訳）: テキストの中間点を通じて、自然言語理解モデルに彼らの信念を追跡するよう教えられるか? 本稿では,このタイプの学習を可能にするブレークポイントモデリングという表現学習フレームワークを提案する。 テキストエンコーダと中間状態(ブレークポイント)でマークされたデータと、真/偽命題と見なされるテキストクエリ(すなわち、時間を通じて変化する情報からなるモデルの候補信念)が与えられた場合、我々のアプローチは、モデルを効率的かつエンドツーエンドの方法で訓練し、他のエンドタスクを解決しながら、任意のポイントにおける信念の指導と直接の問い合わせを容易にする中間表現を構築する。 提案手法の利点を示すために,CLUTRR上の関係推論やbAbIに関する物語理解など,多種多様なNLUタスクを実験した。 両タスクに新しい信念予測タスクを用いることで,処理効率,予測精度,予測整合性といった従来の表現学習手法よりも,T5に基づく主要なブレークポイント変換器の利点を享受できる。 信念トラッカをより複雑な推論パイプラインに組み込むことの実現可能性を示すため、TRIPベンチマークの3段階の推論課題(タスク2-3では23～32%の絶対的な改善)において、SOTAのパフォーマンスを得る。

関連論文リスト

• Investigating the Efficacy of Large Language Models in Reflective Assessment Methods through Chain of Thoughts Prompting [0.2552922646705803]
  複雑な推論タスクにおけるLLMの習熟度を高める手段として、Chain of Thought(CoT)プロンプト法が提案されている。 本研究の主な目的は、4つの言語モデルが3年制医学生の振り返りエッセイをいかに評価できるかを評価することである。
  論文  参考訳（メタデータ） (2023-09-30T06:25:27Z)
• Effective Cross-Task Transfer Learning for Explainable Natural Language Inference with T5 [50.574918785575655]
  2つのタスクのパフォーマンス向上という文脈において、逐次微調整とマルチタスク学習のモデルを比較した。 この結果から,2つのタスクのうち,第1のタスクにおいて逐次マルチタスク学習は良好に調整できるが,第2のタスクでは性能が低下し,過度な適合に苦しむことが明らかとなった。
  論文  参考訳（メタデータ） (2022-10-31T13:26:08Z)
• Task Formulation Matters When Learning Continually: A Case Study in Visual Question Answering [58.82325933356066]
  継続的な学習は、以前の知識を忘れずに、一連のタスクでモデルを漸進的にトレーニングすることを目的としている。 本稿では,視覚的質問応答において,異なる設定がパフォーマンスに与える影響について詳細に検討する。
  論文  参考訳（メタデータ） (2022-09-30T19:12:58Z)
• Unifying Language Learning Paradigms [96.35981503087567]
  データセットやセットアップ全体にわたって普遍的に有効である事前学習モデルのための統一的なフレームワークを提案する。 本研究では, 事前学習対象を相互に配置し, 異なる対象間の補間を効果的に行う方法を示す。 また,テキスト内学習において,ゼロショットSuperGLUEで175B GPT-3,ワンショット要約でT5-XXLの性能を3倍に向上させた。
  論文  参考訳（メタデータ） (2022-05-10T19:32:20Z)
• The Unreliability of Explanations in Few-Shot In-Context Learning [50.77996380021221]
  我々は、テキスト上の推論、すなわち質問応答と自然言語推論を含む2つのNLPタスクに焦点を当てる。 入力と論理的に整合した説明は、通常より正確な予測を示す。 本稿では,説明の信頼性に基づいてモデル予測を校正する枠組みを提案する。
  論文  参考訳（メタデータ） (2022-05-06T17:57:58Z)
• Distant finetuning with discourse relations for stance classification [55.131676584455306]
  そこで本研究では,定位分類のモデルとして,原文から銀ラベルでデータを抽出し,微調整する手法を提案する。 また,様々な段階において微調整に用いるデータのノイズレベルが減少する3段階のトレーニングフレームワークを提案する。 NLPCC 2021共有タスクArgumentative Text Understanding for AI Debaterでは,26の競合チームの中で1位にランクインした。
  論文  参考訳（メタデータ） (2022-04-27T04:24:35Z)
• Fair Representation Learning using Interpolation Enabled Disentanglement [9.043741281011304]
  a) 下流タスクに対する学習された表現の有用性を確保しつつ、公平な不整合表現を同時に学べるか、(b) 提案手法が公正かつ正確であるかどうかに関する理論的知見を提供する。 前者に対応するために,補間可能外乱を用いた公正表現学習法FRIEDを提案する。
  論文  参考訳（メタデータ） (2021-07-31T17:32:12Z)
• Turning Tables: Generating Examples from Semi-structured Tables for Endowing Language Models with Reasoning Skills [32.55545292360155]
  本稿では,半構造化テーブルを活用し,大規模質問とパラグラフのペアを自動的に生成する手法を提案する。 16種類の推論スキルを必要とする例を含む、この合成データに対する事前学習のステップを追加します。 我々のモデルであるPReasMは、トレーニング済みエンコーダ-デコーダモデルであるT5を大幅に上回っていることを示す。
  論文  参考訳（メタデータ） (2021-07-15T11:37:14Z)
• Function Contrastive Learning of Transferable Meta-Representations [38.31692245188669]
  共同訓練がメタ表現の伝達性に及ぼす影響について検討した。 教師付きメタ学習のためのデカップリングエンコーダデコーダアプローチを提案する。
  論文  参考訳（メタデータ） (2020-10-14T13:50:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。