論文の概要: Exploring Continual Learning of Compositional Generalization in NLI

• arxiv url: http://arxiv.org/abs/2403.04400v2
• Date: Thu, 25 Jul 2024 19:32:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-29 18:11:46.460411
• Title: Exploring Continual Learning of Compositional Generalization in NLI
• Title（参考訳）: NLIにおける構成一般化の継続的な学習の探索
• Authors: Xiyan Fu, Anette Frank,
• Abstract要約: 本稿では,C2Gen NLI(Continuous Composal Generalization in Inference)の課題を紹介する。 モデルは、合成推論の基礎として原始推論タスクを構成する知識を継続的に取得する。 分析の結果,依存関係を観察しながらサブタスクを継続的に学習し,難易度を増大させることで,連続学習が構成一般化能力を高めることが示唆された。
• 参考スコア（独自算出の注目度）: 24.683598294766774
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Compositional Natural Language Inference has been explored to assess the true abilities of neural models to perform NLI. Yet, current evaluations assume models to have full access to all primitive inferences in advance, in contrast to humans that continuously acquire inference knowledge. In this paper, we introduce the Continual Compositional Generalization in Inference (C2Gen NLI) challenge, where a model continuously acquires knowledge of constituting primitive inference tasks as a basis for compositional inferences. We explore how continual learning affects compositional generalization in NLI, by designing a continual learning setup for compositional NLI inference tasks. Our experiments demonstrate that models fail to compositionally generalize in a continual scenario. To address this problem, we first benchmark various continual learning algorithms and verify their efficacy. We then further analyze C2Gen, focusing on how to order primitives and compositional inference types and examining correlations between subtasks. Our analyses show that by learning subtasks continuously while observing their dependencies and increasing degrees of difficulty, continual learning can enhance composition generalization ability.
• Abstract（参考訳）: 合成自然言語推論は、ニューラルモデルがNLIを実行する真の能力を評価するために研究されている。 しかし、現在の評価では、推論知識を継続的に取得する人間とは対照的に、モデルが事前にすべてのプリミティブ推論への完全なアクセスを前提としている。 本稿では,C2Gen NLI(Continuous Composal Generalization in Inference)課題について紹介する。 連続学習がNLIの合成一般化にどう影響するかを,構成的NLI推論タスクのための連続学習設定を設計することによって検討する。 実験により,モデルが連続的なシナリオにおいて構成的一般化に失敗することを示した。 この問題に対処するために、まず様々な連続学習アルゴリズムをベンチマークし、その有効性を検証する。 さらにC2Genを解析し、プリミティブとコンポジション推論型の順序付け、サブタスク間の相関について検討する。 分析の結果,依存関係を観察しながらサブタスクを継続的に学習し,難易度を増大させることで,連続学習が構成一般化能力を高めることが示唆された。

関連論文リスト

• Dynamic Post-Hoc Neural Ensemblers [55.15643209328513]
  本研究では,ニューラルネットワークをアンサンブル手法として活用することを検討する。 低多様性のアンサンブルを学習するリスクを動機として,ベースモデル予測をランダムにドロップすることでモデルの正規化を提案する。 このアプローチはアンサンブル内の多様性を低くし、オーバーフィッティングを減らし、一般化能力を向上させる。
  論文  参考訳（メタデータ） (2024-10-06T15:25:39Z)
• How Well Do Text Embedding Models Understand Syntax? [50.440590035493074]
  テキスト埋め込みモデルが幅広い構文的文脈にまたがって一般化する能力は、まだ解明されていない。 その結果,既存のテキスト埋め込みモデルは,これらの構文的理解課題に十分対応していないことが明らかとなった。 多様な構文シナリオにおけるテキスト埋め込みモデルの一般化能力を高めるための戦略を提案する。
  論文  参考訳（メタデータ） (2023-11-14T08:51:00Z)
• In-Context Learning Dynamics with Random Binary Sequences [16.645695664776433]
  テキスト内学習のダイナミクスを解析できるフレームワークを提案する。 人間の知覚の認知科学に触発されて、ランダムなバイナリシーケンスをコンテキストとして使用する。 最新のGPT-3.5+モデルでは、一見ランダムな数を生成し、基本形式言語を学習する創発的な能力を見出す。
  論文  参考訳（メタデータ） (2023-10-26T17:54:52Z)
• Skills-in-Context Prompting: Unlocking Compositionality in Large Language Models [68.18370230899102]
  大規模言語モデル(LLM)における構成一般化能力の活用法について検討する。 我々は,これらのスキルに基礎を置く基礎的スキルと構成的事例の両方を同じプロンプト・コンテキストで示すことが重要であることを発見した。 SKiC型データを用いた微調整LDMは、ゼロショット弱強一般化を導出できることを示す。
  論文  参考訳（メタデータ） (2023-08-01T05:54:12Z)
• Investigating Forgetting in Pre-Trained Representations Through Continual Learning [51.30807066570425]
  事前学習した言語モデルの汎用性に及ぼす表現忘れの影響について検討する。 様々な事前学習されたLMで一般化が破壊され,構文的・意味的知識は連続学習によって忘れられることがわかった。
  論文  参考訳（メタデータ） (2023-05-10T08:27:59Z)
• Learning to Generalize Compositionally by Transferring Across Semantic Parsing Tasks [37.66114618645146]
  本研究では,ある構成課題から別の構成課題への移動学習を容易にする学習表現について検討する。 本手法を3つの全く異なるデータセットを用いて意味解析に適用する。 本手法は,対象タスクのテストセット上でのベースラインに対する合成一般化を著しく改善する。
  論文  参考訳（メタデータ） (2021-11-09T09:10:21Z)
• Co$^2$L: Contrastive Continual Learning [69.46643497220586]
  近年の自己教師型学習のブレークスルーは、このようなアルゴリズムが視覚的な表現を学習し、見えないタスクにもっとうまく移行できることを示している。 本稿では、連続的な学習と伝達可能な表現の維持に焦点を当てたリハーサルに基づく連続学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-28T06:14:38Z)
• Exploring Transitivity in Neural NLI Models through Veridicality [39.845425535943534]
  推論関係の推移性に着目する。推論を体系的に描く基本的な性質である。 推移性をキャプチャするモデルは、基本的な推論パターンを構成し、新しい推論を引き出すことができる。 現在のNLIモデルは、推移性推論タスクで一貫してうまく機能しないことがわかります。
  論文  参考訳（メタデータ） (2021-01-26T11:18:35Z)
• Compositional Generalization by Learning Analytical Expressions [87.15737632096378]
  メモリ拡張ニューラルモデルは、合成一般化を達成するために解析式に接続される。 良く知られたベンチマークSCANの実験は、我々のモデルが構成的一般化の優れた能力をつかむことを示した。
  論文  参考訳（メタデータ） (2020-06-18T15:50:57Z)
• Visually Grounded Continual Learning of Compositional Phrases [45.60521849859337]
  VisCOLLは、ストリーミング視覚シーンからの合成フレーズの連続的な取得をシミュレートする。 モデルは、シフトするオブジェクト分布を持つペア画像キャプチャストリームでトレーニングされる。 それらは、ホールドアウトテストセット上で、視覚的にグラウンド化されたマスク付き言語予測タスクによって常に評価される。
  論文  参考訳（メタデータ） (2020-05-02T10:45:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。