論文の概要: Diverse Demonstrations Improve In-context Compositional Generalization

• arxiv url: http://arxiv.org/abs/2212.06800v3
• Date: Sat, 24 Jun 2023 15:49:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-28 00:09:18.288085
• Title: Diverse Demonstrations Improve In-context Compositional Generalization
• Title（参考訳）: インコンテクスト構成の一般化を向上するディバースデモ
• Authors: Itay Levy, Ben Bogin, Jonathan Berant
• Abstract要約: 本稿では,出力プログラムに必要なすべての構造を包括的にカバーすることを目的とした,多様なデモンストレーションを選択する手法を提案する。 実験により、多種多様な実演と文脈内学習を組み合わせることで、3つの合成一般化セマンティックパーシングデータセットのパフォーマンスが大幅に向上することを示した。
• 参考スコア（独自算出の注目度）: 37.84221852244567
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In-context learning has shown great success in i.i.d semantic parsing splits, where the training and test sets are drawn from the same distribution. In this setup, models are typically prompted with demonstrations that are similar to the input utterance. However, in the setup of compositional generalization, where models are tested on outputs with structures that are absent from the training set, selecting similar demonstrations is insufficient, as often no example will be similar enough to the input. In this work, we propose a method to select diverse demonstrations that aims to collectively cover all of the structures required in the output program, in order to encourage the model to generalize to new structures from these demonstrations. We empirically show that combining diverse demonstrations with in-context learning substantially improves performance across three compositional generalization semantic parsing datasets in the pure in-context learning setup and when combined with finetuning.
• Abstract（参考訳）: 文脈内学習は、トレーニングとテストセットが同じ分布から引き出されるような意味解析の分割において大きな成功を収めている。 この設定では、モデルは通常、入力発話に似たデモンストレーションによって促される。 しかし、トレーニングセットにない構造を持つ出力でモデルがテストされる合成一般化のセットアップでは、同様のデモンストレーションを選択するだけでは不十分であり、例が入力と十分に似ていないことが多い。 本研究では,これらの実演から新たな構造への一般化を促すために,出力プログラムに必要な全ての構造を包括的にカバーする多種多様な実演を選択する手法を提案する。 実験により、多種多様な実演とインコンテキスト学習を組み合わせることで、純粋なインコンテキスト学習環境における3つの合成一般化セマンティックパーシングデータセットとファインタニングの併用によるパフォーマンスが大幅に向上することを示した。

関連論文リスト

• Revisiting Demonstration Selection Strategies in In-Context Learning [66.11652803887284]
  大規模言語モデル(LLM)は、インコンテキスト学習(ICL)を用いて広範囲のタスクを実行するという印象的な能力を示している。 本研究ではまず,データとモデルの両方の側面から,この分散に寄与する要因を再検討し,実演の選択がデータとモデルに依存していることを確かめる。 本研究では,データとモデルに依存した実演選択手法である textbfTopK + ConE を提案する。
  論文  参考訳（メタデータ） (2024-01-22T16:25:27Z)
• In-context Learning with Retrieved Demonstrations for Language Models: A Survey [23.24271704145876]
  インコンテクスト学習者(ICL)は入力コンテキストでのデモを少しだけ行うだけで、新しいタスクに適応できる。 最近の開発では、固定された一連のデモを使う代わりに、各入力クエリに合わせたデモを検索する。 本稿では,検索モデル,検索訓練手順,推論アルゴリズムの異なる設計選択について論じ,比較する。
  論文  参考訳（メタデータ） (2024-01-21T23:34:42Z)
• Scaling In-Context Demonstrations with Structured Attention [75.41845145597875]
  我々は、文脈内学習のためのより優れたアーキテクチャ設計を提案する。 In-Context Learningのための構造化アテンションは、構造化アテンションメカニズムによって完全なアテンションを置き換える。 SAICLは、最大3.4倍の推論速度で、フルアテンションよりも同等または優れた性能を実現していることを示す。
  論文  参考訳（メタデータ） (2023-07-05T23:26:01Z)
• In-Context Demonstration Selection with Cross Entropy Difference [95.21947716378641]
  大規模言語モデル(LLM)は、ゼロショットタスクのパフォーマンスを改善するためにコンテキスト内デモを使用することができる。 テキスト内デモを選択するためのクロスエントロピー差分法(CED)を提案する。
  論文  参考訳（メタデータ） (2023-05-24T05:04:00Z)
• On the Compositional Generalization Gap of In-Context Learning [73.09193595292233]
  In-distriion (ID) と Out-of-distriion (OOD) の相違について考察する。 我々は,3つの意味解析データセットを用いて,OPT,BLOOM,CodeGen,Codexの4つのモデルファミリを評価する。
  論文  参考訳（メタデータ） (2022-11-15T19:56:37Z)
• Rethinking the Role of Demonstrations: What Makes In-Context Learning Work? [112.72413411257662]
  大規模言語モデル(LM)は、いくつかのインプットラベルペア(デモ)を条件付けして、新しいインプットの予測を行うことで、インコンテキストで学習することができる。 実演のラベルをランダムに置き換えることは、パフォーマンスをほとんど損なうものではない。 デモの他の側面が、エンドタスクのパフォーマンスの主要な要因であることに気付きました。
  論文  参考訳（メタデータ） (2022-02-25T17:25:19Z)
• Instance-Based Learning of Span Representations: A Case Study through Named Entity Recognition [48.06319154279427]
  本研究では,スパン間の類似性を学習するインスタンスベースの学習手法を提案する。 本手法では,性能を犠牲にすることなく高い解釈性を持つモデルを構築することができる。
  論文  参考訳（メタデータ） (2020-04-29T23:32:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。