論文の概要: Bayesian Example Selection Improves In-Context Learning for Speech, Text, and Visual Modalities
- arxiv url: http://arxiv.org/abs/2404.14716v2
- Date: Sun, 16 Jun 2024 08:49:00 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-19 04:48:05.717938
- Title: Bayesian Example Selection Improves In-Context Learning for Speech, Text, and Visual Modalities
- Title（参考訳）: Bayesian Example Selectionは、音声、テキスト、視覚のモーダリティに対する文脈学習を改善する
- Authors: Siyin Wang, Chao-Han Huck Yang, Ji Wu, Chao Zhang,
- Abstract要約: 大規模言語モデル(LLM)は、文脈内学習(ICL)を通じて新しいタスクに適応できる
本稿では,ICLのための新しいベイジアン・イン・コンテクスト・サンプル・セレクション法(ByCS)を提案する。
- 参考スコア（独自算出の注目度）: 15.931776592470895
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) can adapt to new tasks through in-context learning (ICL) based on a few examples presented in dialogue history without any model parameter update. Despite such convenience, the performance of ICL heavily depends on the quality of the in-context examples presented, which makes the in-context example selection approach a critical choice. This paper proposes a novel Bayesian in-Context example Selection method (ByCS) for ICL. Extending the inference probability conditioned on in-context examples based on Bayes' theorem, ByCS focuses on the inverse inference conditioned on test input. Following the assumption that accurate inverse inference probability (likelihood) will result in accurate inference probability (posterior), in-context examples are selected based on their inverse inference results. Diverse and extensive cross-tasking and cross-modality experiments are performed with speech, text, and image examples. Experimental results show the efficacy and robustness of our ByCS method on various models, tasks and modalities.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、モデルパラメータを更新せずに対話履歴に提示されたいくつかの例に基づいて、コンテキスト内学習(ICL)を通じて新しいタスクに適応することができる。
このような利便性にもかかわらず、ICLの性能は、提示されるコンテキスト内例の品質に大きく依存しているため、コンテキスト内例選択が重要な選択となる。
本稿では,ICLのための新しいベイジアン・イン・コンテクスト・サンプル・セレクション法(ByCS)を提案する。
ベイズの定理に基づいて、文脈内例に基づいて条件付き推論確率を拡張することで、ByCSはテスト入力に条件付き逆推論に焦点を当てる。
正確な逆推論確率 (likelihood) が正確な推論確率 (posterior) をもたらすという仮定の後、その逆推論結果に基づいて、文脈内例が選択される。
音声、テキスト、画像の例を用いて、多種多様なクロスタスキングおよびクロスモーダルな実験を行う。
実験により, 各種モデル, タスク, モダリティに対するBYCS法の有効性とロバスト性を示した。
関連論文リスト
- ParaICL: Towards Robust Parallel In-Context Learning [74.38022919598443]
大規模言語モデル(LLM)が自然言語処理の標準となっている。
インコンテキスト・ラーニング(ICL)は、いくつかの実演例の選択に依存している。
パラレルインコンテキスト学習(ParaICL)という新しい手法を提案する。
論文 参考訳（メタデータ） (2024-03-31T05:56:15Z) - $Se^2$: Sequential Example Selection for In-Context Learning [83.17038582333716]
インコンテキスト学習(ICL)のための大規模言語モデル(LLM)は、実演例によって起動する必要がある。
以前の研究は、主に"select then organize"パラダイムに従って、ICLの例の選択を幅広く検討してきた。
本稿では,この問題を$Se$quential $Se$lection問題として定式化し,シーケンシャル・アウェア法である$Se2$を導入する。
論文 参考訳（メタデータ） (2024-02-21T15:35:04Z) - Revisiting Demonstration Selection Strategies in In-Context Learning [66.11652803887284]
大規模言語モデル(LLM)は、インコンテキスト学習(ICL)を用いて広範囲のタスクを実行するという印象的な能力を示している。
本研究ではまず,データとモデルの両方の側面から,この分散に寄与する要因を再検討し,実演の選択がデータとモデルに依存していることを確かめる。
本研究では,データとモデルに依存した実演選択手法である textbfTopK + ConE を提案する。
論文 参考訳（メタデータ） (2024-01-22T16:25:27Z) - In-Context Demonstration Selection with Cross Entropy Difference [95.21947716378641]
大規模言語モデル(LLM)は、ゼロショットタスクのパフォーマンスを改善するためにコンテキスト内デモを使用することができる。
テキスト内デモを選択するためのクロスエントロピー差分法(CED)を提案する。
論文 参考訳（メタデータ） (2023-05-24T05:04:00Z) - RetICL: Sequential Retrieval of In-Context Examples with Reinforcement Learning [53.52699766206808]
In-Context Learning (RetICL) のための検索式を提案する。
RetICLは数学用語の問題解決と科学的質問応答のタスクに基づいて評価し,一貫した性能や一致,学習可能なベースラインを示す。
論文 参考訳（メタデータ） (2023-05-23T20:15:56Z) - Active Learning Principles for In-Context Learning with Large Language
Models [65.09970281795769]
本稿では,アクティブ・ラーニング・アルゴリズムが,文脈内学習における効果的な実演選択手法としてどのように機能するかを検討する。
ALによる文脈内サンプル選択は,不確実性の低い高品質な事例を優先し,試験例と類似性を有することを示す。
論文 参考訳（メタデータ） (2023-05-23T17:16:04Z) - Compositional Exemplars for In-context Learning [21.961094715261133]
大規模な事前学習言語モデル(LM)は、印象的なインコンテキスト学習(ICL)能力を示している。
本稿では,CEIL (Compositional Exemplars for In-context Learning) を提案する。
我々は、感情分析、パラフレーズ検出、自然言語推論、コモンセンス推論、オープンドメイン質問応答、コード生成、意味解析を含む7つの異なるNLPタスクから、CEILを12の分類および生成データセットで検証する。
論文 参考訳（メタデータ） (2023-02-11T14:02:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。