論文の概要: An Empirical Analysis of In-context Learning Abilities of LLMs for MT
- arxiv url: http://arxiv.org/abs/2401.12097v1
- Date: Mon, 22 Jan 2024 16:35:00 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-23 13:27:04.382279
- Title: An Empirical Analysis of In-context Learning Abilities of LLMs for MT
- Title(参考訳): MT用LLMの文脈内学習能力に関する実証的検討
- Authors: Pranjal A. Chitale, Jay Gala, Varun Gumma, Mitesh M. Khapra, Raj Dabre
- Abstract要約: In-context Learning (ICL)は、大規模言語モデル(LLM)におけるゼロショット性能よりも優れた性能を一貫して証明している。
機械翻訳作業における文脈内実演の異なる側面の影響について検討する。
特にBLOOM-7B誘導体はノイズの影響を強く受けている。
このことは、ICLの堅牢性は、ノイズの種類、摂動方向(ソースまたはターゲット)、特定のモデルの事前訓練の程度、適用可能な場合の下流タスクの微調整など、いくつかの要因によって制御される可能性があることを示唆している。
- 参考スコア(独自算出の注目度): 27.396774949833233
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: In-context learning (ICL) has consistently demonstrated superior performance
over zero-shot performance in large language models (LLMs). However, the
understanding of the dynamics of ICL and the aspects that influence downstream
performance remains limited, especially for natural language generation (NLG)
tasks. This work aims to address this gap by investigating the ICL capabilities
of LLMs and studying the impact of different aspects of the in-context
demonstrations for the task of machine translation (MT). Our preliminary
investigations aim to discern whether in-context learning (ICL) is
predominantly influenced by demonstrations or instructions by applying diverse
perturbations to in-context demonstrations while preserving the task
instruction. We observe varying behavior to perturbed examples across different
model families, notably with BLOOM-7B derivatives being severely influenced by
noise, whereas Llama 2 derivatives not only exhibit robustness but also tend to
show enhancements over the clean baseline when subject to perturbed
demonstrations. This suggests that the robustness of ICL may be governed by
several factors, including the type of noise, perturbation direction (source or
target), the extent of pretraining of the specific model, and fine-tuning for
downstream tasks if applicable. Further investigation is warranted to develop a
comprehensive understanding of these factors in future research.
- Abstract(参考訳): In-context Learning (ICL) は、大規模言語モデル (LLM) においてゼロショット性能よりも優れた性能を示した。
しかし、特に自然言語生成(NLG)タスクにおいて、ICLのダイナミクスと下流のパフォーマンスに影響を与える側面の理解は限られている。
本研究の目的は,LLMのICL能力の解明と,機械翻訳(MT)タスクにおけるコンテキスト内デモンストレーションの異なる側面の影響について検討することである。
本研究は,タスク命令を維持しつつ,コンテキスト内デモに多様な摂動を適用して,インコンテキスト学習(icl)がデモやインストラクションの影響を主に受けているかを見極めることを目的としている。
特にブルーム-7b誘導体はノイズの影響を強く受けているのに対し,ラマ2誘導体はロバスト性を示すだけでなく,摂動デモを行う際に清潔なベースラインを超えた拡張を示す傾向がある。
このことは、ICLの堅牢性は、ノイズの種類、摂動方向(ソースまたはターゲット)、特定のモデルの事前訓練の程度、適用可能な場合の下流タスクの微調整など、いくつかの要因によって制御される可能性があることを示唆している。
今後の研究でこれらの要因の包括的理解を深めるべく、さらなる調査が求められている。
関連論文リスト
- The Power of Question Translation Training in Multilingual Reasoning: Broadened Scope and Deepened Insights [108.40766216456413]
本稿では,大規模言語モデルの英語と非英語のパフォーマンスのギャップを埋めるための質問アライメント手法を提案する。
実験結果から,質問アライメント手法は多様な推論シナリオにおける多言語のパフォーマンス向上に有効であることが示唆された。
その成功のメカニズムを理解するために、表現空間、チェーン・オブ・シンク、翻訳データスケールを分析する。
論文 参考訳(メタデータ) (2024-05-02T14:49:50Z) - Towards Multimodal In-Context Learning for Vision & Language Models [17.94596325418465]
本研究では、ICL命令に従うための最先端のVLMの機能を解析する。
大規模な混合モダリティ事前訓練を受けたモデルでさえも、少数ショット(ICL)のデモンストレーションを行う際に、インターリーブ画像とテキスト情報のアンダーパフォーマンスを利用するように暗黙的にガイドされていることが判明した。
我々は、ICLのサポート、方法論、カリキュラムで共通のVLMアライメントフレームワークを拡張するための、シンプルで、驚くほど効果的な戦略を提案する。
論文 参考訳(メタデータ) (2024-03-19T13:53:37Z) - DEEP-ICL: Definition-Enriched Experts for Language Model In-Context
Learning [61.85871109164743]
大規模言語モデル(LLM)におけるパラメータの多さは、コンテキスト内学習(ICL)の能力を促進すると長い間考えられてきた。
ICL のための新しいタスク定義拡張 ExPert Ensembling Method である DEEP-ICL を紹介する。
ICLの改善はモデルのサイズに直接依存するのではなく、基本的にはタスク定義やタスク誘導学習の理解に起因している、と我々は主張する。
論文 参考訳(メタデータ) (2024-03-07T05:26:41Z) - Analyzing and Adapting Large Language Models for Few-Shot Multilingual
NLU: Are We There Yet? [82.02076369811402]
教師付きファインチューニング(SFT)、教師付きインストラクションチューニング(SIT)、インコンテキストラーニング(ICL)は、3つの代替であり、事実上の標準的アプローチである。
提案手法は,6つの高・低リソース言語,3つの異なるNLUタスク,多種多様な言語とドメインのセットアップを用いて,3つのアプローチを網羅的かつ体系的に比較する。
そこで本研究では,教師あり指導のチューニングが,性能とリソース要件の最良のトレードオフであることを示す。
論文 参考訳(メタデータ) (2024-03-04T10:48:13Z) - In-Context Learning Demonstration Selection via Influence Analysis [12.929357709840975]
大規模言語モデル(LLM)は、そのICL(In-Context Learning)機能を実証した。
複数の利点があるにもかかわらず、ICLの一般化性能は選択されたデモに敏感である。
本研究では,インフルエンス関数によるトレーニングサンプルの影響を解析するInfICLという実演選択手法を提案する。
論文 参考訳(メタデータ) (2024-02-19T00:39:31Z) - Lost in the Source Language: How Large Language Models Evaluate the
Quality of Machine Translation [68.43666295024714]
大規模言語モデル (LLM) は機械翻訳評価タスクにおいて顕著な成果を上げている。
本研究は,LLMが翻訳評価においてソース情報と参照情報をどのように活用するかを検討することを目的とする。
論文 参考訳(メタデータ) (2024-01-12T13:23:21Z) - Comparable Demonstrations are Important in In-Context Learning: A Novel
Perspective on Demonstration Selection [22.29452683679149]
In-Context Learning(ICL)は、大規模言語モデル(LLM)をダウンストリームタスクに適用するための重要なパラダイムである。
本研究は、ICLのメカニズムを新しい視点から検討し、ICLの実証選択戦略についてより深い知見を提供する。
論文 参考訳(メタデータ) (2023-12-12T18:05:46Z) - Towards Understanding In-Context Learning with Contrastive Demonstrations and Saliency Maps [7.342347950764399]
大規模言語モデル(LLM)の文脈内学習性能における様々な実演要素の役割について検討する。
具体的には, 地中構造ラベル, 入力分布, 相補的説明の影響について検討する。
論文 参考訳(メタデータ) (2023-07-11T07:03:29Z) - Post Hoc Explanations of Language Models Can Improve Language Models [43.2109029463221]
AMPLIFY(Post Hoc Explanations)を用いたインコンテキスト学習の活用によるモデル性能向上のための新しいフレームワークを提案する。
我々は,各入力特徴がモデル予測に与える影響を抽出し,帰属スコア(説明)を出力するポストホック説明手法を活用する。
AMPLIFYは,幅広いタスクに対して約10~25%の精度向上を実現している。
論文 参考訳(メタデータ) (2023-05-19T04:46:04Z) - Exploring Human-Like Translation Strategy with Large Language Models [93.49333173279508]
大規模言語モデル(LLM)は、一般的なシナリオにおいて印象的な機能を示している。
本研究は,マルチアスペクト・プロンプトと選択のためのMAPSフレームワークを提案する。
品質推定に基づく選択機構を用いて,ノイズや不ヘッピーな知識を抽出する。
論文 参考訳(メタデータ) (2023-05-06T19:03:12Z) - Understanding Attention in Machine Reading Comprehension [56.72165932439117]
本稿では,多面的自己意識と最終的なパフォーマンスとの関係を検討するために,一連の分析実験を実施することに焦点を当てる。
SQuAD(英語)とCMRC 2018(中国語)の定量的解析を行い、BERT, ALBERT, ELECTRAの2つのスパン抽出MCCデータセットについて検討した。
本研究は, 問合せ及び問合せに対する注意が最重要であり, 最終結果と強い相関関係を示すものであることを明らかにする。
論文 参考訳(メタデータ) (2021-08-26T04:23:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。