論文の概要: Inference and Verbalization Functions During In-Context Learning

• arxiv url: http://arxiv.org/abs/2410.09349v1
• Date: Sat, 12 Oct 2024 03:31:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-30 14:53:51.681525
• Title: Inference and Verbalization Functions During In-Context Learning
• Title（参考訳）: 文脈内学習における推論と言語機能
• Authors: Junyi Tao, Xiaoyin Chen, Nelson F. Liu,
• Abstract要約: 大規模言語モデル(LM)は、推論中の新しいタスクを解決するために、いくつかのデモからコンテキスト内で学習することができる。 以前の研究では、いくつかの設定では、ICLのパフォーマンスは無関係なラベルによって最小限に影響を受けることが観察された。 我々は、LMが2つのシーケンシャルなプロセスを通して無関係なラベルでICLを実行すると仮定する:タスクを解く推論関数と、ラベル空間に推論された回答をマッピングする動詞化関数である。
• 参考スコア（独自算出の注目度）: 7.544880309193842
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LMs) are capable of in-context learning from a few demonstrations (example-label pairs) to solve new tasks during inference. Despite the intuitive importance of high-quality demonstrations, previous work has observed that, in some settings, ICL performance is minimally affected by irrelevant labels (Min et al., 2022). We hypothesize that LMs perform ICL with irrelevant labels via two sequential processes: an inference function that solves the task, followed by a verbalization function that maps the inferred answer to the label space. Importantly, we hypothesize that the inference function is invariant to remappings of the label space (e.g., "true"/"false" to "cat"/"dog"), enabling LMs to share the same inference function across settings with different label words. We empirically validate this hypothesis with controlled layer-wise interchange intervention experiments. Our findings confirm the hypotheses on multiple datasets and tasks (natural language inference, sentiment analysis, and topic classification) and further suggest that the two functions can be localized in specific layers across various open-sourced models, including GEMMA-7B, MISTRAL-7B-V0.3, GEMMA-2-27B, and LLAMA-3.1-70B.
• Abstract（参考訳）: 大規模言語モデル(LM)は、推論中に新しいタスクを解くためのいくつかのデモ(サンプルラベルペア)から、コンテキスト内での学習を可能にする。 高品質なデモの直感的な重要性にもかかわらず、以前の研究では、いくつかの設定では、ICLのパフォーマンスは無関係なラベル(Min et al , 2022)の影響を最小限に受けている。 我々は、LMが2つのシーケンシャルなプロセスを通して無関係なラベルでICLを実行すると仮定する:タスクを解く推論関数と、ラベル空間に推論された回答をマッピングする動詞化関数である。 重要なことは、推論関数がラベル空間のリマッピング(例: "true"/"false" から "cat"/"dog")に不変であると仮定することで、LMが異なるラベル語で同じ推論関数を共有することができる。 我々は,この仮説を制御層間相互干渉実験により実証的に検証した。 本研究は,複数のデータセットとタスク(自然言語推論,感情分析,トピック分類)の仮説を検証し,GEMMA-7B,MISTRAL-7B-V0.3,GEMMA-2-27B,LAMA-3.1-70Bなど,様々なオープンソースモデルにまたがる特定の層に2つの関数が局在できることを示唆している。

関連論文リスト

• Uncovering Autoregressive LLM Knowledge of Thematic Fit in Event Representation [0.09558392439655014]
  我々は,事前学習した自己回帰型LLMが,テーマ適合性に関する一貫した表現可能な知識を持っているかどうかを評価する。 いくつかの心理言語学的データセットを用いて, 閉じた状態とオープンな状態のLLMを評価した。 本結果は,自己説明型セマンティックロールラベルを持つデータセットに対して,連鎖推論がより効果的であることを示す。
  論文  参考訳（メタデータ） (2024-10-19T18:25:30Z)
• Rectifying Demonstration Shortcut in In-Context Learning [15.08431909212102]
  大規模言語モデル(LLM)は、ICL(In-context Learning)能力を利用したいくつかのデモで、様々なタスクを解くことができる。 LLMは、ICL予測を進めるために、インプット-ラベル関係よりも、事前に訓練されたデモのセマンティック先行に頼っていることが多い。
  論文  参考訳（メタデータ） (2024-03-14T15:30:14Z)
• Test-Time Self-Adaptive Small Language Models for Question Answering [63.91013329169796]
  ラベルのないテストデータのみを用いて、より小さな自己適応型LMの能力を示し、検討する。 提案した自己適応戦略は,ベンチマークQAデータセットの大幅な性能向上を示す。
  論文  参考訳（メタデータ） (2023-10-20T06:49:32Z)
• Label Words are Anchors: An Information Flow Perspective for Understanding In-Context Learning [77.7070536959126]
  大規模言語モデル(LLM)の有望な能力としてインコンテキスト学習(ICL)が出現する 本稿では,情報フローレンズを用いたICLの動作機構について検討する。 本稿では,ICL性能向上のためのアンカー再重み付け手法,推論の高速化のための実演圧縮手法,GPT2-XLにおけるICLエラーの診断のための解析フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-23T15:26:20Z)
• Influence Functions for Sequence Tagging Models [49.81774968547377]
  影響関数を拡張して、予測を学習ポイントまで追跡し、それらに通知します。 本手法を用いて,系統的アノテーションの誤りを同定し,セグメント効果の実用性を示す。
  論文  参考訳（メタデータ） (2022-10-25T17:13:11Z)
• SepLL: Separating Latent Class Labels from Weak Supervision Noise [4.730767228515796]
  弱い教師付き学習では、ラベル付け機能は自動的にデータサンプルにラベルを割り当て、しばしばうるさい。 本研究では,2種類の補完情報を分離し,弱いラベルから学習する手法を提案する。 我々のモデルは最先端技術と競合し、新しい最高の平均性能をもたらす。
  論文  参考訳（メタデータ） (2022-10-25T10:33:45Z)
• A Multi-level Supervised Contrastive Learning Framework for Low-Resource Natural Language Inference [54.678516076366506]
  自然言語推論(NLI)は、自然言語理解において、ますます重要な課題である。 本稿では,低リソースな自然言語推論のためのマルチSCLという,マルチレベルの教師付きコントラスト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-31T05:54:18Z)
• Rethinking the Role of Demonstrations: What Makes In-Context Learning Work? [112.72413411257662]
  大規模言語モデル(LM)は、いくつかのインプットラベルペア(デモ)を条件付けして、新しいインプットの予測を行うことで、インコンテキストで学習することができる。 実演のラベルをランダムに置き換えることは、パフォーマンスをほとんど損なうものではない。 デモの他の側面が、エンドタスクのパフォーマンスの主要な要因であることに気付きました。
  論文  参考訳（メタデータ） (2022-02-25T17:25:19Z)
• Comparing Text Representations: A Theory-Driven Approach [2.893558866535708]
  我々は、テキストデータセットの特定の特徴に適合するように、計算学習理論から一般的なツールを適応させる。 本稿では,表現とタスクの整合性を評価する手法を提案する。 この方法は、分類に基づくNLPタスクの難易度を校正し、定量的に測定する。
  論文  参考訳（メタデータ） (2021-09-15T17:48:19Z)
• Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
  ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。 我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。 このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2020-04-20T02:47:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。