論文の概要: Analyzing Task-Encoding Tokens in Large Language Models

• arxiv url: http://arxiv.org/abs/2401.11323v1
• Date: Sat, 20 Jan 2024 20:55:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-23 17:08:55.553718
• Title: Analyzing Task-Encoding Tokens in Large Language Models
• Title（参考訳）: 大規模言語モデルにおけるタスクエンコーディングトークンの解析
• Authors: Yu Bai, Heyan Huang, Cesare Spinoso-Di Piano, Marc-Antoine Rondeau, Sanxing Chen, Yang Gao, Jackie Chi Kit Cheung
• Abstract要約: タスク推論手順を格納したタスクエンコーディングトークンを解析する。 テンプレートとストップワードトークンがタスクエンコーディングトークンであることが多いことが分かりました。 我々の研究は、大規模言語モデル(LLM)がICLのタスク推論手順をどのように活用するかについて、さらなる洞察を提供する。
• 参考スコア（独自算出の注目度）: 55.03191279766383
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In-context learning (ICL) has become an effective solution for few-shot learning in natural language processing. Past work has found that, during this process, representations of the last prompt token are utilized to store task reasoning procedures, thereby explaining the working mechanism of in-context learning. In this paper, we seek to locate and analyze other task-encoding tokens whose representations store task reasoning procedures. Supported by experiments that ablate the representations of different token types, we find that template and stopword tokens are the most prone to be task-encoding tokens. In addition, we demonstrate experimentally that lexical cues, repetition, and text formats are the main distinguishing characteristics of these tokens. Our work provides additional insights into how large language models (LLMs) leverage task reasoning procedures in ICL and suggests that future work may involve using task-encoding tokens to improve the computational efficiency of LLMs at inference time and their ability to handle long sequences.
• Abstract（参考訳）: In-context Learning (ICL) は、自然言語処理における数ショット学習に有効なソリューションとなっている。 過去の研究によると、このプロセスでは、最後のプロンプトトークンの表現がタスク推論手順の格納に利用され、コンテキスト内学習の動作メカニズムが説明されている。 本稿では,タスク推論手順を格納する他のタスク符号化トークンの探索と解析を行う。 異なるトークンタイプの表現を省略する実験によってサポートされ、テンプレートとストップワードトークンが最もタスクエンコーディングトークンになりやすいことが分かりました。 さらに,これらのトークンの主な特徴は語彙的手がかり,繰り返し,テキスト形式であることを示す。 我々の研究は、大規模言語モデル(llm)がiclにおけるタスク推論手順をどのように活用するかに関するさらなる洞察を提供し、将来の作業は、推論時のllmの計算効率と長いシーケンスの処理能力を改善するためにタスクエンコーディングトークンを使用するかもしれないことを示唆する。

関連論文リスト

• Sparse Autoencoders Reveal Temporal Difference Learning in Large Language Models [7.115323364355489]
  インコンテキスト学習(In-context learning)は、入力プロンプトのいくつかの例に基づいて適応する能力であり、大きな言語モデル(LLM)のユビキタスな特徴である。 最初に、Llamaが$70$Bで、コンテキスト内で単純なRL問題を解くことができることを示す。 次に、スパースオートエンコーダ(SAE)を用いてLlamaの残差ストリームを分析し、時間差(TD)誤差によく一致する表現を求める。
  論文  参考訳（メタデータ） (2024-10-02T06:51:12Z)
• Exploring Italian sentence embeddings properties through multi-tasking [1.4335183427838039]
  本研究では,事前学習言語モデルを用いて構築された文表現が,特定の構文情報や意味情報をエンコードする方法について検討する。 本研究では,タスクに関連する情報を含む表現や,BLMタスクに埋め込まれた文の圧縮を,2段階のアーキテクチャで個別にモデル化する。 文構造 -- フレーズ/チャンクのシーケンスとチャンクプロパティがタスク間で共有できることを期待していましたが、パフォーマンスとエラー分析は、異なるタスクの手がかりが、文の埋め込みにおいて異なる方法でエンコードされていることを示しています。
  論文  参考訳（メタデータ） (2024-09-10T16:22:18Z)
• Towards Semantic Equivalence of Tokenization in Multimodal LLM [149.11720372278273]
  視覚トークン化は、視覚と言語間のセマンティックアライメントに不可欠である。 本稿では,新しい動的セマンティック等価ビジョントケナイザ(SeTok)を提案する。 SeTokは動的クラスタリングアルゴリズムを通じて、視覚的特徴をセマンティックユニットにグループ化する。 結果として得られる視覚トークンは意味的整合性を効果的に保持し、低周波と高周波の両方の視覚特徴をキャプチャする。
  論文  参考訳（メタデータ） (2024-06-07T17:55:43Z)
• Does In-Context Learning Really Learn? Rethinking How Large Language Models Respond and Solve Tasks via In-Context Learning [41.606494950216764]
  In-context Learning (ICL)は、スケールアップされた大規模言語モデル(LLM)の開発と共に強力な能力として登場した。 本稿では,ICLの全体的な性能をラベル空間,フォーマット,識別の3次元に分解する。 ICLはラベル空間とフォーマットを制御し,所望のラベル語にLLMが反応するのに役立つことを示す。
  論文  参考訳（メタデータ） (2024-04-11T08:20:10Z)
• Helping Language Models Learn More: Multi-dimensional Task Prompt for Few-shot Tuning [36.14688633670085]
  本稿では,タスク関連オブジェクト,要約,タスク記述情報に基づく多次元タスクプロンプト学習手法MTPromptを提案する。 提案するMTPromptは,適切なプロンプトを自動構築し,検索することで,いくつかのサンプル設定と5つの異なるデータセットに対して最適な結果が得られる。
  論文  参考訳（メタデータ） (2023-12-13T10:00:44Z)
• Understanding the Role of Input Token Characters in Language Models: How Does Information Loss Affect Performance? [45.53600782873268]
  入力トークン文字における情報損失が事前学習言語モデルの性能に与える影響について検討する。 驚くべきことに、極端な設定下であっても事前トレーニングを行うこと、すなわちトークンの1文字だけを使うこと、標準のNLUベンチマークのパフォーマンス保持、および探索タスクが高いことが判明した。 例えば、トークンからの1文字1文字にのみ事前トレーニングされたモデルでは、SuperGLUEタスクとGLUEタスクのフルトーケンモデルの約90ドル%と7,7ドル%のパフォーマンス保持が達成される。
  論文  参考訳（メタデータ） (2023-10-26T09:47:50Z)
• What Makes Good In-context Demonstrations for Code Intelligence Tasks with LLMs? [60.668318972782295]
  大規模言語モデルは、文脈内学習(ICL)の能力を示している。 ICLはタスク命令といくつかの例をデモとして使用し、次に予測を行うために言語モデルにデモを入力します。 コードに関連するタスクに対して,優れたデモを構築する方法について,体系的に検討することが重要である。
  論文  参考訳（メタデータ） (2023-04-15T15:13:58Z)
• Revisiting Multimodal Representation in Contrastive Learning: From Patch and Token Embeddings to Finite Discrete Tokens [76.40196364163663]
  本稿では,CLIPのような学習型視覚言語事前学習手法を提案する。 提案手法は,より包括的な表現を学習し,意味のある相互対応を捉えることができることを示す。
  論文  参考訳（メタデータ） (2023-03-27T00:58:39Z)
• Prompting Language Models for Linguistic Structure [73.11488464916668]
  本稿では,言語構造予測タスクに対する構造化プロンプト手法を提案する。 提案手法は, 音声タグ付け, 名前付きエンティティ認識, 文チャンキングについて評価する。 PLMはタスクラベルの事前知識を事前学習コーパスに漏えいすることで有意な事前知識を含むが、構造化プロンプトは任意のラベルで言語構造を復元することも可能である。
  論文  参考訳（メタデータ） (2022-11-15T01:13:39Z)
• Rethinking the Role of Demonstrations: What Makes In-Context Learning Work? [112.72413411257662]
  大規模言語モデル(LM)は、いくつかのインプットラベルペア(デモ)を条件付けして、新しいインプットの予測を行うことで、インコンテキストで学習することができる。 実演のラベルをランダムに置き換えることは、パフォーマンスをほとんど損なうものではない。 デモの他の側面が、エンドタスクのパフォーマンスの主要な要因であることに気付きました。
  論文  参考訳（メタデータ） (2022-02-25T17:25:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。