論文の概要: Vector-ICL: In-context Learning with Continuous Vector Representations

• arxiv url: http://arxiv.org/abs/2410.05629v1
• Date: Tue, 8 Oct 2024 02:25:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-01 17:29:06.851501
• Title: Vector-ICL: In-context Learning with Continuous Vector Representations
• Title（参考訳）: Vector-ICL:連続ベクトル表現を用いたコンテキスト内学習
• Authors: Yufan Zhuang, Chandan Singh, Liyuan Liu, Jingbo Shang, Jianfeng Gao,
• Abstract要約: 大規模言語モデル (LLM) はテキストデータに顕著なコンテキスト内学習能力を示す。 ブラックボックス事前学習エンコーダから得られる様々な領域から連続ベクトルに拡張できるかどうかを検討する。 特に,汎用言語モデリング目的のプロジェクタを事前学習することで,Vector-ICLの実現が期待できる。
• 参考スコア（独自算出の注目度）: 75.96920867382859
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) have shown remarkable in-context learning (ICL) capabilities on textual data. We explore whether these capabilities can be extended to continuous vectors from diverse domains, obtained from black-box pretrained encoders. By aligning input data with an LLM's embedding space through lightweight projectors, we observe that LLMs can effectively process and learn from these projected vectors, which we term Vector-ICL. In particular, we find that pretraining projectors with general language modeling objectives enables Vector-ICL, while task-specific finetuning further enhances performance. In our experiments across various tasks and modalities, including text reconstruction, numerical function regression, text classification, summarization, molecule captioning, time-series classification, graph classification, and fMRI decoding, Vector-ICL often surpasses both few-shot ICL and domain-specific model or tuning. We further conduct analyses and case studies, indicating the potential of LLMs to process vector representations beyond traditional token-based paradigms.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、テキストデータに顕著なコンテキスト内学習(ICL)能力を示す。 ブラックボックス事前学習エンコーダから得られる様々な領域から連続ベクトルに拡張できるかどうかを検討する。 入力データを軽量プロジェクタを介してLLMの埋め込み空間と整列させることにより、LLMがこれらの射影ベクトルを効果的に処理し、学習し、Vector-ICLと呼ぶ。 特に、汎用言語モデリングの目的を持った事前学習プロジェクタがVector-ICLを実現するのに対して、タスク固有の微調整はパフォーマンスをさらに向上させる。 テキスト再構成,数値関数回帰,テキスト分類,要約,分子キャプション,時系列分類,グラフ分類,fMRI復号化など,さまざまなタスクやモダリティに関する実験において,Vector-ICLは少数ショットICLやドメイン固有モデル,チューニングを超越することが多い。 さらに分析とケーススタディを行い、従来のトークンベースのパラダイムを超えてベクトル表現を処理するLLMの可能性を示す。

関連論文リスト

• SURGE: On the Potential of Large Language Models as General-Purpose Surrogate Code Executors [0.0]
  大規模言語モデル(LLM)は、コード理解やコード生成など、コード関連のタスクにおいて顕著な機能を示している。 しかしながら、LLMが汎用的なサロゲートコードエグゼキュータとして機能するかどうかについても、同様に重要で未解明の疑問がある。 本研究は,LLMを代用コード実行子として使用することの実現可能性に関する実証的な知見を提供する。
  論文  参考訳（メタデータ） (2025-02-16T15:38:19Z)
• Scalable Language Models with Posterior Inference of Latent Thought Vectors [52.63299874322121]
  Latent-Thought Language Models (LTM) には、潜在空間における明示的な事前モデルに従う明示的な潜在思考ベクトルが含まれている。 LTMは従来のLLMを超える拡張次元を持ち、構造化された設計空間を提供する。 LTMは従来の自己回帰モデルや離散拡散モデルよりも、検証の難易度やゼロショット言語モデリングにおいて著しく優れている。
  論文  参考訳（メタデータ） (2025-02-03T17:50:34Z)
• Large Language Models Understand Layout [6.732578061359833]
  大規模言語モデル(LLM)は、幅広い自然言語処理(NLP)タスクにおいて異常な能力を示す。 テキスト理解能力以外にも,空間マーカーで表されるテキストレイアウトをLLMで処理できることが示されている。 レイアウト理解能力は,視覚的質問応答(VQA)システム構築に有用であることを示す。
  論文  参考訳（メタデータ） (2024-07-08T09:03:12Z)
• Large Language Models are Interpretable Learners [53.56735770834617]
  本稿では,Large Language Models(LLM)とシンボルプログラムの組み合わせによって,表現性と解釈可能性のギャップを埋めることができることを示す。 自然言語プロンプトを持つ事前訓練されたLLMは、生の入力を自然言語の概念に変換することができる解釈可能な膨大なモジュールセットを提供する。 LSPが学んだ知識は自然言語の記述と記号規則の組み合わせであり、人間(解釈可能)や他のLLMに容易に転送できる。
  論文  参考訳（メタデータ） (2024-06-25T02:18:15Z)
• Distributed Rule Vectors is A Key Mechanism in Large Language Models' In-Context Learning [3.1775609005777024]
  大規模言語モデル(LLM)は目覚ましい能力を示しており、最も重要なものはインコンテキスト学習(ICL)である。 以前の研究は、ICL中に特定の位置でネットワークが「タスクベクトル」を生成すると仮定していた。 このような「タスクベクトル」は、ルールを複数の実演を通して定義しなければならないタスクには存在しないことが判明した。
  論文  参考訳（メタデータ） (2024-06-23T04:29:13Z)
• LLM-Vectorizer: LLM-based Verified Loop Vectorizer [12.048697450464935]
  大規模言語モデル(LLM)は、個々の配列要素を処理するスカラープログラムからベクトル化されたコードを生成することができる。 LLMは1.1xから9.4xまでのランタイムスピードアップで高性能なベクトルコードを生成することができる。 我々のアプローチでは、TSVCベンチマークデータセットで正しいベクター化の38.2%を検証できる。
  論文  参考訳（メタデータ） (2024-06-07T07:04:26Z)
• Towards Multimodal In-Context Learning for Vision & Language Models [21.69457980865084]
  VLM(State-of-the-the-art Vision-Language Models)は、ビジョンと言語のモダリティを基盤としている。 本稿では, 効果的なデータ混合を用いた, 単純かつ驚くほど効果的なマルチターンカリキュラムベースの学習手法を提案する。
  論文  参考訳（メタデータ） (2024-03-19T13:53:37Z)
• If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
  大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練される コードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
  論文  参考訳（メタデータ） (2024-01-01T16:51:20Z)
• Towards More Unified In-context Visual Understanding [74.55332581979292]
  マルチモーダル出力を有効にした視覚理解のための新しいICLフレームワークを提案する。 まず、テキストと視覚的プロンプトの両方を量子化し、統一された表現空間に埋め込む。 次にデコーダのみのスパーストランスアーキテクチャを用いて生成モデリングを行う。
  論文  参考訳（メタデータ） (2023-12-05T06:02:21Z)
• Iterative Forward Tuning Boosts In-Context Learning in Language Models [88.25013390669845]
  本研究では,大規模言語モデル(LLM)における文脈内学習を促進する新しい2段階フレームワークを提案する。 具体的には、当社のフレームワークでは、ICLプロセスをDeep-ThinkingとTest Stageの2つの別々のステージに分類しています。 ディープシンキング段階にはユニークな注意機構、すなわち反復的な注意強化機構が組み込まれており、複数の情報の蓄積を可能にしている。
  論文  参考訳（メタデータ） (2023-05-22T13:18:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。