論文の概要: Beyond Demonstrations: Dynamic Vector Construction from Latent Representations

• arxiv url: http://arxiv.org/abs/2505.20318v1
• Date: Fri, 23 May 2025 12:13:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-28 17:05:58.165204
• Title: Beyond Demonstrations: Dynamic Vector Construction from Latent Representations
• Title（参考訳）: デモを超えて - 潜在表現による動的ベクトル構築
• Authors: Wang Cai, Hsiu-Yuan Huang, Zhixiang Wang, Yunfang Wu,
• Abstract要約: In-Context derived Vector (ICV)メソッドは、大きな言語モデル(LLM)からタスク関連表現を抽出し、推論中に再注入する。 DyVecは、推論時タスク適応のための軽量でデータ効率のソリューションを提供する。
• 参考スコア（独自算出の注目度）: 11.916165865594365
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In-Context derived Vector (ICV) methods extract task-relevant representations from large language models (LLMs) and reinject them during inference, achieving comparable performance to few-shot In-Context Learning (ICL) without repeated demonstration processing. However, existing ICV methods remain sensitive to ICL-specific factors, often use coarse or semantically fragmented representations as the source of the vector, and rely on heuristic-based injection positions, limiting their applicability. To address these issues, we propose Dynamic Vector (DyVec), which incorporates an Exhaustive Query Rotation (EQR) strategy to extract robust semantically aggregated latent representations by mitigating variance introduced by ICL. It then applies Dynamic Latent Segmentation and Injection to adaptively partition representations based on task complexity and leverages REINFORCE-based optimization to learn optimal injection positions for each segment. Experiments results show that DyVec outperforms few-shot ICL, LoRA, and prior ICV baselines. Further analysis highlights the effectiveness of dynamically segmenting and injecting semantically aggregated latent representations. DyVec provides a lightweight and data-efficient solution for inference-time task adaptation.
• Abstract（参考訳）: In-Context derived Vector (ICV) 法は,大規模言語モデル (LLM) からタスク関連表現を抽出し,推論中に再帰する。 しかし、既存のICV法はICL固有の要因に敏感であり、しばしばベクトルのソースとして粗いあるいは意味的に断片化された表現を使用し、ヒューリスティックな注入位置に依存し、適用性を制限する。 これらの問題に対処するため、我々は、ICLが導入した分散を緩和し、ロバストな意味的に集約された潜在表現を抽出するExhaustive Query Rotation (EQR)戦略を取り入れたDynamic Vector (DyVec)を提案する。 次に、動的遅延分割とインジェクションを適用し、タスクの複雑さに基づいて表現を適応的に分割し、REINFORCEベースの最適化を利用して各セグメントの最適なインジェクション位置を学習する。 実験の結果、DyVecはICL、LORA、およびそれ以前のICVベースラインよりも優れていた。 さらに分析は、動的セグメンテーションと意味的に集約された潜在表現の注入の有効性を強調している。 DyVecは、推論時タスク適応のための軽量でデータ効率のソリューションを提供する。

関連論文リスト

• Towards Scalable Semantic Representation for Recommendation [65.06144407288127]
  大規模言語モデル(LLM)に基づく意味的IDを構築するために、Mixture-of-Codesを提案する。 提案手法は,識別性と寸法の堅牢性に優れたスケーラビリティを実現し,提案手法で最高のスケールアップ性能を実現する。
  論文  参考訳（メタデータ） (2024-10-12T15:10:56Z)
• Implicit In-context Learning [37.0562059811099]
  Inlicit In-context Learning (I2CL)は、ICLの推論コストを最小限の情報損失でゼロショット学習に還元する革新的なパラダイムである。 I2CLはゼロショット推論コストで数ショットレベルのパフォーマンスを実現し、実演例のバリエーションに対して堅牢性を示す。
  論文  参考訳（メタデータ） (2024-05-23T14:57:52Z)
• Reflection Invariance Learning for Few-shot Semantic Segmentation [53.20466630330429]
  Few-shot semantic segmentation (FSS) は、いくつかのアノテーション付きサポートイメージを持つクエリイメージにおいて、目に見えないクラスのオブジェクトをセグメントすることを目的としている。 本稿では,マルチビューマッチング方式でリフレクション不変性をマイニングするための,新しい数ショットセグメンテーションフレームワークを提案する。 PASCAL-$5textiti$とCOCO-$20textiti$データセットの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2023-06-01T15:14:58Z)
• Iterative Forward Tuning Boosts In-Context Learning in Language Models [88.25013390669845]
  本研究では,大規模言語モデル(LLM)における文脈内学習を促進する新しい2段階フレームワークを提案する。 具体的には、当社のフレームワークでは、ICLプロセスをDeep-ThinkingとTest Stageの2つの別々のステージに分類しています。 ディープシンキング段階にはユニークな注意機構、すなわち反復的な注意強化機構が組み込まれており、複数の情報の蓄積を可能にしている。
  論文  参考訳（メタデータ） (2023-05-22T13:18:17Z)
• Semantics-Aware Dynamic Localization and Refinement for Referring Image Segmentation [102.25240608024063]
  画像の参照は、言語表現からのイメージセグメントを参照する。 そこで我々は,局所化中心からセグメンテーション言語へ移行するアルゴリズムを開発した。 比較すると,本手法はより汎用的で有効である。
  論文  参考訳（メタデータ） (2023-03-11T08:42:40Z)
• Adaptive Discrete Communication Bottlenecks with Dynamic Vector Quantization [76.68866368409216]
  入力に条件付けされた離散化の厳密度を動的に選択する学習を提案する。 コミュニケーションボトルネックの動的に変化する厳密さは、視覚的推論や強化学習タスクにおけるモデル性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-02-02T23:54:26Z)
• Adversarial Feature Augmentation and Normalization for Visual Recognition [109.6834687220478]
  最近のコンピュータビジョンの進歩は、分類モデルの一般化能力を改善するために、逆データ拡張を利用する。 本稿では,中間的特徴埋め込みにおける敵対的拡張を提唱する効率的かつ効率的な代替手法を提案する。 代表的なバックボーンネットワークを用いて,多様な視覚認識タスクにまたがる提案手法を検証する。
  論文  参考訳（メタデータ） (2021-03-22T20:36:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。