論文の概要: inversedMixup: Data Augmentation via Inverting Mixed Embeddings

• arxiv url: http://arxiv.org/abs/2601.21543v1
• Date: Thu, 29 Jan 2026 11:00:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-30 16:22:49.749527
• Title: inversedMixup: Data Augmentation via Inverting Mixed Embeddings
• Title（参考訳）: InversedMixup: 混合埋め込みの反転によるデータ拡張
• Authors: Fanshuang Kong, Richong Zhang, Qiyu Sun, Zhijie Nie, Ting Deng, Chunming Hu,
• Abstract要約: Mixupは、入力とラベルを制御可能な比で線形に補間することで、拡張サンプルを生成する。 InversedMixupは、Mixupの制御可能性とLLMベースの生成の解釈可能性を組み合わせる。
• 参考スコア（独自算出の注目度）: 45.12897360336728
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mixup generates augmented samples by linearly interpolating inputs and labels with a controllable ratio. However, since it operates in the latent embedding level, the resulting samples are not human-interpretable. In contrast, LLM-based augmentation methods produce sentences via prompts at the token level, yielding readable outputs but offering limited control over the generation process. Inspired by recent advances in LLM inversion, which reconstructs natural language from embeddings and helps bridge the gap between latent embedding space and discrete token space, we propose inversedMixup, a unified framework that combines the controllability of Mixup with the interpretability of LLM-based generation. Specifically, inversedMixup adopts a three-stage training procedure to align the output embedding space of a task-specific model with the input embedding space of an LLM. Upon successful alignment, inversedMixup can reconstruct mixed embeddings with a controllable mixing ratio into human-interpretable augmented sentences, thereby improving the augmentation performance. Additionally, inversedMixup provides the first empirical evidence of the manifold intrusion phenomenon in text Mixup and introduces a simple yet effective strategy to mitigate it. Extensive experiments demonstrate the effectiveness and generalizability of our approach in both few-shot and fully supervised scenarios.
• Abstract（参考訳）: Mixupは、入力とラベルを制御可能な比で線形に補間することで、拡張サンプルを生成する。 しかし、潜伏した埋め込みレベルで機能するため、結果として得られるサンプルは人間に解釈できない。 対照的に、LLMベースの拡張法はトークンレベルでのプロンプトを通じて文を生成し、読み出し可能な出力を出力するが、生成プロセスに対する限定的な制御を提供する。 埋め込みから自然言語を再構築し,遅延埋め込み空間と離散トークン空間のギャップを埋めるLLMインバージョンにおける最近の進歩に着想を得て,Mixupの制御性とLLMベースの生成の解釈性を組み合わせた統一フレームワークであるInversedMixupを提案する。 具体的には、 inversedMixupは3段階のトレーニング手順を採用し、タスク固有モデルの出力埋め込み空間とLSMの入力埋め込み空間を整列する。 InversedMixupは、アライメントが成功すると、人間の解釈可能な拡張文への混合混合比で混合埋め込みを再構成し、拡張性能を向上させる。 さらに inversedMixup は、テキスト Mixup で多様体の侵入現象に関する最初の実証的な証拠を提供し、それを緩和するための単純かつ効果的な戦略を導入している。 広範にわたる実験は、少数のシナリオと完全に監督されたシナリオの両方において、我々のアプローチの有効性と一般化性を示す。

関連論文リスト

• Following the Autoregressive Nature of LLM Embeddings via Compression and Alignment [84.74716380180428]
  本稿では,条件付き確率分布を埋め込んだコントラスト学習手法であるAutoRegEmbedを提案する。 本手法は従来のコントラスト学習手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-02-17T03:36:25Z)
• KL-geodesics flow matching with a novel sampling scheme [4.347494885647007]
  非自己回帰型言語モデルは全てのトークンを同時に生成し、従来の自己回帰型モデルよりも潜在的に高速である。 テキスト生成のための条件付きフローマッチング手法について検討する。
  論文  参考訳（メタデータ） (2024-11-25T17:15:41Z)
• ShuffleMix: Improving Representations via Channel-Wise Shuffle of Interpolated Hidden States [41.628854241259226]
  本稿では,ShuffleMix-Shuffle of Mixed hidden featuresを紹介する。 われわれのShuffleMix法は,特徴混在管理のためにランダムに選択された単純な線形シャッフル特徴チャネルを好んでいる。 直接競合と比較して、提案されたShuffleMixはより優れた一般化を得ることができる。
  論文  参考訳（メタデータ） (2023-05-30T01:53:34Z)
• Harnessing Hard Mixed Samples with Decoupled Regularizer [69.98746081734441]
  Mixupは、決定境界を混合データで滑らかにすることで、ニューラルネットワークの一般化を改善する効率的なデータ拡張アプローチである。 本稿では,非結合型正規化器(Decoupled Mixup, DM)を用いた効率的な混合目標関数を提案する。 DMは、ミキシングの本来の滑らかさを損なうことなく、硬質混合試料を適応的に利用して識別特性をマイニングすることができる。
  論文  参考訳（メタデータ） (2022-03-21T07:12:18Z)
• Modal Regression based Structured Low-rank Matrix Recovery for Multi-view Learning [70.57193072829288]
  近年、低ランクなマルチビューサブスペース学習は、クロスビューの分類において大きな可能性を示している。 既存のLMvSLベースの手法では、ビューの区別と差別を同時に扱うことができない。 本稿では,視差を効果的に除去し,識別性を向上する独自の方法であるStructured Low-rank Matrix Recovery (SLMR)を提案する。
  論文  参考訳（メタデータ） (2020-03-22T03:57:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。