論文の概要: inversedMixup: Data Augmentation via Inverting Mixed Embeddings
- arxiv url: http://arxiv.org/abs/2601.21543v1
- Date: Thu, 29 Jan 2026 11:00:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-30 16:22:49.749527
- Title: inversedMixup: Data Augmentation via Inverting Mixed Embeddings
- Title（参考訳）: InversedMixup: 混合埋め込みの反転によるデータ拡張
- Authors: Fanshuang Kong, Richong Zhang, Qiyu Sun, Zhijie Nie, Ting Deng, Chunming Hu,
- Abstract要約: Mixupは、入力とラベルを制御可能な比で線形に補間することで、拡張サンプルを生成する。
InversedMixupは、Mixupの制御可能性とLLMベースの生成の解釈可能性を組み合わせる。
- 参考スコア（独自算出の注目度）: 45.12897360336728
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Mixup generates augmented samples by linearly interpolating inputs and labels with a controllable ratio. However, since it operates in the latent embedding level, the resulting samples are not human-interpretable. In contrast, LLM-based augmentation methods produce sentences via prompts at the token level, yielding readable outputs but offering limited control over the generation process. Inspired by recent advances in LLM inversion, which reconstructs natural language from embeddings and helps bridge the gap between latent embedding space and discrete token space, we propose inversedMixup, a unified framework that combines the controllability of Mixup with the interpretability of LLM-based generation. Specifically, inversedMixup adopts a three-stage training procedure to align the output embedding space of a task-specific model with the input embedding space of an LLM. Upon successful alignment, inversedMixup can reconstruct mixed embeddings with a controllable mixing ratio into human-interpretable augmented sentences, thereby improving the augmentation performance. Additionally, inversedMixup provides the first empirical evidence of the manifold intrusion phenomenon in text Mixup and introduces a simple yet effective strategy to mitigate it. Extensive experiments demonstrate the effectiveness and generalizability of our approach in both few-shot and fully supervised scenarios.
- Abstract（参考訳）: Mixupは、入力とラベルを制御可能な比で線形に補間することで、拡張サンプルを生成する。
しかし、潜伏した埋め込みレベルで機能するため、結果として得られるサンプルは人間に解釈できない。
対照的に、LLMベースの拡張法はトークンレベルでのプロンプトを通じて文を生成し、読み出し可能な出力を出力するが、生成プロセスに対する限定的な制御を提供する。
埋め込みから自然言語を再構築し,遅延埋め込み空間と離散トークン空間のギャップを埋めるLLMインバージョンにおける最近の進歩に着想を得て,Mixupの制御性とLLMベースの生成の解釈性を組み合わせた統一フレームワークであるInversedMixupを提案する。
具体的には、 inversedMixupは3段階のトレーニング手順を採用し、タスク固有モデルの出力埋め込み空間とLSMの入力埋め込み空間を整列する。
InversedMixupは、アライメントが成功すると、人間の解釈可能な拡張文への混合混合比で混合埋め込みを再構成し、拡張性能を向上させる。
さらに inversedMixup は、テキスト Mixup で多様体の侵入現象に関する最初の実証的な証拠を提供し、それを緩和するための単純かつ効果的な戦略を導入している。
広範にわたる実験は、少数のシナリオと完全に監督されたシナリオの両方において、我々のアプローチの有効性と一般化性を示す。
関連論文リスト
- Rejection Mixing: Fast Semantic Propagation of Mask Tokens for Efficient DLLM Inference [58.189320101488725]
DLLMは高速な非自己回帰推論を約束するが、並列デコーディングにおいて厳しい品質と速度のトレードオフを被る。
我々は、連続表現を離散デコードプロセスに統合することでこの問題に対処する。
本稿では,初期マスキング状態と最終復号化トークン状態の中間として,新しい連続混合状態を導入するフレームワークであるReMixを提案する。
論文 参考訳（メタデータ） (2026-02-26T11:08:11Z) - Following the Autoregressive Nature of LLM Embeddings via Compression and Alignment [84.74716380180428]
本稿では,条件付き確率分布を埋め込んだコントラスト学習手法であるAutoRegEmbedを提案する。
本手法は従来のコントラスト学習手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2025-02-17T03:36:25Z) - KL-geodesics flow matching with a novel sampling scheme [4.347494885647007]
非自己回帰型言語モデルは全てのトークンを同時に生成し、従来の自己回帰型モデルよりも潜在的に高速である。
テキスト生成のための条件付きフローマッチング手法について検討する。
論文 参考訳（メタデータ） (2024-11-25T17:15:41Z) - Bridging the Gap between Different Vocabularies for LLM Ensemble [10.669552498083709]
様々な大言語モデル(LLM)における語彙の相違は、これまでの研究を制約してきた。
語彙アライメント(EVA)を用いたLLMのアンサンブル手法を提案する。
EVAは様々なLLM間の語彙ギャップを橋渡しし、各生成ステップで巧妙にアンサンブルすることができる。
論文 参考訳（メタデータ） (2024-04-15T06:28:20Z) - Fast Semisupervised Unmixing Using Nonconvex Optimization [80.11512905623417]
半/ライブラリベースのアンミックスのための新しい凸凸モデルを提案する。
スパース・アンミキシングの代替手法の有効性を実証する。
論文 参考訳（メタデータ） (2024-01-23T10:07:41Z) - ShuffleMix: Improving Representations via Channel-Wise Shuffle of
Interpolated Hidden States [41.628854241259226]
本稿では,ShuffleMix-Shuffle of Mixed hidden featuresを紹介する。
われわれのShuffleMix法は,特徴混在管理のためにランダムに選択された単純な線形シャッフル特徴チャネルを好んでいる。
直接競合と比較して、提案されたShuffleMixはより優れた一般化を得ることができる。
論文 参考訳（メタデータ） (2023-05-30T01:53:34Z) - Harnessing Hard Mixed Samples with Decoupled Regularizer [69.98746081734441]
Mixupは、決定境界を混合データで滑らかにすることで、ニューラルネットワークの一般化を改善する効率的なデータ拡張アプローチである。
本稿では,非結合型正規化器(Decoupled Mixup, DM)を用いた効率的な混合目標関数を提案する。
DMは、ミキシングの本来の滑らかさを損なうことなく、硬質混合試料を適応的に利用して識別特性をマイニングすることができる。
論文 参考訳（メタデータ） (2022-03-21T07:12:18Z) - Modifications of FastICA in Convolutive Blind Source Separation [5.770800671793959]
コンボリューティブブラインドソース分離(BSS)は、そのコンボリューティブ混合物から未知の成分を回収することを目的としている。
空間時間前白化段階とパラユニタリフィルタ制約は、複雑な文脈で実装することが困難である。
我々はこれらの問題を軽減するために、FastICAのいくつかの修正を提案する。
論文 参考訳（メタデータ） (2021-07-24T13:29:55Z) - SMILE: Self-Distilled MIxup for Efficient Transfer LEarning [42.59451803498095]
本研究では, SMILE-Self-Distilled Mixup for EffIcient Transfer LEarningを提案する。
混合画像を入力として、SMILEはCNN特徴抽出器の出力を正規化し、入力の混合特徴ベクトルから学習する。
トリプルレギュラライザーは、特徴空間とラベル空間の両方で混合効果のバランスをとりながら、前訓練タスクのサンプル間の線形性をバインドします。
論文 参考訳（メタデータ） (2021-03-25T16:02:21Z) - Modal Regression based Structured Low-rank Matrix Recovery for
Multi-view Learning [70.57193072829288]
近年、低ランクなマルチビューサブスペース学習は、クロスビューの分類において大きな可能性を示している。
既存のLMvSLベースの手法では、ビューの区別と差別を同時に扱うことができない。
本稿では,視差を効果的に除去し,識別性を向上する独自の方法であるStructured Low-rank Matrix Recovery (SLMR)を提案する。
論文 参考訳（メタデータ） (2020-03-22T03:57:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。