論文の概要: Representation Alignment from a Few Paired Data via Distilled Optimal Transport

• arxiv url: http://arxiv.org/abs/2610.12781v1
• Date: Thu, 08 Oct 2026 22:38:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.306795
• Title: Representation Alignment from a Few Paired Data via Distilled Optimal Transport
• Title（参考訳）: 蒸留最適輸送によるわずかなペアデータからの表現アライメント
• Abstract要約: N sim 100$-500$ペアが利用可能であり、一方、両サイドの未ペアのデータは豊富である。 我々の方法は、すべての表現を$N$ペアのアンカーと類似性で表現する。 我々は,既存の手法よりも優れた画像テキストと分子テキストアライメントの評価を行った。
• 参考スコア（独自算出の注目度）: 0.04132571773174947
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Aligning two independently pretrained unimodal encoders typically demands millions of paired examples. In this paper, we study the regime where only $N \sim 100$--$500$ pairs are available, while unpaired data on either side is abundant. Our method expresses every representation by its similarities to the $N$ paired anchors, which places both modalities in a common coordinate system; matches the two point clouds with a single entropic optimal transport problem solved over the entire pool, whose marginal constraints counteract the hubness that defeats nearest-neighbor matching; and distills the resulting plan into two lightweight encoders, so that the correspondence becomes inductive. We additionally put this marginal constraint in relation with the one-step hub corrections of the bilingual lexicon induction literature. Pairing is required only for the anchors: the unpaired collections may be drawn independently from the two marginals, so that no item outside the anchor set needs to have both of its modalities observed. We evaluate on image-text and molecule-text alignment, where our method outperforms existing approaches at the same anchor budget on Flickr30k, MS-COCO and ChEBI-20.
• Abstract（参考訳）: 独立に事前訓練された2つのユニモーダルエンコーダは、通常数百万のペアの例を必要とする。 本稿では,両面の未ペアデータが豊富であるのに対して,N \sim 100$-500$ペアのみが利用可能である状況について検討する。 本手法は, 共通座標系に両モードを配置する$N$ペアアンカーに類似したすべての表現を表現し, 二つの点の雲を, プール全体にわたって解いた1つのエントロピー的最適輸送問題とマッチングし, 限界制約が最寄りのマッチングを破るハブ性に反し, 得られた計画を2つの軽量エンコーダに蒸留することにより, 対応性を誘導する。 また,この限界制約をバイリンガル語彙誘導文学の一段階のハブ補正と関連づけた。 ペアリングはアンカーに対してのみ必要であり、アンカーセット以外のアイテムが両方のモダリティを観察する必要がなくなるように、アンカーコレクションは2つの限界から独立して引き出されることがある。 提案手法は,Flickr30k,MS-COCO,ChEBI-20のアンカー予算において,既存の手法よりも優れていた。

関連論文リスト

• Stability-Constrained Approximation in Spline KANs: Exact Layer Balancing and Budget-Compatible Saturation [51.56484100374058]
  我々は、ハードレイヤーワイドリプシッツ予算の下で近似を研究する。 構成条件下では、対応するレイヤエラーをキャンセルする必要はないことを示す。 クラスのすべての作用素に対して、安定した深さ-$L$タワーが存在し、累積誤差の定数分を実現できる。
  論文  参考訳（メタデータ） (2026-09-14T20:17:04Z)
• Multimodal Alignment Through Joint Kernel Entropic Gromov--Wasserstein Optimal Transport [4.633342231489067]
  構造保存型アライメントフレームワーク,ジョイントカーネルエントロピーGromov--Wasserstein Optimal Transport(JK-EGW)を提案する。 JK-EGW は2次最適輸送目標を最小化することにより、複数のモダリティを共通の潜在空間にマッピングする。 提案手法は,既存のアライメントベースラインと比較して,マルチモーダル検索性能の向上を実現する。
  論文  参考訳（メタデータ） (2026-08-04T21:21:09Z)
• Top-$k$ Pareto Bandits: Hypervolume Regret for Multi-Objective Slate Selection [48.83076933238825]
  我々は,各ラウンドにおいてエージェントが$k$アームのスレートを選択し,それらの$d$次元報酬ベクトルを半帯域フィードバック下で観察する多目的バンディット問題を考える。 この目的を、選択されたアームのサブセットによって誘導される支配的な超体積を通して定式化し、最高のサイズに対して$$$-approximate hypervolume regretを定義する。 ギャップのない後悔境界を持つ$tildeO(dsqrtnkT)$を、ギャップとともにすべてのインスタンスに保持する。
  論文  参考訳（メタデータ） (2026-07-28T21:10:39Z)
• Certified Optimal Measurement Reduction over Quantum Context Landscapes [0.0]
  RANGEを用いて,Fockproxy-co-Fockproxy-Fockproxy-Fockproxy-Fockproxy-Fockproxy-Fockproxy-Fockproxy-Fockproxy-Fockpr oxy-Fockproxy-Fockproxy-Fockproxy-Fockproxy-Fockproxy-Fockproxy-Fockproxy-Fockproxy-Fockproxy-Fockpr oxy-Fockproxy-Fockproxy-Fockproxy-Fockproxy-Fockproxy-Fockproxy-Fockproxy-Fockproxy-Fockproxy-Fockpr oxy-Fockproxy-Fockproxy-Fockproxy-Fockproxy-Fockproxy-Fockproxy-Fockproxy-Fockproxy-Fockproxy-Fockpr oxy-Fockproxy-Fockproxy-Fockproxy-Fockproxy-Fockproxy-Fockproxy-Fockproxy-Fockproxy。
  論文  参考訳（メタデータ） (2026-07-18T16:06:52Z)
• The Sample Complexity of Multiclass and Sparse Contextual Bandits [106.74652380822778]
  我々は,包括的フィードバックに基づいて,与えられたクラスからほぼ最適なポリシーを特定することを目的とする。 ゼロ・ワンの報酬を伴うバンド型マルチクラス分類に動機付けられ、emph$s$-sparse設定に焦点をあてる。 我々は、$s$-sparseの報酬で、誘導モデルクラスは、$s$でスケールするシャープなDEC境界を認め、直接最適なレートを得ることを示す。
  論文  参考訳（メタデータ） (2026-05-28T09:12:20Z)
• SEED: Targeted Data Selection by Weighted Independent Set [76.68391670109433]
  我々はSEEDと呼ばれる堅牢でスケーラブルなデータ選択パイプラインを開発した。 SEEDは、命令チューニング、視覚的命令チューニング、セマンティックセグメンテーションにおける最先端の手法を一貫して上回っている。
  論文  参考訳（メタデータ） (2026-05-15T07:26:54Z)
• Representation Without Reward: A JEPA Audit for LLM Fine-Tuning [1.2691047660244335]
  JEPA(Joint-embedding predictive Architectures)は、モデルが観測された出力よりも遅延表現を予測できるように訓練された時に、より有用な抽象化を学ぶべきであることを提案している。 自己回帰型言語モデルの微調整には、この原理はより厳密な要件を必要とする。 我々は、Llama-3.2-1B-Instruct LoRA を用いて、自然言語からレジェックス生成におけるその要件を検証した。
  論文  参考訳（メタデータ） (2026-05-14T20:27:32Z)
• Corruption-robust Offline Multi-agent Reinforcement Learning From Human Feedback [26.662444975280792]
  人間のフィードバックによるオフラインマルチエージェント強化学習におけるデータの破損に対する堅牢性について考察する。 線形マルコフゲーム(英語版)の枠組みを用いて問題をモデル化する。 我々の知る限りでは、これはオフラインのMARLHFにおけるデータ破損に対する最初の体系的な治療である。
  論文  参考訳（メタデータ） (2026-03-30T11:03:36Z)
• SOTAlign: Semi-Supervised Alignment of Unimodal Vision and Language Models via Optimal Transport [43.640561199880274]
  プラトン表現仮説(英: Platonic Representation hypothesis)は、ニューラルネットワークが世界の共有統計モデルに向かって収束するという仮説である。 最近の研究は、凍結した事前学習された視覚と言語モデルを軽量なアライメント層に整列させることによって、この収束を利用する。 我々は、極めて少ない監督で有意義なアライメントが達成できるかどうか尋ねる。 事前訓練された単調エンコーダを少数の画像テキストペアと大量の未ペアデータを用いてアライメントする半教師付き設定を導入する。
  論文  参考訳（メタデータ） (2026-02-26T18:55:06Z)
• Stochastic Linear Bandits Robust to Adversarial Attacks [117.665995707568]
  我々はロバスト位相除去アルゴリズムの2つの変種を提供し、その1つは$C$を知っており、もう1つはそうでない。 いずれの変種も、倒壊しない場合には、それぞれ$C = 0$ となり、それぞれ追加の加法項が生じる。 文脈的設定では、単純な欲求的アルゴリズムは、明示的な探索を行わず、C$を知らないにもかかわらず、ほぼ最適加法的後悔項で証明可能な堅牢性を示す。
  論文  参考訳（メタデータ） (2020-07-07T09:00:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。