論文の概要: MetaEncoder: Exploring the Limit of Bi-Encoders for Multimodal System One Decision Making with Natural Language Interface

• arxiv url: http://arxiv.org/abs/2610.11316v1
• Date: Thu, 08 Oct 2026 06:22:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.831343
• Title: MetaEncoder: Exploring the Limit of Bi-Encoders for Multimodal System One Decision Making with Natural Language Interface
• Title（参考訳）: MetaEncoder: 自然言語インタフェースを用いたマルチモーダルシステム1決定のためのバイエンコーダの限界探索
• Abstract要約: 本稿では,Muse-Glimmer 30Bデコーダを命令追従決定エンコーダに微調整するメタエンコーダを紹介する。 我々は、マルチモーダルな意思決定、理解(クローズドセット)、検索(オープンセット)にまたがる11のベンチマークスイートと190のタスクに対して広範な評価を行う。
• 参考スコア（独自算出の注目度）: 20.45514565522567
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: System One models output constrained decisions and probability distributions rather than free-form text generation. While prevailing paradigms rely on structured schema objects to encode state, intent, and candidate choices, we revisit a fully natural language-based System One interface. In this framework, both the user request and each candidate option are expressed in natural language, supported by multimodal (image and video) auxiliary inputs. We introduce MetaEncoder, which fine-tunes a pre-trained Muse-Glimmer 30B decoder into an instruction-following decision-making encoder. To scale effectively across both small closed-set (< 256) and massive open-set (millions) candidate spaces, MetaEncoder employs a bi-encoder architecture trained via unidirectional contrastive learning for request-candidate alignment. We conduct extensive evaluations across 11 benchmark suites and 190 tasks spanning multimodal decision-making, understanding (closed-set) and retrieval (open-set), highlighting where MetaEncoder beats SOTA multimodal encoders, as well as its current limits on reasoning-intensive tasks.
• Abstract（参考訳）: システム1モデルは、自由形式のテキスト生成ではなく、制約付き決定と確率分布を出力する。 一般的なパラダイムは、状態、意図、および候補選択をエンコードする構造化スキーマオブジェクトに依存していますが、完全に自然言語ベースのSystem Oneインターフェースを再考します。 このフレームワークでは、ユーザ要求と各候補オプションの両方が自然言語で表現され、マルチモーダル(画像とビデオ)補助入力がサポートされている。 本稿では,Muse-Glimmer 30Bデコーダを命令追従決定エンコーダに微調整するメタエンコーダを紹介する。 小さいクローズドセット(<256)と巨大なオープンセット(数百万)候補空間の両方を効果的にスケールするために、MetaEncoderは、要求候補アライメントのための一方向のコントラスト学習を通じてトレーニングされたバイエンコーダアーキテクチャを使用している。 我々は、マルチモーダル意思決定、理解(クローズドセット)、検索(オープンセット)にまたがる11のベンチマークスイートと190のタスクにわたる広範囲な評価を行い、MetaEncoderがSOTAマルチモーダルエンコーダを打ち負かす場所、および推論集約タスクに対する現在の制限を強調した。

関連論文リスト

• Multilingual Word-Level Forced Alignment with Self-Supervised Representations and Learned Dynamic Programming [8.651679612591758]
  本稿では,アライメントエンコーダと学習アライメントデコーダからなる,高精度な多言語単語レベル強制アライメント手法を提案する。 エンコーダは2つの表現を統合する: 1つはMMSモデルからのもので、もう1つは自己教師型音素境界検出器(UnSupSeg)からのものである。 長い時間的文脈において、それらと融合し、単語境界確率を推定することを学ぶ。 アライメントデコーダは、エンコーダ出力とMMSおよびUnSupSeg表現上のセグメント特徴を組み合わせて最終単語境界を推測する学習された動的プログラミングである。
  論文  参考訳（メタデータ） (2026-06-09T10:27:59Z)
• METEOR: Multi-Encoder Collaborative Token Pruning for Efficient Vision Language Models [92.37117312251755]
  プログレッシブプルーニングフレームワークであるMulti-Encoder collaboraTivE tOken pRuning (METEOR)を提案する。 マルチビジョン符号化では,各エンコーダ内の冗長トークンをランク誘導型協調トークン代入戦略により破棄する。 マルチビジョン融合では、異なるエンコーダの視覚的特徴を組み合わせながら、コラボレーティブプルーニングによるクロスエンコーダ冗長性を低減させる。
  論文  参考訳（メタデータ） (2025-07-28T13:50:53Z)
• i-Code V2: An Autoregressive Generation Framework over Vision, Language, and Speech Data [101.52821120195975]
  i-Code V2は、視覚、言語、音声データの組み合わせから自然言語を生成することができる最初のモデルである。 システムは、デュアルモダリティとシングルモダリティのデータセットの大規模なコレクション上で、エンドツーエンドで事前訓練される。
  論文  参考訳（メタデータ） (2023-05-21T01:25:44Z)
• LegoNN: Building Modular Encoder-Decoder Models [117.47858131603112]
  最先端のエンコーダ・デコーダモデルは、原子単位として構築され、訓練されたエンドツーエンドである。 モデルのどのコンポーネントも他のコンポーネントなしでは(再)使用できないため、部品の共有は不可能です。 LegoNNは、エンコーダ-デコーダアーキテクチャを、微調整を必要とせずに、その部品を他のタスクに適用できる方法で構築する手順である。
  論文  参考訳（メタデータ） (2022-06-07T14:08:07Z)
• VX2TEXT: End-to-End Learning of Video-Based Text Generation From Multimodal Inputs [103.99315770490163]
  本稿では,ビデオ+テキスト,音声,音声によるマルチモーダル入力からテキストを生成するフレームワークを提案する。 実験により、一つのアーキテクチャに基づくアプローチは、3つのビデオベースのテキスト生成タスクにおいて最先端のタスクより優れていることが示された。
  論文  参考訳（メタデータ） (2021-01-28T15:22:36Z)
• Multilingual Machine Translation: Closing the Gap between Shared and Language-specific Encoder-Decoders [20.063065730835874]
  最先端の多言語機械翻訳はユニバーサルエンコーダデコーダに依存している。 本稿では,言語固有のエンコーダデコーダに基づく代替手法を提案する。
  論文  参考訳（メタデータ） (2020-04-14T15:02:24Z)
• Bi-Decoder Augmented Network for Neural Machine Translation [108.3931242633331]
  本稿では,ニューラルマシン翻訳タスクのためのBi-Decoder Augmented Network (BiDAN)を提案する。 各デコーダは入力されたテキストの表現を対応する言語に変換するため、2つの目的語と共同でトレーニングすることで、共有エンコーダは言語に依存しない意味空間を生成することができる。
  論文  参考訳（メタデータ） (2020-01-14T02:05:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。