論文の概要: The Importance of Encoder Choice:A Tabular-Image Study

• arxiv url: http://arxiv.org/abs/2607.07756v1
• Date: Wed, 08 Jul 2026 14:01:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-10 14:45:27.288832
• Title: The Importance of Encoder Choice:A Tabular-Image Study
• Title（参考訳）: エンコーダ選択の重要性:タブラ画像による検討
• Abstract要約: 本研究では,画像タブラリ設定におけるエンコーダとして,最先端モデルの評価を行った。 In-Context Learningモデルでは、ラベルがインスタンスを処理する必要があるため、トレーニングやテストインスタンスを同じように組み込むのは簡単ではない。
• 参考スコア（独自算出の注目度）: 8.522187846798579
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal learning usually requires a dedicated encoder per modality. When a tabular modality is involved, prior work has been mostly using a \emph{plain MLP} as the encoder. Yet if it were a strong encoder, the tabular domain would not be ``the last unconquered castle for deep learning''. This study evaluates state-of-the-art tabular models as encoders in the image-tabular setting for the first time. An obstacle stands out. In-Context Learning models, among the best performing methods in the tabular domain, require labels to process instances, making it non-trivial to embed training and test instances the same way. We addressed this problem across multiple models of this family. With this study, we would like to highlight the importance of encoder factor in the multimodal learning.
• Abstract（参考訳）: マルチモーダル学習は通常、モーダルごとに専用のエンコーダを必要とする。 表形式のモダリティが関与する場合、以前の作業は主にエンコーダとして \emph{plain MLP} を使用していた。 しかし、もしそれが強大なエンコーダであったならば、表の領域は「深層学習のための最後の未完成の城」ではないだろう。 本研究では,画像タブラリ設定において,最先端の表形式モデルをエンコーダとして初めて評価する。 障害物が目立つ。 コンテキスト学習モデル(In-Context Learning model)は、表領域でもっとも優れた実行方法の1つで、ラベルがインスタンスを処理する必要があるため、トレーニングやテストインスタンスを同じ方法で埋め込むのは簡単ではない。 我々は、この家族の複数のモデルにまたがってこの問題に対処した。 本研究では,マルチモーダル学習におけるエンコーダ因子の重要性を強調したい。

関連論文リスト

• Extracting Text Representations for Terms and Phrases in Technical Domains [9.27244202193623]
  そこで本研究では,大容量の事前学習組込み行列を再構築する目的で,小文字モデルを用いたテキスト符号化手法を提案する。 このアプローチでトレーニングされたモデルは、技術領域における文エンコーダの品質に適合するだけでなく、5倍小さく、最大10倍高速である。
  論文  参考訳（メタデータ） (2023-05-25T08:59:36Z)
• A Study of Autoregressive Decoders for Multi-Tasking in Computer Vision [93.90545426665999]
  マルチモーダルコンピュータビジョンにおけるマルチタスク学習のための自動回帰デコーダについて詳しく検討する。 鍵となる発見は、凍結した事前訓練されたエンコーダの上で学んだ小さなデコーダが驚くほどうまく機能していることである。 これはデコーダに自然言語で事前訓練された視覚モデルと対話するように教えるものであると見なすことができる。
  論文  参考訳（メタデータ） (2023-03-30T13:42:58Z)
• Discrete Key-Value Bottleneck [95.61236311369821]
  ディープニューラルネットワークは、データストリームがi.d.d.であり、ラベル付きデータが豊富である分類タスクでうまく機能する。 この課題に対処した強力なアプローチの1つは、手軽に利用可能なデータ量に対する大規模なエンコーダの事前トレーニングと、タスク固有のチューニングである。 しかし、新しいタスクを考えると、多くの重みを微調整する必要があるため、エンコーダの重みを更新することは困難であり、その結果、以前のタスクに関する情報を忘れてしまう。 この問題に対処するモデルアーキテクチャを提案し,個別かつ学習可能なキー値符号のペアを含む離散的ボトルネックの上に構築する。
  論文  参考訳（メタデータ） (2022-07-22T17:52:30Z)
• ED2LM: Encoder-Decoder to Language Model for Faster Document Re-ranking Inference [70.36083572306839]
  本稿では,再ランク付けのための新しいトレーニングおよび推論パラダイムを提案する。 文書形式を用いて事前訓練したエンコーダ・デコーダモデルを精査し,クエリ生成を行う。 このエンコーダ-デコーダアーキテクチャは,推論中にデコーダのみの言語モデルに分解可能であることを示す。
  論文  参考訳（メタデータ） (2022-04-25T06:26:29Z)
• Rethinking Semantic Segmentation: A Prototype View [126.59244185849838]
  学習不可能なプロトタイプをベースとした非パラメトリックセマンティックセマンティックセマンティクスモデルを提案する。 我々のフレームワークは、いくつかのデータセットに対して魅力的な結果をもたらす。 この作業が、現在のデファクトセマンティックセグメンテーションモデル設計を再考することを期待しています。
  論文  参考訳（メタデータ） (2022-03-28T21:15:32Z)
• Implicit Autoencoder for Point-Cloud Self-Supervised Representation Learning [39.521374237630766]
  最もポピュラーでアクセスしやすい3D表現、すなわち点雲は、下層の連続した3D表面の離散的なサンプルを含む。 この離散化プロセスは3次元形状のサンプリングのバリエーションを導入し、真の3次元幾何学の伝達可能な知識を開発するのが困難になる。 標準的なオートエンコーディングパラダイムでは、エンコーダは3D形状だけでなく、3D形状の特定の離散サンプリングに関する情報を潜在コードにエンコードする。 これは、デコーダによって再構成された点雲が、原点と再構成された点との完全なマッピングがない限り、受け入れられないためである。
  論文  参考訳（メタデータ） (2022-01-03T18:05:52Z)
• Sparsity and Sentence Structure in Encoder-Decoder Attention of Summarization Systems [38.672160430296536]
  トランスフォーマーモデルは、要約を含む幅広いNLPタスクにおいて最先端の結果を得た。 これまでの研究は、エンコーダの二次的自己保持機構という、重要なボトルネックに重点を置いてきた。 この研究はトランスのエンコーダ・デコーダのアテンション機構に焦点を当てている。
  論文  参考訳（メタデータ） (2021-09-08T19:32:42Z)
• Regularized Forward-Backward Decoder for Attention Models [5.257115841810258]
  トレーニング期間中に第2復号器を組み込んだ新たな正規化手法を提案する。 このデコーダは、事前に時間反転ターゲットラベルに最適化されており、将来の文脈から知識を追加することで、トレーニング中に標準デコーダをサポートする。 より小さなTEDLiumv2とより大きなLibriSpeechデータセットに対する我々のアプローチを評価し、両者で一貫した改善を実現した。
  論文  参考訳（メタデータ） (2020-06-15T16:04:16Z)
• Does Multi-Encoder Help? A Case Study on Context-Aware Neural Machine Translation [45.28625502349165]
  文脈エンコーダは周囲の文を符号化するだけでなく、ノイズ発生器として振る舞う。 これにより、コンテキスト対応翻訳におけるマルチエンコーダの真のメリットを再考することができる。 IWSLT Fr-Enタスクでは,ノイズ生成とドロップアウト手法を慎重に利用することで,新しい最先端のタスクを構築できる。
  論文  参考訳（メタデータ） (2020-05-07T11:39:11Z)
• A Transformer-based Approach for Source Code Summarization [86.08359401867577]
  コードトークン間のペア関係をモデル化することにより,要約のためのコード表現を学習する。 アプローチは単純であるにもかかわらず、最先端技術よりもかなりの差があることが示される。
  論文  参考訳（メタデータ） (2020-05-01T23:29:36Z)
• Towards Modular Algorithm Induction [63.15443906294536]
  Mainは可変長入力テープと相互作用するニューラルコントローラで構成されている。 モジュールを対応する引数の選択とともに構成することを学ぶ。 Mainは、一連のインプット・アウトプット・サンプルから強化学習を使用して、エンドツーエンドでトレーニングされている。
  論文  参考訳（メタデータ） (2020-02-27T22:05:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。