論文の概要: TRACE: Training-aware Robustness and Challenge Evaluation for Text-Vision Embedding Models

• arxiv url: http://arxiv.org/abs/2610.26993v1
• Date: Mon, 19 Oct 2026 07:38:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.415987
• Title: TRACE: Training-aware Robustness and Challenge Evaluation for Text-Vision Embedding Models
• Title（参考訳）: TRACE:テキストビジョン埋め込みモデルの学習用ロバストネスと課題評価
• Abstract要約: 既存のテキストビジョン埋め込みモデルのベンチマークでは、パフォーマンスが一般的な能力、タスク固有の適応、あるいは困難なタスクに対する堅牢性から生じるかどうかを曖昧にしている集計スコアが報告されている。 TRACEは168のタスクを,一般,適応性,挑戦の3つのカテゴリに再編成する,トレーニング対応のロバストネス・チャレンジ評価フレームワークである。
• 参考スコア（独自算出の注目度）: 7.011342089269763
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing benchmarks for text-vision embedding models report aggregate scores that obscure whether performance comes from general capabilities, task-specific adaptation, or robustness to challenging tasks. We introduce TRACE, a Training-aware Robustness and Challenge Evaluation framework that reorganizes 168 tasks from various sources of datasets into three categories: General, Adaptability, and Challenge. Through controlled experiments on two text-vision embedding models, we show that combining general and adaptation data improves Adaptability performance by 7.67 and 7.09 points, respectively, while largely preserving General performance. However, Challenge performance remains below 5.0, with limited improvements from additional training data. Further analysis identifies multilingual and visual-document tasks as major weaknesses. Our findings demonstrate that data adaptation alone is insufficient to address these challenges, highlighting the need for methodological advances beyond data-centric improvements.
• Abstract（参考訳）: 既存のテキストビジョン埋め込みモデルのベンチマークでは、パフォーマンスが一般的な能力、タスク固有の適応、あるいは困難なタスクに対する堅牢性から生じるかどうかを曖昧にしている集計スコアが報告されている。 TRACEはトレーニング対応のロバストネス・チャレンジ評価フレームワークで、さまざまなデータセットソースから168のタスクを、General, Adaptability, Challengeの3つのカテゴリに編成する。 2つのテキスト・ビジョン・埋め込みモデルにおける制御実験により,汎用データと適応データを組み合わせた場合,適応性は7.67点,適応性は7.09点向上するが,一般性はほとんど保たないことがわかった。 しかし、Challengeのパフォーマンスは5.0以下であり、追加のトレーニングデータによる改善は限られている。 さらなる分析では、多言語および視覚文書タスクを大きな弱点として認識している。 以上の結果から,データ適応だけではこれらの課題に対処できないことが示され,データ中心の改善以上の方法論的進歩の必要性が浮き彫りになった。

関連論文リスト

• Reasoning-Informed Visual Editing [68.83915912861197]
  RISEBenchはReasoning-Informed ViSual Editing (RISE)の最初のベンチマークである。 より包括的できめ細かいベンチマークであるRISEBench++に拡張しています。 我々は,34のオープンソースモデル,19のクローズドソースモデル,5つのエージェントメソッドを含む58のビジュアル編集手法を評価した。
  論文  参考訳（メタデータ） (2026-10-08T17:15:58Z)
• Three Concrete Challenges and Two Hopes for the Safety of Unsupervised Elicitation [2.5107780917370985]
  評価に使用されるデータセットは過度に最適化評価結果をもたらす可能性があると我々は主張する。 多くの現実世界のデータセットとは異なり、それらには真実性よりもサリエンスな特徴がないことが多い。 これらの特性を欠いたデータセットを構築し、標準的教師なし推論と容易にハードな一般化手法をストレステストする。
  論文  参考訳（メタデータ） (2026-02-23T22:39:40Z)
• Adapting Vision-Language Models Without Labels: A Comprehensive Survey [74.17944178027015]
  VLM(Vision-Language Models)は、幅広いタスクにまたがる顕著な一般化機能を示す。 近年,ラベル付きデータに依存しない教師なし適応手法に注目が集まっている。 本稿では,未ラベルの視覚データの可用性と性質に基づく分類法を提案し,既存のアプローチを4つの重要なパラダイムに分類する。
  論文  参考訳（メタデータ） (2025-08-07T16:27:37Z)
• ChartMuseum: Testing Visual Reasoning Capabilities of Large Vision-Language Models [48.99485386990197]
  視覚的推論によってのみ解決可能な合成データセットを用いてケーススタディを行う。 次に、1,162人の専門家が注釈を付けた質問を含む新しいチャート質問回答(QA)ベンチマークであるChartMuseumを紹介します。 人間は93%の精度を達成しているが、最高のパフォーマンスモデルであるGemini-2.5-Proは63.0%しか達成できず、主要なオープンソースであるLVLM Qwen2.5-VL-72B-Instructは38.5%しか達成していない。
  論文  参考訳（メタデータ） (2025-05-19T17:59:27Z)
• Disordered-DABS: A Benchmark for Dynamic Aspect-Based Summarization in Disordered Texts [29.111115148808196]
  本研究では,非構造化テキストに適した動的アスペクトベース要約のための新しいベンチマークであるDisspected-DABSを紹介する。 本稿では,GPT-3.5のような最先端言語モデルを含む,現代の要約モデルに対して,障害型DABSがユニークな課題をもたらすことを示す。
  論文  参考訳（メタデータ） (2024-02-16T10:35:18Z)
• USB: A Unified Summarization Benchmark Across Tasks and Domains [68.82726887802856]
  ウィキペディア由来のベンチマークを導入し、クラウドソースアノテーションの豊富なセットを補完し、8ドルの相互関連タスクをサポートする。 このベンチマークで様々な手法を比較し、複数のタスクにおいて、中程度の大きさの微調整されたモデルが、より大きな数発の言語モデルよりも一貫して優れていることを発見した。
  論文  参考訳（メタデータ） (2023-05-23T17:39:54Z)
• How Robust is GPT-3.5 to Predecessors? A Comprehensive Study on Language Understanding Tasks [65.7949334650854]
  GPT-3.5モデルは様々な自然言語処理(NLP)タスクで顕著な性能を示した。 しかし、オープン世界の様々な複雑さに対処する堅牢性や能力はまだ検討されていない。 GPT-3.5は、不安定性、迅速な感度、数値感度など、いくつかの具体的な堅牢性課題に直面している。
  論文  参考訳（メタデータ） (2023-03-01T07:39:01Z)
• EditEval: An Instruction-Based Benchmark for Text Improvements [73.5918084416016]
  編集機能の自動評価のためのインストラクションベース、ベンチマーク、評価スイートであるEditEvalを提示する。 InstructGPTとPEERが最良であることを示す事前学習モデルをいくつか評価するが,ほとんどのベースラインは教師付きSOTA以下である。 我々の分析は、タスクの編集によく使われるメトリクスが必ずしも相関しているとは限らないことを示し、最高の性能を持つプロンプトに対する最適化は、必ずしも異なるモデルに対して強い堅牢性を持つとは限らないことを示唆している。
  論文  参考訳（メタデータ） (2022-09-27T12:26:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。