論文の概要: The Mighty ToRR: A Benchmark for Table Reasoning and Robustness

• arxiv url: http://arxiv.org/abs/2502.19412v2
• Date: Sun, 02 Mar 2025 16:16:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-04 13:05:19.419487
• Title: The Mighty ToRR: A Benchmark for Table Reasoning and Robustness
• Title（参考訳）: The Mighty ToRR: テーブル推論とロバストネスのベンチマーク
• Authors: Shir Ashury-Tahan, Yifan Mai, Rajmohan C, Ariel Gera, Yotam Perlitz, Asaf Yehudai, Elron Bandel, Leshem Choshen, Eyal Shnarch, Percy Liang, Michal Shmueli-Scheuer,
• Abstract要約: ToRRはテーブル推論とロバストネスのベンチマークであり、テーブル関連のタスクにおけるモデル性能とロバストネスを測定している。 本稿では,ToRR上での先行モデルの結果を総合的に分析するとともに,リーダーボードを提案する。
• 参考スコア（独自算出の注目度）: 45.420943398134845
• License:
• Abstract: Despite its real-world significance, model performance on tabular data remains underexplored, leaving uncertainty about which model to rely on and which prompt configuration to adopt. To address this gap, we create ToRR, a benchmark for Table Reasoning and Robustness, measuring model performance and robustness on table-related tasks. The benchmark includes 10 datasets that cover different types of table reasoning capabilities across varied domains. ToRR goes beyond model performance rankings, and is designed to reflect whether models can handle tabular data consistently and robustly, across a variety of common table representation formats. We present a leaderboard as well as comprehensive analyses of the results of leading models over ToRR. Our results reveal a striking pattern of brittle model behavior, where even strong models are unable to perform robustly on tabular data tasks. Although no specific table format leads to consistently better performance, we show that testing over multiple formats is crucial for reliably estimating model capabilities. Moreover, we show that the reliability boost from testing multiple prompts can be equivalent to adding more test examples. Overall, our findings show that table understanding and reasoning tasks remain a significant challenge.
• Abstract（参考訳）: 現実的な重要性にもかかわらず、表形式のデータに対するモデルパフォーマンスは未調査のままであり、どのモデルに依存するか、どのモデルを採用するかという不確実性を残している。 このギャップに対処するため、テーブル推論とロバストネスのベンチマークであるToRRを作成し、テーブル関連タスクにおけるモデル性能とロバストネスを測定します。 ベンチマークには10のデータセットが含まれており、さまざまなドメインにわたるさまざまなテーブル推論機能をカバーする。 ToRRは、モデルパフォーマンスランキングを超えており、様々な共通テーブル表現フォーマットにおいて、モデルがテーブルデータの一貫性と堅牢性を維持することができるかどうかを反映するように設計されている。 本稿では,ToRR上での先行モデルの結果を総合的に分析するとともに,リーダーボードを提案する。 この結果から,強力なモデルであっても表型データ処理では頑健に動作できない,脆性モデル行動の顕著なパターンが明らかとなった。 特定のテーブルフォーマットが一貫してパフォーマンスを向上することはないが、モデルの能力を確実に見積もるためには、複数のフォーマットでのテストが不可欠であることを示す。 さらに、複数のプロンプトのテストによる信頼性向上は、テスト例の追加と同等であることを示す。 全体としては、テーブル理解と推論タスクが依然として重要な課題であることを示している。

関連論文リスト

• FLEXTAF: Enhancing Table Reasoning with Flexible Tabular Formats [48.47559543509975]
  フレキシブルフォーマットを用いてテーブル推論性能を向上させるためのFLEXTAF-SingleとFLEXTAF-Voteを提案する。 WikiTableQuestionsとTabFactに関する我々の実験は、平均的な2.3%と4.8%の大幅な改善を示している。
  論文  参考訳（メタデータ） (2024-08-16T17:00:11Z)
• LaTable: Towards Large Tabular Models [63.995130144110156]
  タブラル生成基盤モデルは、異なるデータセットの不均一な特徴空間のために構築が困難である。 LaTableは、これらの課題に対処し、異なるデータセットでトレーニング可能な、新しい拡散モデルである。 LaTableは、分散生成のベースラインよりも優れており、微調整されたLaTableは、より少ないサンプルで分散データセットをより良く生成できる。
  論文  参考訳（メタデータ） (2024-06-25T16:03:50Z)
• 4DBInfer: A 4D Benchmarking Toolbox for Graph-Centric Predictive Modeling on Relational DBs [67.47600679176963]
  RDBは、相互接続されたテーブルにまたがる膨大な量のリッチで情報的なデータを格納する。 予測機械学習モデルの進歩は、コンピュータビジョンや自然言語処理といった他の領域の進歩に遅れをとっている。 マルチテーブルデータセットをグラフに変換することを前提としたベースラインモデルのクラスを探索する。 大規模RDBデータセットと (ii) 同時予測タスクの多様なコレクションを組み立てる。
  論文  参考訳（メタデータ） (2024-04-28T15:04:54Z)
• Bridging Textual and Tabular Worlds for Fact Verification: A Lightweight, Attention-Based Model [34.1224836768324]
  FEVEROUSは、事実抽出と検証タスクに焦点を当てた、ベンチマークおよび研究イニシアチブである。 本稿では,モダリティ変換の必要性を解消する,単純だが強力なモデルを提案する。 提案手法は,異なるデータ型間の遅延接続を効果的に利用することにより,包括的かつ信頼性の高い検証予測を実現する。
  論文  参考訳（メタデータ） (2024-03-26T03:54:25Z)
• Observatory: Characterizing Embeddings of Relational Tables [15.808819332614712]
  研究者や実践者は、多くの新しいアプリケーションコンテキストにおいて、言語とテーブルの埋め込みモデルを活用することに熱心です。 下流利用における非効率性と失敗を最小限に抑えるために、これらのモデルの包括的な理解を得る必要がある。 本研究では,関係表の埋め込み表現を体系的に解析する公式なフレームワークであるObservatoryを提案する。
  論文  参考訳（メタデータ） (2023-10-05T00:58:45Z)
• Think Twice: Measuring the Efficiency of Eliminating Prediction Shortcuts of Question Answering Models [3.9052860539161918]
  そこで本研究では,任意の特徴量に対するモデルのスケール依存度を簡易に測定する手法を提案する。 質問回答(QA: Question Answering)における各種事前学習モデルとデバイアス法について、既知の予測バイアスと新たに発見された予測バイアスの集合に対するロバスト性を評価する。 既存のデバイアス法は、選択された刺激的特徴への依存を軽減することができるが、これらの手法のOOD性能向上は、偏りのある特徴への依存を緩和することによって説明できない。
  論文  参考訳（メタデータ） (2023-05-11T14:35:00Z)
• Making Table Understanding Work in Practice [9.352813774921655]
  表理解モデルをデプロイする上での3つの課題について論じ,それに対応するためのフレームワークを提案する。 本稿では、GitTablesでトレーニングされたハイブリッドモデルをカプセル化し、軽量なHuman-in-the-loopアプローチを統合してモデルをカスタマイズするSigmaTyperを提案する。
  論文  参考訳（メタデータ） (2021-09-11T03:38:24Z)
• Comparing Test Sets with Item Response Theory [53.755064720563]
  我々は,18の事前学習トランスフォーマーモデルから予測した29のデータセットを個別のテスト例で評価した。 Quoref、HellaSwag、MC-TACOは最先端のモデルを区別するのに最適である。 また、QAMRやSQuAD2.0のようなQAデータセットに使用されるスパン選択タスク形式は、強いモデルと弱いモデルとの差別化に有効である。
  論文  参考訳（メタデータ） (2021-06-01T22:33:53Z)
• Characterizing Fairness Over the Set of Good Models Under Selective Labels [69.64662540443162]
  同様の性能を実現するモデルセットに対して,予測公正性を特徴付けるフレームワークを開発する。 到達可能なグループレベルの予測格差の範囲を計算するためのトラクタブルアルゴリズムを提供します。 選択ラベル付きデータの実証的な課題に対処するために、我々のフレームワークを拡張します。
  論文  参考訳（メタデータ） (2021-01-02T02:11:37Z)
• Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
  数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。 本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
  論文  参考訳（メタデータ） (2020-02-27T10:22:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。