論文の概要: Typed Decision Models on Tabular Data
- arxiv url: http://arxiv.org/abs/2610.19536v1
- Date: Wed, 14 Oct 2026 03:54:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.946026
- Title: Typed Decision Models on Tabular Data
- Title(参考訳): タブラルデータに基づく型決定モデル
- Abstract要約: 行分類,事実検証,異常検出において,4つの決定モデルと3つの大言語モデル(LLM)を比較した。
決定モデルはLLMと同様に低コストで実行する。
テーブルの編成方法に堅牢なモデルはありません。
- 参考スコア(独自算出の注目度): 32.55181853966524
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Typed decision models are language models that answer a question with a fixed set of possible answers by returning a probability for each answer instead of generating text. We study them on tabular data and compare four decision models with three large language models (LLMs) on row classification, fact verification and anomaly detection. Every request is sent in its original form and under 21 types of rewrite that keep its content, such as renaming the options or writing the table in another format. The decision models perform as well as the LLMs at a lower cost. Three of them are also far more robust to how the question is formulated. No model we test is robust to how the table is organized. For every model, at least a third of the row decisions change under some rewrite of the table or the question. The decisions to which a decision model gives low probability are the ones most likely to change. Decision models are a practical choice for tabular decisions, but their robustness remains an open problem.
- Abstract(参考訳): 型付き決定モデル(Typed decision model)は、テキストを生成する代わりに、各回答の確率を返すことで、可能な答えの固定セットで質問に答える言語モデルである。
行分類,事実検証,異常検出において4つの決定モデルと3つの大言語モデル(LLM)を比較した。
すべてのリクエストは元の形式で送信され、オプションをリネームしたり、別のフォーマットでテーブルを書き込むなど、21種類の書き直しが行われる。
決定モデルはLLMと同様に低コストで実行する。
そのうちの3つは、その質問がどのように定式化されているかに対して、はるかに堅牢である。
テーブルの編成方法に堅牢なモデルはありません。
すべてのモデルにおいて、少なくとも3分の1の行決定は、テーブルや質問の書き直しの下で変更される。
決定モデルが低い確率を与える決定は、最も変化しそうな決定である。
決定モデルは表型決定の実践的な選択であるが、その堅牢性は未解決の問題である。
関連論文リスト
- Large Decision Models: Repurposing Large Language Models as Single-Pass Decision Makers [11.47184779374245]
本研究では,実行時に指定されたラベルよりも明確な確率を返すために,言語モデルを再購入する大規模決定モデルを提案する。
まず、DDS(Diverse Decision Supervision)を通じて、さまざまなドメイン、ルール、ラベルをカバーし、このインターフェースにモデルを適用する。
推論モデルに対するパフォーマンスギャップをさらに狭めるため、SPRD(Self-Posed Reasoning Distillation)では、凍結教師が生成したタスクを追加し、回答整合性をフィルタし、繰り返し教師の推論から得られたラベル分布をトレーニングする。
論文 参考訳(メタデータ) (2026-10-11T10:04:59Z) - The Power of Order: Fooling LLMs with Adversarial Table Permutations [49.84535222399142]
逆テーブル置換(Adversarial Table Permutation)は、モデル性能を最大限に破壊するために設計された最悪の順列を効率的に識別する勾配ベースの攻撃である。
実験の結果,ATPは広範囲のLDMの性能を著しく低下させることがわかった。
本研究は,現在のLLMが構造化データをどのように処理するかの根本的な弱点を明らかにし,信頼性の高い実世界のアプリケーションのための置換ロバストモデルの開発を急務に行う必要性を浮き彫りにした。
論文 参考訳(メタデータ) (2026-05-01T06:25:55Z) - ViTaB-A: Evaluating Multimodal Large Language Models on Visual Table Attribution [37.049064455196486]
マルチモーダル大言語モデル (mLLMs) は構造化データの疑問に答えるためにしばしば用いられる。
モデルが解答をサポートする特定の行や列を指し示す能力である構造化データ属性/引用について検討する。
論文 参考訳(メタデータ) (2026-02-17T18:01:35Z) - Linear Model Extraction via Factual and Counterfactual Queries [2.6499018693213316]
モデル抽出攻撃では、ブラックボックス機械学習モデルのパラメータを明らかにすることが目的である。
線形モデルと3種類のクエリについて検討する。
論文 参考訳(メタデータ) (2026-02-10T12:57:53Z) - Reasoning Models are Test Exploiters: Rethinking Multiple-Choice [12.317748510370238]
大きな言語モデル(LLM)は、固定された選択セットの中から選ぶように求められます。
McQCA(Multiple-choice Question-Awering)は、モデル下流のパフォーマンスのよいプロキシである。
本稿では,最先端の推論モデルにおいて,この傾向が持続する範囲について検討する。
論文 参考訳(メタデータ) (2025-07-21T07:49:32Z) - FLEXTAF: Enhancing Table Reasoning with Flexible Tabular Formats [48.47559543509975]
フレキシブルフォーマットを用いてテーブル推論性能を向上させるためのFLEXTAF-SingleとFLEXTAF-Voteを提案する。
WikiTableQuestionsとTabFactに関する我々の実験は、平均的な2.3%と4.8%の大幅な改善を示している。
論文 参考訳(メタデータ) (2024-08-16T17:00:11Z) - Large Language Models Are Not Robust Multiple Choice Selectors [117.72712117510953]
複数選択質問(MCQ)は、大規模言語モデル(LLM)の評価において、一般的なが重要なタスク形式として機能する。
この研究は、現代のLLMが、その固有の「選択バイアス」によるオプション位置変化に対して脆弱であることを示している。
そこで本研究では,オプションIDに対する事前バイアスを全体予測分布から分離するPriDeという,ラベルのない推論時間脱バイアス手法を提案する。
論文 参考訳(メタデータ) (2023-09-07T17:44:56Z) - An exact counterfactual-example-based approach to tree-ensemble models
interpretability [0.0]
高性能モデルは、決定を完全に理解するために必要な透明性を示さない。
多次元間隔の集まりの形で、決定領域の正確な幾何学的特徴付けを導出できる。
回帰問題に対する推論への適応も考えられている。
論文 参考訳(メタデータ) (2021-05-31T09:32:46Z) - ManyModalQA: Modality Disambiguation and QA over Diverse Inputs [73.93607719921945]
本稿では, エージェントが3つの異なるモダリティを考慮し, 質問に答えなければならない, マルチモーダルな質問応答課題, ManyModalQAを提案する。
われわれはウィキペディアをスクラップしてデータを収集し、クラウドソーシングを利用して質問と回答のペアを収集する。
論文 参考訳(メタデータ) (2020-01-22T14:39:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。