論文の概要: Beyond Correctness: Evaluating Semantic Knowledge in Cross-Table Transfer
- arxiv url: http://arxiv.org/abs/2609.34098v1
- Date: Mon, 28 Sep 2026 01:38:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-04 06:58:06.259509
- Title: Beyond Correctness: Evaluating Semantic Knowledge in Cross-Table Transfer
- Title（参考訳）: 正確性を超えて:クロステイブルトランスファーにおける意味的知識の評価
- Abstract要約: セマンティック・アブレーションは予測的利益に関する誤解を招く可能性があることを示す。
コンテンツ感度と予測ユーティリティを分離します。
18の明示的な予測ユーティリティ主張のうちの1つだけが、テストされたセマンティックコントリビューションを明確に分離するコントロールと組み合わせられている。
- 参考スコア（独自算出の注目度）: 0.6159771892460151
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Semantic knowledge is increasingly used to bridge heterogeneous schemas in tabular learning, but how much does that knowledge actually improve prediction? Studies in tabular learning commonly answer this question through semantic ablations that modify or suppress the supplied semantic knowledge. We show that these ablations can lead to misleading conclusions about predictive benefit: poor performance under altered semantics may be taken as evidence that the intended knowledge is beneficial. Across real and controlled experiments, altering semantic content can produce large performance differences even when the model gains little predictive benefit from having that semantic knowledge in the first place. To separate these effects, we distinguish two quantities: content sensitivity and predictive utility. Content sensitivity measures the change in performance when semantic content is altered, whereas predictive utility measures the benefit of the intended semantic knowledge relative to a suitable reference without that knowledge. This distinction motivates an evaluation framework in which the control is chosen according to the question being asked: altered controls assess sensitivity to semantic content, whereas claims that semantic knowledge improves prediction require a suitable reference. Even then, predictive utility is not fixed; it varies across suitable references and decreases when the reference can more easily recover the tested knowledge from other inputs or labeled examples. In a bounded audit of 25 semantic-ablation comparisons across nine studies, only one of 18 explicit predictive-utility claims is paired with a control that clearly isolates the tested semantic contribution. Together, these findings motivate a simple evaluation principle: semantic-ablation controls should be chosen and interpreted according to the question they are intended to answer.
- Abstract（参考訳）: 意味的な知識は、表型学習における異種スキーマの橋渡しにますます使われていますが、その知識は実際に予測を改善しているのでしょうか?
表型学習の研究は、供給されたセマンティック知識を修正または抑制するセマンティック・アブレーションを通じて、この質問に答えるのが一般的である。
意味論の変更による性能の低下は、意図した知識が有益であることを示す証拠として捉えられるかもしれない。
実および制御された実験全体において、セマンティックな内容の変更は、モデルがそもそもそのセマンティックな知識を持つことによって予測的利益をほとんど得られない場合でも、大きなパフォーマンスの違いをもたらす可能性がある。
これらの効果を分離するために、コンテンツ感度と予測ユーティリティの2つの量を区別する。
コンテンツ感度はセマンティックコンテンツの変更時のパフォーマンスの変化を測定する一方、予測ユーティリティは、その知識のない適切な参照に対して意図したセマンティック知識の利点を測定する。
この区別は、質問に応じて制御が選択される評価フレームワークを動機付けている: 変更された制御は、セマンティックコンテンツに対する感受性を評価するが、セマンティック知識が予測を改善するという主張は、適切な参照を必要とする。
それでも予測ユーティリティは固定されておらず、適切な参照によって異なり、参照がテストされた知識を他の入力やラベル付き例からより容易に回収できる場合に減少する。
9つの研究における25のセマンティック・アブレーション比較の有界監査では、18の明示的な予測ユーティリティ・クレームのうちの1つのみが、テストされたセマンティック・コントリビューションを明確に分離する制御と組み合わせられている。
セマンティック・アブレーション・コントロールは、それらが答えることを意図した質問に応じて選択され、解釈されるべきである。
関連論文リスト
- Lexical Consensus: Grounded Word Learning and Shared Meaning in Artificial Agents [0.0]
本稿では,構造化された知覚基板上での接地単語学習実験フレームワークであるLexical Consensusを紹介する。
エージェントが視覚概念のための人工ラベルを取得し、それらを双方向に一般化し、制御された設定で安定化できるかどうかを検証する。
ネイティブカテゴリは学習しやすく、コヒーレントなオーバーエクステンションは学習しやすく、中距離の解離概念は分解され、遠距離の解離概念はチャンスに近づきます。
論文 参考訳（メタデータ） (2026-06-20T20:08:07Z) - Prediction is not Explanation: Revisiting the Explanatory Capacity of Mapping Embeddings [6.291731291478243]
本稿では,単語埋め込みに符号化された知識を説明するための共通手法について検討する。
予測精度だけでは、真の特徴ベースの解釈可能性を示すものではない。
論文 参考訳（メタデータ） (2025-08-19T11:00:47Z) - Weakly-Supervised Contrastive Learning for Imprecise Class Labels [50.57424331797865]
正対と負対を定義するために「連続的意味的類似性」の概念を導入する。
弱教師付きコントラスト学習のためのグラフ理論フレームワークを提案する。
我々のフレームワークは非常に多用途であり、多くの弱い教師付き学習シナリオに適用できる。
論文 参考訳（メタデータ） (2025-05-28T06:50:40Z) - Why do Random Forests Work? Understanding Tree Ensembles as
Self-Regularizing Adaptive Smoothers [68.76846801719095]
統計学で広く普及している偏りと分散還元に対する現在の高次二分法は、木のアンサンブルを理解するには不十分である、と我々は主張する。
森林は、通常暗黙的に絡み合っている3つの異なるメカニズムによって、樹木を改良できることを示す。
論文 参考訳（メタデータ） (2024-02-02T15:36:43Z) - Textual Entailment Recognition with Semantic Features from Empirical
Text Representation [60.31047947815282]
テキストが仮説を包含するのは、仮説の真の価値がテキストに従う場合に限る。
本稿では,テキストと仮説のテキストの包含関係を同定する新しい手法を提案する。
本手法では,テキスト・ハイブリッド・ペア間の意味的含意関係を識別できる要素ワイド・マンハッタン距離ベクトルベースの特徴を用いる。
論文 参考訳（メタデータ） (2022-10-18T10:03:51Z) - Towards a Theory of Faithfulness: Faithful Explanations of
Differentiable Classifiers over Continuous Data [17.9926469947157]
特徴帰属法に対する忠実性の形式的定義を2つ提案する。
定性的忠実性は、スコアがモデル上の特徴の真の定性的効果(正対負)を反映することを要求する。
実験により、一般的な帰属法では、データが連続している環境では、忠実な説明が得られないことを実証した。
論文 参考訳（メタデータ） (2022-05-19T15:34:21Z) - Measuring Fairness of Text Classifiers via Prediction Sensitivity [63.56554964580627]
加速度予測感度は、入力特徴の摂動に対するモデルの予測感度に基づいて、機械学習モデルの公正度を測定する。
この計量は、群フェアネス(統計パリティ)と個人フェアネスという特定の概念と理論的に関連付けられることを示す。
論文 参考訳（メタデータ） (2022-03-16T15:00:33Z) - Comparative Probing of Lexical Semantics Theories for Cognitive
Plausibility and Technological Usefulness [1.028961895672321]
語彙意味論の理論は、単語の意味が推論グラフ、特徴写像、ベクトル空間として表されると主張する点で異なる。
我々は,その認知的妥当性と技術的有用性のレベルについて,様々な語彙意味論を体系的に研究した。
論文 参考訳（メタデータ） (2020-11-16T14:46:08Z) - Learning Causal Semantic Representation for Out-of-Distribution
Prediction [125.38836464226092]
因果推論に基づく因果意味生成モデル(CSG)を提案し,その2つの要因を別々にモデル化する。
CSGはトレーニングデータに適合させることで意味的因子を識別できることを示し、この意味的識別はOOD一般化誤差の有界性を保証する。
論文 参考訳（メタデータ） (2020-11-03T13:16:05Z) - Characterizing the Effect of Sentence Context on Word Meanings: Mapping
Brain to Behavior [0.0]
本論文は,被験者がこのような変化を認識しているかどうかに答えることを目的としている。
被験者は、単語が特定の文で使用されるとき、その単語が汎用的な意味からどのように変化するかを判断するよう求められた。
結果は、単語の意味が文の文脈によって体系的に変化するという仮説を支持する。
論文 参考訳（メタデータ） (2020-07-27T20:12:30Z) - Rectifying Pseudo Label Learning via Uncertainty Estimation for Domain
Adaptive Semantic Segmentation [49.295165476818866]
本稿では、意味的セグメンテーションの文脈において、ソースドメインからターゲットドメインへの知識伝達の教師なし領域適応に焦点を当てる。
既存のアプローチでは、通常、擬似ラベルを未ラベルのターゲットドメインデータを完全に活用するための基礎的真理とみなす。
本稿では,擬似ラベル学習の修正のために,学習中の予測の不確かさを明示的に推定することを提案する。
論文 参考訳（メタデータ） (2020-03-08T12:37:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。