論文の概要: Estimating Commonsense Plausibility through Semantic Shifts

• arxiv url: http://arxiv.org/abs/2502.13464v1
• Date: Wed, 19 Feb 2025 06:31:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-20 14:01:35.849978
• Title: Estimating Commonsense Plausibility through Semantic Shifts
• Title（参考訳）: 意味的シフトによる常識的可視性の推定
• Authors: Wanqing Cui, Keping Bi, Jiafeng Guo, Xueqi Cheng,
• Abstract要約: セマンティックシフトを測定することでコモンセンスの妥当性を定量化する新しい識別フレームワークであるComPaSSを提案する。 2種類の細粒度コモンセンス可視性評価タスクの評価は,ComPaSSが一貫してベースラインを上回っていることを示している。
• 参考スコア（独自算出の注目度）: 66.06254418551737
• License:
• Abstract: Commonsense plausibility estimation is critical for evaluating language models (LMs), yet existing generative approaches--reliant on likelihoods or verbalized judgments--struggle with fine-grained discrimination. In this paper, we propose ComPaSS, a novel discriminative framework that quantifies commonsense plausibility by measuring semantic shifts when augmenting sentences with commonsense-related information. Plausible augmentations induce minimal shifts in semantics, while implausible ones result in substantial deviations. Evaluations on two types of fine-grained commonsense plausibility estimation tasks across different backbones, including LLMs and vision-language models (VLMs), show that ComPaSS consistently outperforms baselines. It demonstrates the advantage of discriminative approaches over generative methods in fine-grained commonsense plausibility evaluation. Experiments also show that (1) VLMs yield superior performance to LMs, when integrated with ComPaSS, on vision-grounded commonsense tasks. (2) contrastive pre-training sharpens backbone models' ability to capture semantic nuances, thereby further enhancing ComPaSS.
• Abstract（参考訳）: 常識的妥当性推定は言語モデル(LM)を評価する上で重要であるが、既存の生成的アプローチ - 可能性や言語的判断に依存する - きめ細かな識別に頑健である。 本稿では,ComPaSSを提案する。ComPaSSは,文をコモンセンス関連情報で拡張する際の意味的変化を測定することで,コモンセンスの妥当性を定量化する新しい識別フレームワークである。 可塑性増強は意味論の最小シフトを誘導するが、不可解なものは実質的な偏差をもたらす。 LLMやビジョン言語モデル(VLM)など,異なるバックボーンにまたがる2種類の細粒度コモンセンスの可視性評価タスクの評価は,ComPaSSが一貫してベースラインを上回っていることを示す。 細粒度コモンセンスの可視性評価における生成法に対する差別的アプローチの利点を示す。 また, 1) VLM は ComPaSS と統合された場合, 視覚下でのコモンセンスタスクにおいて, LM よりも優れた性能を示すことを示した。 2) 対照的な事前学習は, 意味的ニュアンスを捕捉するバックボーンモデルの能力を鋭くし, ComPaSSをさらに強化する。

関連論文リスト

• VALOR-EVAL: Holistic Coverage and Faithfulness Evaluation of Large Vision-Language Models [57.43276586087863]
  LVLM(Large Vision-Language Models)は幻覚に悩まされ、このモデルでは可聴音を発生させるが、実際には誤出力を発生させる。 既存のベンチマークはスコープに限られており、主にオブジェクト幻覚に焦点を当てている。 対象,属性,関係を多次元のベンチマークで表現し,連想バイアスに基づいて画像を選択する。
  論文  参考訳（メタデータ） (2024-04-22T04:49:22Z)
• KDMCSE: Knowledge Distillation Multimodal Sentence Embeddings with Adaptive Angular margin Contrastive Learning [31.139620652818838]
  マルチモーダル表現の識別と一般化性を高める新しい手法であるKDMCSEを提案する。 我々はまた、角空間内のマージンを強化することにより差別的表現を強化する新しいコントラスト的目的であるAdapACSEを導入する。
  論文  参考訳（メタデータ） (2024-03-26T08:32:39Z)
• Likelihood-Aware Semantic Alignment for Full-Spectrum Out-of-Distribution Detection [24.145060992747077]
  画像とテキストの対応を意味的に高次領域に促進する「Likelihood-Aware Semantic Alignment (LSA)フレームワーク」を提案する。 2つのF-OODベンチマークで15.26%$と18.88%$の差で既存の手法を上回り、提案したLSAの優れたOOD検出性能を実証した。
  論文  参考訳（メタデータ） (2023-12-04T08:53:59Z)
• Semantic Consistency for Assuring Reliability of Large Language Models [9.876355290198639]
  大規模言語モデル(LLM)は、様々な自然言語タスクに対して顕著な流布と能力を示す。 セマンティック一貫性の一般的な尺度を導入し、様々なLLMの性能を評価するために、この指標の複数バージョンを定式化する。 本稿では,Ask-to-Choose (A2C) と呼ばれる新しいプロンプト戦略を提案する。
  論文  参考訳（メタデータ） (2023-08-17T18:11:33Z)
• Identical and Fraternal Twins: Fine-Grained Semantic Contrastive Learning of Sentence Representations [6.265789210037749]
  コントラスト学習フレームワークのIdentical Twins と Fraternal Twins を導入する。 また,提案したツインズ・ロスの有効性を証明するために,概念実証実験と対照的な目的を組み合わせる。
  論文  参考訳（メタデータ） (2023-07-20T15:02:42Z)
• Synergies between Disentanglement and Sparsity: Generalization and Identifiability in Multi-Task Learning [79.83792914684985]
  我々は,最大スパース基底予測器が不整合表現をもたらす条件を提供する新しい識別可能性の結果を証明した。 この理論的な結果から,両レベル最適化問題に基づくアンタングル表現学習の実践的アプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-26T21:02:09Z)
• Semantic-Preserving Adversarial Code Comprehension [75.76118224437974]
  本稿では,セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・アタック(SPACE)を提案する。 実験と分析により、SPACEは、コードに対するPrLMのパフォーマンスを高めながら、最先端の攻撃に対して堅牢であることを示す。
  論文  参考訳（メタデータ） (2022-09-12T10:32:51Z)
• Conditional Supervised Contrastive Learning for Fair Text Classification [59.813422435604025]
  対照的な学習を通してテキスト分類のための等化オッズとして知られる公平性の概念を満たす学習公正表現について研究する。 具体的には、まず、公正性制約のある学習表現と条件付き教師付きコントラスト目的との間の関係を理論的に分析する。
  論文  参考訳（メタデータ） (2022-05-23T17:38:30Z)
• Dense Contrastive Visual-Linguistic Pretraining [53.61233531733243]
  画像とテキストを共同で表現するマルチモーダル表現学習手法が提案されている。 これらの手法は,大規模マルチモーダル事前学習から高レベルな意味情報を取得することにより,優れた性能を実現する。 そこで本稿では,非バイアスのDense Contrastive Visual-Linguistic Pretrainingを提案する。
  論文  参考訳（メタデータ） (2021-09-24T07:20:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。