論文の概要: Trick or Neat: Adversarial Ambiguity and Language Model Evaluation

• arxiv url: http://arxiv.org/abs/2506.01205v1
• Date: Sun, 01 Jun 2025 22:50:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 04:22:50.710348
• Title: Trick or Neat: Adversarial Ambiguity and Language Model Evaluation
• Title（参考訳）: Trick or Neat: 対立する曖昧さと言語モデルの評価
• Authors: Antonia Karamolegkou, Oliver Eberle, Phillip Rust, Carina Kauf, Anders Søgaard,
• Abstract要約: 我々は,言語モデルのあいまいさに対する感度を,敵対的あいまいさデータセットを導入することによって評価する。 モデル表現で訓練された線形プローブは、曖昧さを高精度に復号できるのに対し、直接的プロンプトは曖昧さを確実に識別できないことを示す。
• 参考スコア（独自算出の注目度）: 42.62991342963119
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Detecting ambiguity is important for language understanding, including uncertainty estimation, humour detection, and processing garden path sentences. We assess language models' sensitivity to ambiguity by introducing an adversarial ambiguity dataset that includes syntactic, lexical, and phonological ambiguities along with adversarial variations (e.g., word-order changes, synonym replacements, and random-based alterations). Our findings show that direct prompting fails to robustly identify ambiguity, while linear probes trained on model representations can decode ambiguity with high accuracy, sometimes exceeding 90\%. Our results offer insights into the prompting paradigm and how language models encode ambiguity at different layers. We release both our code and data: https://github.com/coastalcph/lm_ambiguity.
• Abstract（参考訳）: あいまいさの検出は、不確実性推定、ユーモア検出、庭道文の処理など、言語理解にとって重要である。 言語モデルのあいまいさに対する感受性は,構文的・語彙的・音韻的あいまいさと,その相違(単語順変化,同義語置換,ランダムな変化)を含む逆相あいまい性データセットを導入することによって評価する。 モデル表現で訓練された線形プローブは、曖昧さを高い精度で復号し、時には90%を超えることがある。 この結果から,言語モデルが各層でのあいまいさをエンコードする方法が示唆された。 私たちは、コードとデータの両方をリリースします。

関連論文リスト

• From Disagreement to Understanding: The Case for Ambiguity Detection in NLI [0.0]
  コンテンツに基づくあいまいさは、プロセスに依存しない人間の視点の信号を提供することを示す。 重要な制限は、あいまいさとサブタイプのための注釈付きデータセットがないことである。 本稿では、新しい注釈付きリソースとアンビグニティ検出のための教師なしアプローチにより、このギャップに対処することを提案する。
  論文  参考訳（メタデータ） (2025-07-20T20:27:35Z)
• Análise de ambiguidade linguística em modelos de linguagem de grande escala (LLMs) [0.35069196259739965]
  言語的曖昧さは、自然言語処理(NLP)システムにとって重要な課題である。 近年のChatGPTやGeminiのような教育モデルの成功に触発されて,これらのモデルにおける言語的あいまいさを分析し,議論することを目的とした。
  論文  参考訳（メタデータ） (2024-04-25T14:45:07Z)
• Zero and Few-shot Semantic Parsing with Ambiguous Inputs [45.285508941560295]
  私たちは、曖昧な自然言語を論理やコードといった形式的な表現に変換するためのフレームワーク、データセット、課題であるAmPを紹介します。 我々は,AmPを用いて,複数ショットのテキスト・ツー・コードシステムがあいまいさをどのように処理し,新しいメトリクスを3つ導入するかを検討する。 事前学習された大規模なモデルでは,意図的な指示を伴わずに,可能な意味の分布を把握できないことが判明した。
  論文  参考訳（メタデータ） (2023-06-01T15:46:36Z)
• We're Afraid Language Models Aren't Modeling Ambiguity [136.8068419824318]
  あいまいさの管理は人間の言語理解の重要な部分です。 文中のあいまいさは,他の文との係り受け関係に与える影響によって特徴付けられる。 我々は,多ラベルNLIモデルが曖昧さによって誤解を招く野生の政治的主張にフラグを付けることができることを示す。
  論文  参考訳（メタデータ） (2023-04-27T17:57:58Z)
• Is the Elephant Flying? Resolving Ambiguities in Text-to-Image Generative Models [64.58271886337826]
  テキストから画像への生成モデルで生じるあいまいさについて検討する。 本稿では,ユーザから明確化を求めることによって,システムに与えられるプロンプトのあいまいさを軽減する枠組みを提案する。
  論文  参考訳（メタデータ） (2022-11-17T17:12:43Z)
• Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
  合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。 自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
  論文  参考訳（メタデータ） (2022-10-14T02:35:19Z)
• A Latent-Variable Model for Intrinsic Probing [93.62808331764072]
  固有プローブ構築のための新しい潜在変数定式化を提案する。 我々は、事前訓練された表現が言語間交互に絡み合ったモルフォシンタクスの概念を発達させる経験的証拠を見出した。
  論文  参考訳（メタデータ） (2022-01-20T15:01:12Z)
• Speakers Fill Lexical Semantic Gaps with Context [65.08205006886591]
  我々は単語の語彙的あいまいさを意味のエントロピーとして運用する。 単語のあいまいさの推定値と,WordNetにおける単語の同義語数との間には,有意な相関関係が認められた。 これは、あいまいさの存在下では、話者が文脈をより情報的にすることで補うことを示唆している。
  論文  参考訳（メタデータ） (2020-10-05T17:19:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。