論文の概要: Solving the Challenge Set without Solving the Task: On Winograd Schemas as a Test of Pronominal Coreference Resolution

• arxiv url: http://arxiv.org/abs/2410.09448v1
• Date: Sat, 12 Oct 2024 09:04:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-30 14:24:23.417526
• Title: Solving the Challenge Set without Solving the Task: On Winograd Schemas as a Test of Pronominal Coreference Resolution
• Title（参考訳）: 課題を解決しない課題セットの解決--固有基準の検証としてのウィノグラード・スキーマについて
• Authors: Ian Porada, Jackie Chi Kit Cheung,
• Abstract要約: 我々は,Winograd Challenge セットにおける言語モデル (LM) の強い性能にもかかわらず,OntoNotes で実証されたある種の固有曖昧性を解決する上で,これらのモデリング手法は比較的貧弱であることを示す。 提案手法は,各データセット間での固有コアの解法において,総合的に高精度な教師付きタスク固有システムを用いて,誘導型LMをアンサンブルする方法である。
• 参考スコア（独自算出の注目度）: 21.19369044026899
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Challenge sets such as the Winograd Schema Challenge (WSC) are used to benchmark systems' ability to resolve ambiguities in natural language. If one assumes as in existing work that solving a given challenge set is at least as difficult as solving some more general task, then high performance on the challenge set should indicate high performance on the general task overall. However, we show empirically that this assumption of difficulty does not always hold. In particular, we demonstrate that despite the strong performance of prompted language models (LMs) on the WSC and its variants, these same modeling techniques perform relatively poorly at resolving certain pronominal ambiguities attested in OntoNotes and related datasets that are perceived to be easier. Motivated by these findings, we propose a method for ensembling a prompted LM with a supervised, task-specific system that is overall more accurate at resolving pronominal coreference across datasets. Finally, we emphasize that datasets involving the same linguistic phenomenon draw on distinct, but overlapping, capabilities, and evaluating on any one dataset alone does not provide a complete picture of a system's overall capability.
• Abstract（参考訳）: Winograd Schema Challenge (WSC)のようなチャレンジセットは、自然言語の曖昧さを解決するシステムの能力をベンチマークするために使用される。 与えられた課題セットの解決が、より一般的なタスクの解決と同じくらい難しいと仮定した場合、課題セットのハイパフォーマンスは、全体的なタスクにおけるハイパフォーマンスを示すべきである。 しかし、この困難という仮定が常に成り立つとは限らないことを実証的に示している。 特に,WSCの言語モデル(LM)の性能は高いが,これらのモデリング手法は,OntoNotesや関連するデータセットで証明された特定の固有曖昧性を解決するのに,比較的不十分であることを示す。 これらの知見に感化されて,本研究では,データセット間のプロノミナルコアスを解く上で,全体的な精度が向上した,教師付きタスク固有システムを用いて,誘導型LMをアンサンブルする方法を提案する。 最後に、同じ言語現象を含むデータセットは、異なる、しかし重複する、能力、評価のいずれかのデータセットだけでは、システム全体の能力の完全なイメージを提供していないことを強調する。

関連論文リスト

• Easy2Hard-Bench: Standardized Difficulty Labels for Profiling LLM Performance and Generalization [126.27645170941268]
  さまざまなドメインにまたがる6つのベンチマークデータセットのコレクションであるEasy2Hard-Benchを紹介します。 これらのデータセット内の各問題は、数値的な難易度スコアで注釈付けされる。 様々な難易度にまたがる性能と一般化能力を総合的に分析する。
  論文  参考訳（メタデータ） (2024-09-27T03:49:56Z)
• Investigating a Benchmark for Training-set free Evaluation of Linguistic Capabilities in Machine Reading Comprehension [12.09297288867446]
  合成課題集合上でのトレーニングセット自由設定において最適化モデルを評価するためのフレームワークについて検討する。 生成手法の単純さにもかかわらず、データは自然性や語彙の多様性に関してクラウドソースのデータセットと競合する。 我々は、さらに実験を行い、最先端の言語モデルに基づくMRCシステムが、挑戦セットを正しく成功させるために学習できることを示します。
  論文  参考訳（メタデータ） (2024-08-09T12:23:36Z)
• Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
  異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。 トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。 広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
  論文  参考訳（メタデータ） (2024-06-07T11:37:45Z)
• Detecting Multimodal Situations with Insufficient Context and Abstaining from Baseless Predictions [75.45274978665684]
  VLU(Vision-Language Understanding)ベンチマークには、提供されたコンテキストによってサポートされない仮定に答えが依存するサンプルが含まれている。 サンプル毎にコンテキストデータを収集し,エビデンスに基づくモデル予測を促進するためにコンテキスト選択モジュールをトレーニングする。 我々は,十分なコンテキストを欠いたサンプルを同定し,モデル精度を向上させる汎用なコンテキスト・アワレ認識検出器を開発した。
  論文  参考訳（メタデータ） (2024-05-18T02:21:32Z)
• LaSagnA: Language-based Segmentation Assistant for Complex Queries [39.620806493454616]
  視覚のための大規模言語モデル(vLLM)は、バウンディングボックスやマスクを含む知覚結果を生成する。 本研究では,これらの問題の主な原因が,学習クエリの複雑さの不足であることを認めた。 本稿では,提案フォーマットの直接統合による課題を効果的に解決するための3つの新しい戦略を提案する。
  論文  参考訳（メタデータ） (2024-04-12T14:40:45Z)
• Evaluating the Capabilities of Multi-modal Reasoning Models with Synthetic Task Data [0.0]
  我々は高解像度テキスト・画像生成の進歩を活用し、マルチモーダル推論タスクの評価データを生成するフレームワークを開発する。 このフレームワークを用いて、コンテキスト依存の異常データを生成し、困難なタスクに合成データセットを作成する。 我々は,タスクが抽出可能である一方で,標準的なVQAタスクよりもコンテキスト依存型異常検出タスクでは,モデルが大幅に悪化することを示した。
  論文  参考訳（メタデータ） (2023-06-01T20:56:34Z)
• Leveraging sparse and shared feature activations for disentangled representation learning [112.22699167017471]
  本稿では,教師付きタスクの多種多様な集合から抽出した知識を活用し,共通不整合表現を学習することを提案する。 我々は6つの実世界分布シフトベンチマークと異なるデータモダリティに対するアプローチを検証する。
  論文  参考訳（メタデータ） (2023-04-17T01:33:24Z)
• Exposing and Addressing Cross-Task Inconsistency in Unified Vision-Language Models [80.23791222509644]
  一貫性のないAIモデルは、人間のユーザーによって不安定で信頼できないと見なされている。 最先端のビジョン言語モデルは、タスク間の驚くほど高い一貫性のない振る舞いに悩まされている。 本稿では,大規模で自動生成されるクロスタスクコントラスト集合上で計算されたランク相関に基づく補助訓練目標を提案する。
  論文  参考訳（メタデータ） (2023-03-28T16:57:12Z)
• A Brief Survey and Comparative Study of Recent Development of Pronoun Coreference Resolution [55.39835612617972]
  PCR(Pronoun Coreference Resolution)は、プロノミナルな表現を、それらが参照するすべての言及に対して解決するタスクである。 1つの重要な自然言語理解(NLU)コンポーネントとして、代名詞分解は多くの下流タスクにおいて不可欠であり、既存のモデルでは依然として困難である。 我々は、現在のモデルが標準評価セットで優れたパフォーマンスを達成しているにもかかわらず、実際のアプリケーションで使用する準備ができていないことを示すために、広範な実験を行っている。
  論文  参考訳（メタデータ） (2020-09-27T01:40:01Z)
• Semantic Complexity in End-to-End Spoken Language Understanding [20.184305170102082]
  本稿では,STIモデルの性能と適用の難しさとの関係を解析する。 論文で報告されているSTIモデルのほぼ完全な性能指標は,意味複雑性の低いデータセットを用いて得られた。
  論文  参考訳（メタデータ） (2020-08-06T20:18:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。