論文の概要: Revisiting Acceptability Judgements

• arxiv url: http://arxiv.org/abs/2305.14091v3
• Date: Thu, 28 Sep 2023 02:58:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-29 22:26:18.310920
• Title: Revisiting Acceptability Judgements
• Title（参考訳）: アクセプタビリティの判断を再考する
• Authors: Hai Hu and Ziyin Zhang and Weifang Huang and Jackie Yan-Ki Lai and Aini Li and Yina Patterson and Jiahui Huang and Peng Zhang and Chien-Jer Charles Lin and Rui Wang
• Abstract要約: CoLACは、非インド・ヨーロッパ言語のための最初の大規模アクセシビリティデータセットである。 ネイティブスピーカーによって検証され、言語学者のラベルと群衆のラベルの2つのセットが付属している。 実験の結果,最大のインストラクトGPTモデルでさえ,CoLAC上でのみ実行可能であることがわかった。
• 参考スコア（独自算出の注目度）: 16.586147651894265
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In this work, we revisit linguistic acceptability in the context of large language models. We introduce CoLAC - Corpus of Linguistic Acceptability in Chinese, the first large-scale acceptability dataset for a non-Indo-European language. It is verified by native speakers and is the first acceptability dataset that comes with two sets of labels: a linguist label and a crowd label. Our experiments show that even the largest InstructGPT model performs only at chance level on CoLAC, while ChatGPT's performance (48.30 MCC) is also much below supervised models (59.03 MCC) and human (65.11 MCC). Through cross-lingual transfer experiments and fine-grained linguistic analysis, we provide detailed analysis of the model predictions and demonstrate for the first time that knowledge of linguistic acceptability can be transferred across typologically distinct languages, as well as be traced back to pre-training. Our dataset is publicly available at \url{https://github.com/huhailinguist/CoLAC}.
• Abstract（参考訳）: 本研究では,大規模言語モデルの文脈で言語受容性を再検討する。 非インド・ヨーロッパ語に対する最初の大規模受容性データセットであるCoLAC - Corpus of Linguistic Acceptabilityを中国語で紹介する。 ネイティブスピーカーによって検証され、言語学者のラベルと群衆のラベルの2つのラベルが付属する最初のアクセプタビリティデータセットである。 実験の結果,最大のインストラクトGPTモデルでさえ,CoLAC上では偶然にしか動作しないが,ChatGPTの性能(48.30 MCC)は教師付きモデル(59.03 MCC)と人間(65.11 MCC)よりもはるかに低いことがわかった。 クロスリンガル・トランスファー実験ときめ細かい言語解析を通じて,モデル予測の詳細な分析を行い,言語受容性に関する知識をタイプ論的に異なる言語間で伝達し,事前学習まで遡ることができることを示す。 データセットは \url{https://github.com/huhailinguist/CoLAC} で公開されています。

関連論文リスト

• Exploiting Phonological Similarities between African Languages to achieve Speech to Speech Translation [2.7624021966289605]
  本稿では,言語系統内および言語系統間の音声セグメントをマッピングするセグメントベースモデルを提案する。 5つの言語を含むケニア放送協会(KBC)から,プロプライエタリなデータセット上でモデルを評価した。
  論文  参考訳（メタデータ） (2024-10-30T09:44:52Z)
• Pretraining Approaches for Spoken Language Recognition: TalTech Submission to the OLR 2021 Challenge [0.0]
  この論文は、東洋言語認識2021チャレンジへの提案に基づいています。 制約トラックに対しては,まず,多言語自動音声認識のためのコンバータベースのエンコーダデコーダモデルを訓練した。 制約のないタスクでは、外部で利用可能な事前訓練されたモデルと外部データの両方を頼りにしました。
  論文  参考訳（メタデータ） (2022-05-14T15:17:08Z)
• Czech Dataset for Cross-lingual Subjectivity Classification [13.70633147306388]
  そこで本研究では,映画レビューや説明文から10kの注釈付き主観的,客観的な文を手作業で作成する新しいチェコ語主観性データセットを提案する。 2つのアノテータはデータセットにコーエンのカッパ間アノテータ契約の0.83に達した。 新しいデータセットの単一言語ベースラインを設定するために、トレーニング済みのBERT風モデルを5つ微調整し、93.56%の精度を達成する。
  論文  参考訳（メタデータ） (2022-04-29T07:31:46Z)
• On Cross-Lingual Retrieval with Multilingual Text Encoders [51.60862829942932]
  言語間文書・文検索タスクにおける最先端多言語エンコーダの適合性について検討する。 教師なしのアドホック文と文書レベルのCLIR実験でそれらの性能をベンチマークする。 我々は、ゼロショット言語とドメイン転送CLIR実験のシリーズにおける英語関連データに基づいて、教師付き方式で微調整された多言語エンコーダの評価を行った。
  論文  参考訳（メタデータ） (2021-12-21T08:10:27Z)
• From Good to Best: Two-Stage Training for Cross-lingual Machine Reading Comprehension [51.953428342923885]
  モデル性能を向上させるための2段階のアプローチを開発する。 我々は、トップk予測が正確な答えを含む確率を最大化するために、ハードラーニング(HL)アルゴリズムを設計する。 第2段階では, 正解と他の候補との微妙な違いを学習するために, 解答を意識したコントラスト学習機構が開発された。
  論文  参考訳（メタデータ） (2021-12-09T07:31:15Z)
• A Massively Multilingual Analysis of Cross-linguality in Shared Embedding Space [61.18554842370824]
  言語間モデルでは、多くの異なる言語に対する表現は同じ空間に存在している。 我々は,bitext検索性能の形式で,言語間アライメントのタスクベース尺度を計算した。 我々はこれらのアライメント指標の潜在的な予測因子として言語的、準言語的、および訓練関連の特徴について検討する。
  論文  参考訳（メタデータ） (2021-09-13T21:05:37Z)
• XL-WiC: A Multilingual Benchmark for Evaluating Semantic Contextualization [98.61159823343036]
  単語の意味を正確にモデル化する能力を評価するために,Word-in-Context データセット (WiC) を提案する。 我々は、XL-WiCという大規模なマルチ言語ベンチマークを提案し、12の新しい言語でゴールドスタンダードを特徴付けました。 実験結果から、ターゲット言語にタグ付けされたインスタンスが存在しない場合でも、英語データのみにトレーニングされたモデルは、競争力のあるパフォーマンスが得られることが示された。
  論文  参考訳（メタデータ） (2020-10-13T15:32:00Z)
• XCOPA: A Multilingual Dataset for Causal Commonsense Reasoning [68.57658225995966]
  XCOPA (Cross-lingual Choice of Plausible Alternatives) は11言語における因果コモンセンス推論のための多言語データセットである。 提案手法は,翻訳に基づく転送と比較して,現在の手法の性能が低下していることを明らかにする。
  論文  参考訳（メタデータ） (2020-05-01T12:22:33Z)
• CoVoST: A Diverse Multilingual Speech-To-Text Translation Corpus [57.641761472372814]
  CoVoSTは11言語から英語への多言語による音声からテキストへの翻訳コーパスである。 11,000人以上の話者と60以上のアクセントで多様化した。 CoVoSTはCC0ライセンスでリリースされており、無料で利用できる。
  論文  参考訳（メタデータ） (2020-02-04T14:35:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。