論文の概要: How to Make the Most of LLMs' Grammatical Knowledge for Acceptability Judgments

• arxiv url: http://arxiv.org/abs/2408.09639v1
• Date: Mon, 19 Aug 2024 01:53:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-20 17:53:49.676590
• Title: How to Make the Most of LLMs' Grammatical Knowledge for Acceptability Judgments
• Title（参考訳）: LLMの文法的知識を活用したアクセシビリティ判断手法
• Authors: Yusuke Ide, Yuto Nishida, Miyu Oba, Yusuke Sakai, Justin Vasselli, Hidetaka Kamigaito, Taro Watanabe,
• Abstract要約: 言語モデル(LM)の文法的知識は、言語的最小対のベンチマークを用いてしばしば測定される。 しかし、既存の支配的アプローチは、LMを用いてペア化された文の確率をネーティブに計算し、比較する。 LLMの文法的知識を活かして総合的に評価する方法について検討する。
• 参考スコア（独自算出の注目度）: 22.76776244036282
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The grammatical knowledge of language models (LMs) is often measured using a benchmark of linguistic minimal pairs, where LMs are presented with a pair of acceptable and unacceptable sentences and required to judge which is acceptable. The existing dominant approach, however, naively calculates and compares the probabilities of paired sentences using LMs. Additionally, large language models (LLMs) have yet to be thoroughly examined in this field. We thus investigate how to make the most of LLMs' grammatical knowledge to comprehensively evaluate it. Through extensive experiments of nine judgment methods in English and Chinese, we demonstrate that a probability readout method, in-template LP, and a prompting-based method, Yes/No probability computing, achieve particularly high performance, surpassing the conventional approach. Our analysis reveals their different strengths, e.g., Yes/No probability computing is robust against token-length bias, suggesting that they harness different aspects of LLMs' grammatical knowledge. Consequently, we recommend using diverse judgment methods to evaluate LLMs comprehensively.
• Abstract（参考訳）: 言語モデル(LM)の文法的知識は、言語的最小対のベンチマークを用いてしばしば測定される。 しかし、既存の支配的アプローチは、LMを用いてペア化された文の確率をネーティブに計算し、比較する。 さらに、この分野ではまだ大きな言語モデル(LLM)が十分に検討されていない。 そこで本研究では,LLMの文法的知識を活用して総合的に評価する方法について検討する。 英語と中国語の9つの判定法を広範囲に実験した結果,従来の手法を超越して,確率可読化手法である in-template LP とプロンプトベース手法である Yes/No が特に高い性能を達成できることが実証された。 確率計算はトークン長バイアスに対して頑健であり,LLMの文法的知識の異なる側面を利用する可能性が示唆された。 その結果, LLMを総合的に評価するために, 多様な判定手法を用いることを推奨した。

関連論文リスト

• The Alternative Annotator Test for LLM-as-a-Judge: How to Statistically Justify Replacing Human Annotators with LLMs [21.97227334180969]
  LLM-as-a-judge"パラダイムでは、人間が伝統的に行ってきたタスクにおいて、アノテータや評価役としてLarge Language Modelsを採用している。 研究結果や洞察を形成する上での役割にもかかわらず、LLMがヒトのアノテーターを置き換えることができるかどうかを判断するための標準的あるいは厳格な手順は存在しない。 LLMアノテーションの使用を正当化するためには、アノテーション付き例の控えめなサブセットだけを必要とする新しい統計手順である代替アノテーションテスト(alt-test)を提案する。
  論文  参考訳（メタデータ） (2025-01-19T07:09:11Z)
• Learning-From-Mistakes Prompting for Indigenous Language Translation [3.7790255156708397]
  本稿では,低リソースの母国語翻訳を改善する手法を提案する。 我々のアプローチは、限られた数の並列翻訳例からなるデータストアの使用に基礎を置いています。 我々は、LLMをユニバーサルトランスレータとして使用するような設定において、LLMと文脈内学習技術のポテンシャルを利用する。
  論文  参考訳（メタデータ） (2024-07-18T09:41:20Z)
• TasTe: Teaching Large Language Models to Translate through Self-Reflection [82.83958470745381]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて顕著な性能を示した。 本稿では,自己回帰を通した翻訳を行うTasTeフレームワークを提案する。 WMT22ベンチマークにおける4つの言語方向の評価結果から,既存の手法と比較して,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-06-12T17:21:21Z)
• Detecting Hallucinations in Large Language Model Generation: A Token Probability Approach [0.0]
  LLM(Large Language Models)は、幻覚と呼ばれる不正確な出力を生成する。 本稿では,トークンから得られる4つの数値的特徴と,他の評価者から得られる語彙的確率を用いた教師付き学習手法を提案する。 この方法は有望な結果をもたらし、3つの異なるベンチマークで複数のタスクで最先端の結果を上回る。
  論文  参考訳（メタデータ） (2024-05-30T03:00:47Z)
• FAC$^2$E: Better Understanding Large Language Model Capabilities by Dissociating Language and Cognition [56.76951887823882]
  大規模言語モデル(LLM)は、主に様々なテキスト理解および生成タスクにおける全体的なパフォーマンスによって評価される。 FAC$2$E, FAC$2$Eについて述べる。
  論文  参考訳（メタデータ） (2024-02-29T21:05:37Z)
• Uncertainty Quantification for In-Context Learning of Large Language Models [52.891205009620364]
  大規模言語モデル(LLM)の画期的な能力として、文脈内学習が登場している。 両タイプの不確かさを定量化するための新しい定式化法とそれに対応する推定法を提案する。 提案手法は、プラグイン・アンド・プレイ方式でコンテキスト内学習の予測を理解するための教師なしの方法を提供する。
  論文  参考訳（メタデータ） (2024-02-15T18:46:24Z)
• LM-Polygraph: Uncertainty Estimation for Language Models [71.21409522341482]
  不確実性推定(UE)手法は、大規模言語モデル(LLM)の安全性、責任性、効果的な利用のための1つの経路である。 テキスト生成タスクにおけるLLMの最先端UEメソッドのバッテリを実装したフレームワークであるLM-PolygraphをPythonで統一したプログラムインタフェースで導入する。 研究者によるUEテクニックの一貫した評価のための拡張可能なベンチマークと、信頼スコア付き標準チャットダイアログを強化するデモWebアプリケーションを導入している。
  論文  参考訳（メタデータ） (2023-11-13T15:08:59Z)
• Knowledge Rumination for Pre-trained Language Models [77.55888291165462]
  本稿では,学習前の言語モデルが外部コーパスから検索することなく,関連する潜在知識を活用できるようにするための,Knowledge Ruminationと呼ばれる新しいパラダイムを提案する。 本稿では,RoBERTa,DeBERTa,GPT-3などの言語モデルに適用する。
  論文  参考訳（メタデータ） (2023-05-15T15:47:09Z)
• Exposing Cross-Lingual Lexical Knowledge from Multilingual Sentence Encoders [85.80950708769923]
  本稿では,多言語言語モデルを用いて,それらのパラメータに格納された言語間語彙の知識量を探索し,元の多言語LMと比較する。 また、この知識を付加的に微調整した多言語モデルにより公開する新しい手法も考案した。 標準ベンチマークの大幅な向上を報告します。
  論文  参考訳（メタデータ） (2022-04-30T13:23:16Z)
• Language Models as an Alternative Evaluator of Word Order Hypotheses: A Case Study in Japanese [45.80297329300326]
  本稿では,ニューラルネットワークモデル(LM)を用いて単語の順序を解析する手法について検討する。 本手法が単語の順序分析に有効かどうかを検討する。 LMは分析ツールとして使うのに十分な単語順の知識を提示する。
  論文  参考訳（メタデータ） (2020-05-02T14:32:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。