論文の概要: On General Language Understanding

• arxiv url: http://arxiv.org/abs/2310.18038v1
• Date: Fri, 27 Oct 2023 10:36:54 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-30 14:08:51.965049
• Title: On General Language Understanding
• Title（参考訳）: 一般言語理解について
• Authors: David Schlangen
• Abstract要約: 本稿では,モデル品質の測定方法の妥当性に関する疑問を解き明かすことができる理解モデルの概要を概説する。 A) 異なる言語使用状況タイプが異なる特徴を持っていること、B) 言語理解は多面的な現象であること、C) 理解指標の選択はベンチマークの限界を示すこと、である。
• 参考スコア（独自算出の注目度）: 18.2932386988379
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Natural Language Processing prides itself to be an empirically-minded, if not outright empiricist field, and yet lately it seems to get itself into essentialist debates on issues of meaning and measurement ("Do Large Language Models Understand Language, And If So, How Much?"). This is not by accident: Here, as everywhere, the evidence underspecifies the understanding. As a remedy, this paper sketches the outlines of a model of understanding, which can ground questions of the adequacy of current methods of measurement of model quality. The paper makes three claims: A) That different language use situation types have different characteristics, B) That language understanding is a multifaceted phenomenon, bringing together individualistic and social processes, and C) That the choice of Understanding Indicator marks the limits of benchmarking, and the beginnings of considerations of the ethics of NLP use.
• Abstract（参考訳）: 自然言語処理は、経験主義的な分野ではなく、経験主義的な分野であることを誇りに思っており、近年では意味と測定の問題に関して本質的な議論を巻き起こしているようである("Do Large Language Models Understand Language, And If So, How Much? これは偶然ではない: ここでは、至るところで、証拠は理解を過小評価している。 本稿では,現在のモデル品質測定方法の妥当性に関する疑問を提起する理解モデルの概要を概説する。 A) 異なる言語使用状況タイプが異なる特徴を持っている,B) 言語理解は多面的現象であり、個人主義的・社会的プロセスが混在している,C) 理解指標の選択は、ベンチマークの限界であり、NLP使用の倫理的考察の始まりである,という3つの主張を行う。

関連論文リスト

• LLMs as Function Approximators: Terminology, Taxonomy, and Questions for Evaluation [18.2932386988379]
  本稿では,これらのモデルモデルにおける明瞭さの喪失が,「人工的な一般知性」などのメタファーにつながることを論じる。 この提案は、自然言語仕様に基づいて専門関数を近似する能力において、それらの一般化と潜在的な価値を見出すことである。
  論文  参考訳（メタデータ） (2024-07-18T17:49:56Z)
• From Form(s) to Meaning: Probing the Semantic Depths of Language Models Using Multisense Consistency [13.154753046052527]
  言語間の一貫性とパラフレーズに重点を置いています。 モデルのマルチセンス一貫性が欠如していることに気付き、検証のためにいくつかのフォローアップ分析を実行する。 この観点では、LLMの理解は、一貫性と人間的類似性にはまだ程遠い、と結論付けています。
  論文  参考訳（メタデータ） (2024-04-18T12:48:17Z)
• Epistemology of Language Models: Do Language Models Have Holistic Knowledge? [30.02796959216552]
  本稿では,言語モデルにおける本質的な知識をホリズムの観点から検討する。 本研究の目的は,言語モデルの特徴がホリズムと一致しているかどうかを検討することである。
  論文  参考訳（メタデータ） (2024-03-19T16:06:10Z)
• Situated Natural Language Explanations [54.083715161895036]
  自然言語の説明(NLE)は、人間に意思決定を説明する最もアクセスしやすいツールである。 既存のNLE研究の視点は、観客を考慮に入れない。 Situated NLEは視点を提供し、説明の生成と評価に関するさらなる研究を促進する。
  論文  参考訳（メタデータ） (2023-08-27T14:14:28Z)
• Natural Language Decompositions of Implicit Content Enable Better Text Representations [56.85319224208865]
  本稿では,暗黙的に伝達されたコンテンツを明示的に考慮したテキスト分析手法を提案する。 我々は大きな言語モデルを用いて、観察されたテキストと推論的に関係する命題の集合を生成する。 本研究は,NLPにおいて,文字のみではなく,観察された言語の背景にある意味をモデル化することが重要であることを示唆する。
  論文  参考訳（メタデータ） (2023-05-23T23:45:20Z)
• Language Models as Inductive Reasoners [125.99461874008703]
  本稿では,帰納的推論のための新しいパラダイム(タスク)を提案し,自然言語の事実から自然言語規則を誘導する。 タスクのための1.2kルールファクトペアを含むデータセットDEERを作成し,ルールと事実を自然言語で記述する。 我々は、事前訓練された言語モデルが自然言語の事実から自然言語規則をいかに誘導できるかを、初めてかつ包括的な分析を行う。
  論文  参考訳（メタデータ） (2022-12-21T11:12:14Z)
• A Linguistic Investigation of Machine Learning based Contradiction Detection Models: An Empirical Analysis and Future Perspectives [0.34998703934432673]
  本稿では,2つの自然言語推論データセットについて,その言語的特徴について分析する。 目標は、特に機械学習モデルを理解するのが難しい、構文的および意味的特性を特定することである。
  論文  参考訳（メタデータ） (2022-10-19T10:06:03Z)
• Analyzing the Limits of Self-Supervision in Handling Bias in Language [52.26068057260399]
  我々は、言語モデルが、認識、識別、抽出、言い換えの4つのタスクのセマンティクスをいかにうまく捉えているかを評価する。 分析の結果,言語モデルでは,ジェンダーや政治的アフィリエイトなど,様々なバイアス次元にまたがって,これらのタスクを広範囲にわたって実行することが可能であることが示唆された。
  論文  参考訳（メタデータ） (2021-12-16T05:36:08Z)
• The Singleton Fallacy: Why Current Critiques of Language Models Miss the Point [3.096615629099618]
  本稿では,ニューラルネットワークに基づく自然言語理解(Nugual Language Understanding, NLU)ソリューションに対する現在の批判について論じる。 言語の使用、意味、理解にはさまざまな種類があり、(現在の)言語モデルは言語の構造的理解の1つのタイプの獲得と表現という明確な目的を持って構築されていると論じる。
  論文  参考訳（メタデータ） (2021-02-08T16:12:36Z)
• Probing Pretrained Language Models for Lexical Semantics [76.73599166020307]
  類型的多様言語と5つの異なる語彙課題にまたがる系統的経験分析を行った。 我々の結果は、普遍的に維持されるパターンとベストプラクティスを示しているが、言語やタスクにまたがる顕著なバリエーションを示している。
  論文  参考訳（メタデータ） (2020-10-12T14:24:01Z)
• Information-Theoretic Probing for Linguistic Structure [74.04862204427944]
  本稿では,相互情報を推定するための情報理論による探索運用手法を提案する。 我々は,NLP研究でしばしば不足している10の型的多様言語について評価した。
  論文  参考訳（メタデータ） (2020-04-07T01:06:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。