論文の概要: What We Talk About When We Talk About LMs: Implicit Paradigm Shifts and the Ship of Language Models

• arxiv url: http://arxiv.org/abs/2407.01929v2
• Date: Tue, 15 Oct 2024 17:36:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-16 13:59:38.985984
• Title: What We Talk About When We Talk About LMs: Implicit Paradigm Shifts and the Ship of Language Models
• Title（参考訳）: LMについて語る時について - パラダイムシフトの暗示と言語モデルの出荷
• Authors: Shengqi Zhu, Jeffrey M. Rzeszotarski,
• Abstract要約: Language Models (LMs) という用語は常に再発明されており、その参照語はthesusの $textitShip のように更新されている。 本稿では,この「textitShip of Language Models$ problem」について考察する。
• 参考スコア（独自算出の注目度）: 11.415298220164818
• License:
• Abstract: The term Language Models (LMs), as a time-specific collection of models of interest, is constantly reinvented, with its referents updated much like the $\textit{Ship of Theseus}$ replaces its parts but remains the same ship in essence. In this paper, we investigate this $\textit{Ship of Language Models}$ problem, wherein scientific evolution takes the form of continuous, implicit retrofits of key existing terms. We seek to initiate a novel perspective of scientific progress, in addition to the more well-studied emergence of new terms. To this end, we construct the data infrastructure based on recent NLP publications. Then, we perform a series of text-based analyses toward a detailed, quantitative understanding of the use of Language Models as a term of art. Our work highlights how systems and theories influence each other in scientific discourse, and we call for attention to the transformation of this Ship that we all are contributing to.
• Abstract（参考訳）: Language Models (LM) という用語は、関心のあるモデルの時間固有のコレクションとして、常に再発明され、参照語は $\textit{Ship of Theseus}$ のように更新されるが、本質的には同じ船である。 本稿では、この$\textit{Ship of Language Models}$ problem, where in scientific evolution take the form of continuous, implicit retrofits of key existing terms。 我々は、よりよく研究された新しい用語の出現に加えて、科学的進歩の新たな視点を創出することを目指している。 この目的のために、我々は最近のNLP出版物に基づいてデータ基盤を構築した。 そこで我々は,言語モデルを芸術用語として用いることの詳細な,定量的な理解に向けて,テキストに基づく一連の分析を行う。 私たちの研究は、科学的議論においてシステムと理論が相互にどのように影響するかを強調し、私たち全員が貢献しているこの船の変革に注意を向けます。

関連論文リスト

• Retrieval-Enhanced Machine Learning: Synthesis and Opportunities [60.34182805429511]
  検索エンハンスメントは機械学習(ML)の幅広い範囲に拡張できる この研究は、MLの様々な領域の文献を、現在の文献から欠落している一貫した表記で合成することで、このパラダイムの正式なフレームワークであるRetrieval-Enhanced Machine Learning (REML)を導入する。 本研究の目的は、様々な分野の研究者に対して、検索強化モデルの包括的、正式に構造化された枠組みを付与し、学際的な将来の研究を促進することである。
  論文  参考訳（メタデータ） (2024-07-17T20:01:21Z)
• NEO-BENCH: Evaluating Robustness of Large Language Models with Neologisms [19.863120275409393]
  我々は、いくつかの一般的な収集手法を用いて、近年のイングランドのネオロジズムの多様な資源を創出する。 我々は新語を含む文と新語を置き換えたほぼ同一の文とを既存の代用語と比較することにより,時間的ドリフトを分析する。 モデル性能は1つの新語が文中に導入されるとき、機械翻訳においてほぼ半減する。
  論文  参考訳（メタデータ） (2024-02-19T16:19:15Z)
• Carpe Diem: On the Evaluation of World Knowledge in Lifelong Language Models [74.81091933317882]
  進化するウィキペディアデータベース上でのLMのトレーニングと評価を目的とした,時間的に進化する質問応答ベンチマークであるEvolvingQAを紹介する。 既存の継続的な学習ベースラインが、時代遅れの知識の更新と削除に悩まされていることを明らかにする。 本研究の目的は,実世界の情報の動的性質をモデル化することであり,言語モデルの進化適応性を忠実に評価することである。
  論文  参考訳（メタデータ） (2023-11-14T12:12:02Z)
• GreekT5: A Series of Greek Sequence-to-Sequence Models for News Summarization [0.0]
  本稿では,ギリシャのニュース記事を対象とした新しいTSモデルを提案する。 提案したモデルは、ギリシャのBARTに対して同じデータセットで徹底的に評価された。 評価結果から, 提案したモデルのほとんどは, 様々な評価指標において, ギリシャ語BARTを著しく上回っていることが明らかとなった。
  論文  参考訳（メタデータ） (2023-11-13T21:33:12Z)
• SciMON: Scientific Inspiration Machines Optimized for Novelty [68.46036589035539]
  文献に基づく新たな科学的方向を生成するために,ニューラルランゲージモデルを探索し,拡張する。 モデルが入力背景コンテキストとして使用される新しい設定で、劇的な出発をとっています。 本稿では,過去の科学的論文から「吸入」を抽出するモデリングフレームワークであるSciMONを紹介する。
  論文  参考訳（メタデータ） (2023-05-23T17:12:08Z)
• Late-Binding Scholarship in the Age of AI: Navigating Legal and Normative Challenges of a New Form of Knowledge Production [8.497410878853309]
  人工知能(AI)は、学術コンテンツの作成において、新たな飛躍を可能にする。 この記事では、これらのアーティファクトを書き、配布し、読み、整理し、保存する方法について述べます。
  論文  参考訳（メタデータ） (2023-05-04T04:14:28Z)
• An Inclusive Notion of Text [69.36678873492373]
  テキストの概念の明確さは再現可能で一般化可能なNLPにとって不可欠である,と我々は主張する。 言語的および非言語的要素の2層分類を導入し,NLPモデリングに使用することができる。
  論文  参考訳（メタデータ） (2022-11-10T14:26:43Z)
• Taxonomy Enrichment with Text and Graph Vector Representations [61.814256012166794]
  我々は,既存の分類学に新たな語を加えることを目的とした分類学の豊かさの問題に対処する。 我々は,この課題に対して,少ない労力で高い結果を得られる新しい手法を提案する。 我々は、異なるデータセットにわたる最先端の結果を達成し、ミスの詳細なエラー分析を提供する。
  論文  参考訳（メタデータ） (2022-01-21T09:01:12Z)
• How much do language models copy from their training data? Evaluating linguistic novelty in text generation using RAVEN [63.79300884115027]
  現在の言語モデルは高品質なテキストを生成することができる。 彼らは、これまで見たテキストを単にコピーしているか、それとも一般化可能な言語的抽象化を学んだのか? 本稿では、生成したテキストの新規性を評価するための分析スイートであるRAVENを紹介する。
  論文  参考訳（メタデータ） (2021-11-18T04:07:09Z)
• The Rediscovery Hypothesis: Language Models Need to Meet Linguistics [8.293055016429863]
  現代言語モデルの性能向上に言語知識が必須条件であるかどうかを検討する。 その結果, 言語構造を探索した場合, かなり圧縮されるが, 事前学習目的によく適合する言語モデルは, 良好なスコアを保っていることがわかった。 この結果は再発見仮説を支持し,本論文の第2の貢献である言語モデル目標と言語情報との関連性に関する情報論的枠組みを導出する。
  論文  参考訳（メタデータ） (2021-03-02T15:57:39Z)
• Pitfalls of Static Language Modelling [41.76918612574081]
  現状のトランスフォーマーモデルは、訓練期間を超えて、将来の発話を予測する現実的なセットアップにおいて、さらに悪化することを示す。 私たちは、静的言語モデリング評価プロトコルを再考するのは、今が正しい時だと論じています。
  論文  参考訳（メタデータ） (2021-02-03T09:01:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。