論文の概要: First Tragedy, then Parse: History Repeats Itself in the New Era of Large Language Models

• arxiv url: http://arxiv.org/abs/2311.05020v2
• Date: Tue, 26 Mar 2024 02:23:27 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-28 00:41:21.534969
• Title: First Tragedy, then Parse: History Repeats Itself in the New Era of Large Language Models
• Title（参考訳）: 最初の悲劇、Parse: 大規模言語モデルの新時代における歴史の繰り返し
• Authors: Naomi Saphra, Eve Fleisig, Kyunghyun Cho, Adam Lopez,
• Abstract要約: 多くのNLP研究者は、ChatGPTや他の大規模言語モデル(LLM)に基づくシステムの成功によって、現実的な危機を経験している。 機械翻訳のための大規模な$n$-gramモデル(MT)で2005年に始まったLLMの最初の時代からのガイダンスを探す。 我々は、スケールの格差は過渡的であり、研究者はそれらを減らすために働くことができると論じている。
• 参考スコア（独自算出の注目度）: 45.85689795740895
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many NLP researchers are experiencing an existential crisis triggered by the astonishing success of ChatGPT and other systems based on large language models (LLMs). After such a disruptive change to our understanding of the field, what is left to do? Taking a historical lens, we look for guidance from the first era of LLMs, which began in 2005 with large $n$-gram models for machine translation (MT). We identify durable lessons from the first era, and more importantly, we identify evergreen problems where NLP researchers can continue to make meaningful contributions in areas where LLMs are ascendant. We argue that disparities in scale are transient and researchers can work to reduce them; that data, rather than hardware, is still a bottleneck for many applications; that meaningful realistic evaluation is still an open problem; and that there is still room for speculative approaches.
• Abstract（参考訳）: 多くのNLP研究者は、ChatGPTや他の大規模言語モデル(LLM)に基づくシステムの成功によって、現実的な危機を経験している。 この分野の理解にこのような破壊的な変化が起こった後、どうすればいいのか? 歴史的レンズを応用して,2005年に機械翻訳(MT)のための大規模な$n$-gramモデルで始まったLLMの最初の時代からのガイダンスを求める。 まず,NLP研究者がLSMが上昇する地域で有意義な貢献を継続できる常緑的問題を特定する。 我々は、スケールの格差は過渡的であり、研究者はそれらを減らすことができる、ハードウェアよりもむしろデータは、多くのアプリケーションにとってまだボトルネックである、有意義な現実的な評価は依然として未解決の問題であり、投機的アプローチの余地がある、と論じている。

関連論文リスト

• Knowledge Graphs, Large Language Models, and Hallucinations: An NLP Perspective [5.769786334333616]
  大規模言語モデル(LLM)は、自動テキスト生成や質問応答などを含む自然言語処理(NLP)ベースのアプリケーションに革命をもたらした。 幻覚では、モデルがもっともらしい音を出すが、実際には正しくない反応を生成する。 本稿では,現状のデータセットやベンチマーク,知識統合や幻覚評価の手法など,これらのオープンな課題について論じる。
  論文  参考訳（メタデータ） (2024-11-21T16:09:05Z)
• Transforming Scholarly Landscapes: Influence of Large Language Models on Academic Fields beyond Computer Science [77.31665252336157]
  大規模言語モデル (LLM) は自然言語処理 (NLP) において転換期を迎えた。 本研究は,NLP以外の分野におけるLLMの影響と利用について実験的に検討する。
  論文  参考訳（メタデータ） (2024-09-29T01:32:35Z)
• Can Large Language Models Create New Knowledge for Spatial Reasoning Tasks? [0.0]
  本研究では,Large Language Models (LLM) が空間次元を持つ問題に対して洗練された推論を行うことができることを示した。 これは、最先端のLLMが今や達成できるという、かなりのレベルの理解を示している。
  論文  参考訳（メタデータ） (2024-05-23T09:54:54Z)
• Analyzing the Role of Semantic Representations in the Era of Large Language Models [104.18157036880287]
  大規模言語モデル(LLM)の時代における意味表現の役割について検討する。 本稿では, AMRCoT と呼ばれる AMR-driven chain-of- Thought prompting 法を提案する。 AMRのどの入力例が役に立つかは予測できないが,複数単語の表現でエラーが発生する傾向にある。
  論文  参考訳（メタデータ） (2024-05-02T17:32:59Z)
• Factuality of Large Language Models: A Survey [29.557596701431827]
  我々は、主要な課題とその原因を特定することを目的として、既存の研究を批判的に分析する。 オープンエンドテキスト生成における事実自動評価の障害を解析する。
  論文  参考訳（メタデータ） (2024-02-04T09:36:31Z)
• Rethinking Interpretability in the Era of Large Language Models [76.1947554386879]
  大規模言語モデル(LLM)は、幅広いタスクにまたがる顕著な機能を示している。 自然言語で説明できる能力により、LLMは人間に与えられるパターンのスケールと複雑さを拡大することができる。 これらの新しい機能は、幻覚的な説明や膨大な計算コストなど、新しい課題を提起する。
  論文  参考訳（メタデータ） (2024-01-30T17:38:54Z)
• The ART of LLM Refinement: Ask, Refine, and Trust [85.75059530612882]
  ART: Ask, Refine, and Trust と呼ばれる改良目標を用いた推論を提案する。 LLMがいつその出力を洗練すべきかを決めるために必要な質問を尋ねる。 自己補充ベースラインよりも+5ポイントの性能向上を達成する。
  論文  参考訳（メタデータ） (2023-11-14T07:26:32Z)
• Are Large Language Models Really Robust to Word-Level Perturbations? [68.60618778027694]
  本稿では,事前学習した報酬モデルを診断ツールとして活用する,新たな合理的評価手法を提案する。 より長い会話は、質問を理解する能力の観点から言語モデルの包括的把握を示す。 この結果から,LLMは日常言語でよく使われる単語レベルの摂動に対する脆弱性をしばしば示している。
  論文  参考訳（メタデータ） (2023-09-20T09:23:46Z)
• Assessing Hidden Risks of LLMs: An Empirical Study on Robustness, Consistency, and Credibility [37.682136465784254]
  我々は、ChatGPT、LLaMA、OPTを含む、主流の大規模言語モデル(LLM)に100万以上のクエリを実行します。 入力が極端に汚染された場合でも、ChatGPTは正しい答えを得ることができる。 そこで本研究では,LCMによる評価において,そのようなデータの有効性を大まかに決定する新たな指標を提案する。
  論文  参考訳（メタデータ） (2023-05-15T15:44:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。