論文の概要: First Tragedy, then Parse: History Repeats Itself in the New Era of Large Language Models
- arxiv url: http://arxiv.org/abs/2311.05020v2
- Date: Tue, 26 Mar 2024 02:23:27 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-28 00:41:21.534969
- Title: First Tragedy, then Parse: History Repeats Itself in the New Era of Large Language Models
- Title(参考訳): 最初の悲劇、Parse: 大規模言語モデルの新時代における歴史の繰り返し
- Authors: Naomi Saphra, Eve Fleisig, Kyunghyun Cho, Adam Lopez,
- Abstract要約: 多くのNLP研究者は、ChatGPTや他の大規模言語モデル(LLM)に基づくシステムの成功によって、現実的な危機を経験している。
機械翻訳のための大規模な$n$-gramモデル(MT)で2005年に始まったLLMの最初の時代からのガイダンスを探す。
我々は、スケールの格差は過渡的であり、研究者はそれらを減らすために働くことができると論じている。
- 参考スコア(独自算出の注目度): 45.85689795740895
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Many NLP researchers are experiencing an existential crisis triggered by the astonishing success of ChatGPT and other systems based on large language models (LLMs). After such a disruptive change to our understanding of the field, what is left to do? Taking a historical lens, we look for guidance from the first era of LLMs, which began in 2005 with large $n$-gram models for machine translation (MT). We identify durable lessons from the first era, and more importantly, we identify evergreen problems where NLP researchers can continue to make meaningful contributions in areas where LLMs are ascendant. We argue that disparities in scale are transient and researchers can work to reduce them; that data, rather than hardware, is still a bottleneck for many applications; that meaningful realistic evaluation is still an open problem; and that there is still room for speculative approaches.
- Abstract(参考訳): 多くのNLP研究者は、ChatGPTや他の大規模言語モデル(LLM)に基づくシステムの成功によって、現実的な危機を経験している。
この分野の理解にこのような破壊的な変化が起こった後、どうすればいいのか?
歴史的レンズを応用して,2005年に機械翻訳(MT)のための大規模な$n$-gramモデルで始まったLLMの最初の時代からのガイダンスを求める。
まず,NLP研究者がLSMが上昇する地域で有意義な貢献を継続できる常緑的問題を特定する。
我々は、スケールの格差は過渡的であり、研究者はそれらを減らすことができる、ハードウェアよりもむしろデータは、多くのアプリケーションにとってまだボトルネックである、有意義な現実的な評価は依然として未解決の問題であり、投機的アプローチの余地がある、と論じている。
関連論文リスト
- Analyzing the Role of Semantic Representations in the Era of Large Language Models [104.18157036880287]
大規模言語モデル(LLM)の時代における意味表現の役割について検討する。
本稿では, AMRCoT と呼ばれる AMR-driven chain-of- Thought prompting 法を提案する。
AMRのどの入力例が役に立つかは予測できないが,複数単語の表現でエラーが発生する傾向にある。
論文 参考訳(メタデータ) (2024-05-02T17:32:59Z) - Second-Order Information Matters: Revisiting Machine Unlearning for Large Language Models [1.443696537295348]
プライバシーの漏洩と著作権侵害はまだ未発見だ。
我々の未学習のアルゴリズムは、データに依存しない/モデルに依存しないだけでなく、ユーティリティの保存やプライバシー保証の観点からも堅牢であることが証明されている。
論文 参考訳(メタデータ) (2024-03-13T18:57:30Z) - Factuality of Large Language Models in the Year 2024 [31.039783688574897]
我々は、主要な課題とその原因を特定することを目的として、既存の研究を批判的に分析する。
オープンエンドテキスト生成における事実自動評価の障害を解析する。
論文 参考訳(メタデータ) (2024-02-04T09:36:31Z) - Rethinking Interpretability in the Era of Large Language Models [76.1947554386879]
大規模言語モデル(LLM)は、幅広いタスクにまたがる顕著な機能を示している。
自然言語で説明できる能力により、LLMは人間に与えられるパターンのスケールと複雑さを拡大することができる。
これらの新しい機能は、幻覚的な説明や膨大な計算コストなど、新しい課題を提起する。
論文 参考訳(メタデータ) (2024-01-30T17:38:54Z) - Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。
自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。
本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
論文 参考訳(メタデータ) (2023-12-26T07:24:46Z) - The ART of LLM Refinement: Ask, Refine, and Trust [85.75059530612882]
ART: Ask, Refine, and Trust と呼ばれる改良目標を用いた推論を提案する。
LLMがいつその出力を洗練すべきかを決めるために必要な質問を尋ねる。
自己補充ベースラインよりも+5ポイントの性能向上を達成する。
論文 参考訳(メタデータ) (2023-11-14T07:26:32Z) - Are Large Language Models Really Robust to Word-Level Perturbations? [68.60618778027694]
本稿では,事前学習した報酬モデルを診断ツールとして活用する,新たな合理的評価手法を提案する。
より長い会話は、質問を理解する能力の観点から言語モデルの包括的把握を示す。
この結果から,LLMは日常言語でよく使われる単語レベルの摂動に対する脆弱性をしばしば示している。
論文 参考訳(メタデータ) (2023-09-20T09:23:46Z) - Assessing Hidden Risks of LLMs: An Empirical Study on Robustness,
Consistency, and Credibility [37.682136465784254]
我々は、ChatGPT、LLaMA、OPTを含む、主流の大規模言語モデル(LLM)に100万以上のクエリを実行します。
入力が極端に汚染された場合でも、ChatGPTは正しい答えを得ることができる。
そこで本研究では,LCMによる評価において,そのようなデータの有効性を大まかに決定する新たな指標を提案する。
論文 参考訳(メタデータ) (2023-05-15T15:44:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。