論文の概要: SLANG: New Concept Comprehension of Large Language Models

• arxiv url: http://arxiv.org/abs/2401.12585v3
• Date: Mon, 5 Feb 2024 17:49:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-07 02:53:55.585712
• Title: SLANG: New Concept Comprehension of Large Language Models
• Title（参考訳）: SLANG: 大規模言語モデルの新たな概念理解
• Authors: Lingrui Mei, Shenghua Liu, Yiwei Wang, Baolong Bi, Xueqi Cheng
• Abstract要約: 大規模言語モデル(LLM)は、しばしばオンラインコミュニティの急速な言語進化の特徴に追従するために苦労する。 私たちのベンチマークとアプローチは、言語シフトの実際のインスタンスを消化するものです。 我々の因果推論に基づくアプローチは、インターネットスラングやミームの理解において、精度と関連性の観点から従来のモデルよりも優れている。
• 参考スコア（独自算出の注目度）: 46.65436204783482
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The dynamic nature of language, particularly evident in the realm of slang and memes on the Internet, poses serious challenges to the adaptability of large language models (LLMs). Traditionally anchored to static datasets, these models often struggle to keep up with the rapid linguistic evolution characteristic of online communities. This research aims to bridge this gap by enhancing LLMs' comprehension of the evolving new concepts on the Internet, without the high cost of continual retraining. In pursuit of this goal, we propose a new benchmark $\textbf{SLANG}$, which can autonomously integrates novel data to stay dataset up-to-date, to assess LLMs' capability in comprehending emerging concepts and an approach $\textbf{FOCUS}$, which uses causal inference to enhance LLMs to understand new phrases and their colloquial context. Our benchmark and approach involves digesting real-world instances of linguistic shifts, serving as contextual beacons, to form more precise and contextually relevant connections between newly emerging expressions and their meanings. The empirical analysis shows that our causal inference-based approach outperforms the traditional models in terms of precision and relevance in the comprehension of Internet slang and memes.
• Abstract（参考訳）: 言語の動的な性質は、特にインターネット上のスラングやミームの領域において顕著であり、大規模言語モデル(llm)の適応性に深刻な課題をもたらす。 伝統的に静的データセットに固定されているこれらのモデルは、しばしばオンラインコミュニティの急速な言語進化の特徴に追従するのに苦労する。 本研究の目的は,インターネット上での新たな概念のLLMの理解を高めることで,継続的な再学習のコストを高く抑えることである。 この目標を追求するために、新しいデータを自動で統合してデータセットを最新に保ち、新興概念の理解におけるLLMの能力を評価できる$\textbf{FOCUS}$と、因果推論を用いてLLMを拡張し、新しいフレーズとその文脈を理解するアプローチである$\textbf{FOCUS}$を提案する。 我々のベンチマークとアプローチは、言語の変化の実際の例を消化し、文脈のビーコンとして働き、新しく現れた表現とその意味の間のより正確でコンテキスト的に関連づける関係を形成する。 実験分析の結果,我々の因果推論に基づくアプローチは,インターネットスラングやミームの理解において,精度と関連性の観点から従来のモデルよりも優れていることがわかった。

関連論文リスト

• Neurosymbolic Graph Enrichment for Grounded World Models [47.92947508449361]
  複雑な問題に対処するために, LLM の反応性を向上し, 活用するための新しいアプローチを提案する。 我々は,大規模言語モデルの強みと構造的意味表現を組み合わせた,多モーダルで知識を付加した意味の形式表現を作成する。 非構造化言語モデルと形式的意味構造とのギャップを埋めることで、自然言語理解と推論における複雑な問題に対処するための新たな道を開く。
  論文  参考訳（メタデータ） (2024-11-19T17:23:55Z)
• Improving Large Language Model (LLM) fidelity through context-aware grounding: A systematic approach to reliability and veracity [0.0]
  大規模言語モデル(LLM)は、自然言語処理(NLP)アプリケーションにおいて、ますます高度でユビキタスなものになりつつある。 本稿では,テクストモデルにおける文脈的接地のための新しい枠組みについて述べる。 本研究は, 医療, 法制度, 社会サービスなどのセンシティブな分野におけるLCMの展開に重要な意味を持つ。
  論文  参考訳（メタデータ） (2024-08-07T18:12:02Z)
• Semantic Change Characterization with LLMs using Rhetorics [0.1474723404975345]
  本研究では,LLMが3種類の意味変化(思考,関係,方向)を特徴づける可能性について検討する。 本結果は,意味的変化の捕捉と解析におけるLLMの有効性を強調し,計算言語応用を改善する上で有用な洞察を提供するものである。
  論文  参考訳（メタデータ） (2024-07-23T16:32:49Z)
• Sparsity-Guided Holistic Explanation for LLMs with Interpretable Inference-Time Intervention [53.896974148579346]
  大規模言語モデル(LLM)は、様々な自然言語処理領域において前例のないブレークスルーを達成した。 LLMの謎的なブラックボックスの性質は、透過的で説明可能なアプリケーションを妨げる、解釈可能性にとって重要な課題である。 本稿では,LLMの全体的解釈を提供することを目的として,スポーシティ誘導技術に係わる新しい方法論を提案する。
  論文  参考訳（メタデータ） (2023-12-22T19:55:58Z)
• MAGNIFICo: Evaluating the In-Context Learning Ability of Large Language Models to Generalize to Novel Interpretations [37.13707912132472]
  人間は言語表現に新しい解釈を割り当てる素晴らしい能力を持っている。 大きな言語モデル(LLM)は知識の切り離しを持ち、何度も微調整を繰り返すのに費用がかかる。 我々は,LLMが文脈内学習を用いて新しい解釈を習得する能力を体系的に分析する。
  論文  参考訳（メタデータ） (2023-10-18T00:02:38Z)
• Large Language Models for Information Retrieval: A Survey [58.30439850203101]
  情報検索は、項ベースの手法から高度なニューラルモデルとの統合へと進化してきた。 近年の研究では、大規模言語モデル(LLM)を活用してIRシステムの改善が試みられている。 LLMとIRシステムの合流点を探索し、クエリリライト、リトリバー、リランカー、リーダーといった重要な側面を含む。
  論文  参考訳（メタデータ） (2023-08-14T12:47:22Z)
• Commonsense Knowledge Transfer for Pre-trained Language Models [83.01121484432801]
  ニューラルコモンセンス知識モデルに格納されたコモンセンス知識を汎用的な事前学習言語モデルに転送するフレームワークであるコモンセンス知識伝達を導入する。 まず、一般的なテキストを利用して、ニューラルコモンセンス知識モデルからコモンセンス知識を抽出するクエリを形成する。 次に、コモンセンスマスクの埋め込みとコモンセンスの関係予測という2つの自己教師対象で言語モデルを洗練する。
  論文  参考訳（メタデータ） (2023-06-04T15:44:51Z)
• Continual Learning for Natural Language Generation in Task-oriented Dialog Systems [72.92029584113676]
  自然言語生成(NLG)はタスク指向対話システムにおいて重要な要素である。 我々は,NLGの知識を新たなドメインや機能に段階的に拡張する"継続的学習"環境で研究する。 この目標に対する大きな課題は、破滅的な忘れことであり、継続的に訓練されたモデルは、以前に学んだ知識を忘れがちである。
  論文  参考訳（メタデータ） (2020-10-02T10:32:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。