論文の概要: Think from Words(TFW): Initiating Human-Like Cognition in Large Language Models Through Think from Words for Japanese Text-level Classification

• arxiv url: http://arxiv.org/abs/2312.03458v1
• Date: Wed, 6 Dec 2023 12:34:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-07 14:55:31.346720
• Title: Think from Words(TFW): Initiating Human-Like Cognition in Large Language Models Through Think from Words for Japanese Text-level Classification
• Title（参考訳）: 単語から考える(TFW):日本語テキストレベル分類のための単語から考える大言語モデルにおける人間的な認知の開始
• Authors: Chengguang Gan, Qinghao Zhang, Tatsunori Mori
• Abstract要約: TFW(Sink from Words)は、単語レベルで理解プロセスを開始し、テキスト全体を包含するように拡張する。 単語レベル情報付きTFW(TFW Extra)は、単語レベルデータを追加して理解を深める。 LLMのテキスト理解における単語レベルの情報型の影響について検討した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The proliferation of Large Language Models (LLMs) has spurred extensive research into LLM-related Prompt investigations, such as Instruction Learning (IL), In-context Learning (ICL), and Chain-of-Thought (CoT). These approaches aim to improve LLMs' responses by enabling them to provide concise statements or examples for deeper contemplation when addressing questions. However, independent thinking by LLMs can introduce variability in their thought processes, leading to potential inaccuracies. In response, our study seeks to bridge the gap between LLM and human-like thinking processes, recognizing that text comprehension begins with understanding individual words. To tackle this challenge, we have expanded the CoT method to cater to a specific domain. Our approach, known as "Think from Words" (TFW), initiates the comprehension process at the word level and then extends it to encompass the entire text. We also propose "TFW with Extra word-level information" (TFW Extra), augmenting comprehension with additional word-level data. To assess our methods, we employ text classification on six Japanese datasets comprising text-level and word-level elements. Our findings not only validate the effectiveness of TFW but also shed light on the impact of various word-level information types on LLMs' text comprehension, offering insights into their potential to cause misinterpretations and errors in the overall comprehension of the final text.
• Abstract（参考訳）: LLM(Large Language Models)の普及は、IL(Instruction Learning)、ICL(In-context Learning)、CoT(Chain-of-Thought)など、LLM関連のプロンプト調査に広範な研究を刺激している。 これらのアプローチは,質問に答える際に,簡潔な文や例を提示し,LLMの応答を改善することを目的としている。 しかし、LLMによる独立した思考は、その思考過程に変数を導入し、潜在的な不正確性をもたらす。 そこで本研究では,LLMと人間的な思考プロセスのギャップを埋めることを目的として,テキスト理解が個々の単語の理解から始まることを認識した。 この課題に取り組むため、我々は特定のドメインに対応するためのcotメソッドを拡張した。 我々のアプローチは"Think from Words"(TFW)と呼ばれ、単語レベルで理解プロセスを開始し、テキスト全体を包含するように拡張する。 また,単語レベルを付加した「単語レベル情報付きTFW」 (TFW Extra) も提案する。 本手法の評価には,テキストレベルおよび単語レベル要素からなる6つの日本語データセットのテキスト分類を用いる。 本研究は,TFWの有効性を検証するだけでなく,様々な単語レベルの情報型がLLMのテキスト理解に与える影響にも光を当て,最終テキスト全体の理解において誤解釈や誤りを引き起こす可能性を示唆した。

関連論文リスト

• Can LLMs Understand the Implication of Emphasized Sentences in Dialogue? [64.72966061510375]
  強調は人間のコミュニケーションにおいて重要な要素であり、対話における純粋テキストを超えて話者の意図と含意を示す。 本稿では,強調の意味を抽出した強調注釈付き対話サンプルを用いたベンチマークであるEmphasized-Talkを紹介する。 オープンソースと商用の両方で様々な大規模言語モデル(LLM)を評価し,その性能を重要視して評価する。
  論文  参考訳（メタデータ） (2024-06-16T20:41:44Z)
• Can large language models understand uncommon meanings of common words? [30.527834781076546]
  大規模言語モデル(LLM)は、様々な自然言語理解(NLU)タスクに大きく進歩している。 しかし、LLMがオウムなのか、本当の意味で世界を理解するのかは、広く認知されている試験機構が欠如している。 本稿では,新しい評価指標を用いたレキシカルセマンティックデータセットの革新的構築について述べる。
  論文  参考訳（メタデータ） (2024-05-09T12:58:22Z)
• FAC$^2$E: Better Understanding Large Language Model Capabilities by Dissociating Language and Cognition [57.747888532651]
  大規模言語モデル(LLM)は、主に様々なテキスト理解および生成タスクにおける全体的なパフォーマンスによって評価される。 FAC$2$E, FAC$2$Eについて述べる。
  論文  参考訳（メタデータ） (2024-02-29T21:05:37Z)
• When LLMs Meet Cunning Texts: A Fallacy Understanding Benchmark for Large Language Models [59.84769254832941]
  本稿では,人間が理解し易いが,理解し難い文を含むFaLlacy Understanding Benchmark (FLUB)を提案する。 具体的には、FLUBが焦点を絞ったcunningテキストは、主に、実際のインターネット環境から収集されたトリッキーでユーモラスで誤解を招くテキストで構成されている。 FLUBに基づいて,複数の代表および先進LLMの性能について検討する。
  論文  参考訳（メタデータ） (2024-02-16T22:12:53Z)
• How Well Do Large Language Models Understand Syntax? An Evaluation by Asking Natural Language Questions [25.39259677000101]
  本研究は,構文のレンズを通して問題を探究する。 文理解に最も近い9つの構文的知識ポイントを対象とする質問を作成する。 24大言語モデル(LLM)で実施された実験は、ほとんどの場合、構文的知識が限られていることを示唆している。
  論文  参考訳（メタデータ） (2023-11-14T16:30:36Z)
• Improving Factual Consistency of Text Summarization by Adversarially Decoupling Comprehension and Embellishment Abilities of LLMs [67.56087611675606]
  大規模言語モデル(LLM)は、本来の記事と現実的に矛盾する要約を生成する。 これらの幻覚は、従来の方法による検出が困難である。 LLM(DECENT)の能力を阻害する逆デカップリング法を提案する。
  論文  参考訳（メタデータ） (2023-10-30T08:40:16Z)
• MAGNIFICo: Evaluating the In-Context Learning Ability of Large Language Models to Generalize to Novel Interpretations [37.13707912132472]
  人間は言語表現に新しい解釈を割り当てる素晴らしい能力を持っている。 大きな言語モデル(LLM)は知識の切り離しを持ち、何度も微調整を繰り返すのに費用がかかる。 我々は,LLMが文脈内学習を用いて新しい解釈を習得する能力を体系的に分析する。
  論文  参考訳（メタデータ） (2023-10-18T00:02:38Z)
• Translate to Disambiguate: Zero-shot Multilingual Word Sense Disambiguation with Pretrained Language Models [67.19567060894563]
  事前訓練された言語モデル(PLM)は、豊富な言語間知識を学習し、多様なタスクでうまく機能するように微調整することができる。 C-WLT(Contextual Word-Level Translation)を用いた言語間単語感覚の捉え方の検討を行った。 モデルのサイズが大きくなるにつれて、PLMはより言語間単語認識の知識をエンコードし、WLT性能を改善するためのコンテキストを良くする。
  論文  参考訳（メタデータ） (2023-04-26T19:55:52Z)
• Prompting Language Models for Linguistic Structure [73.11488464916668]
  本稿では,言語構造予測タスクに対する構造化プロンプト手法を提案する。 提案手法は, 音声タグ付け, 名前付きエンティティ認識, 文チャンキングについて評価する。 PLMはタスクラベルの事前知識を事前学習コーパスに漏えいすることで有意な事前知識を含むが、構造化プロンプトは任意のラベルで言語構造を復元することも可能である。
  論文  参考訳（メタデータ） (2022-11-15T01:13:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。