論文の概要: Symbol-LLM: Towards Foundational Symbol-centric Interface For Large Language Models

• arxiv url: http://arxiv.org/abs/2311.09278v1
• Date: Wed, 15 Nov 2023 18:59:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-17 18:07:31.886386
• Title: Symbol-LLM: Towards Foundational Symbol-centric Interface For Large Language Models
• Title（参考訳）: symbol-llm: 大規模言語モデルのための基本記号中心インタフェースに向けて
• Authors: Fangzhi Xu, Zhiyong Wu, Qiushi Sun, Siyu Ren, Fei Yuan, Shuai Yuan, Qika Lin, Yu Qiao, Jun Liu
• Abstract要約: 大規模言語モデル(LLM)は、自然言語(NL)中心のタスクの進歩を大いに促進している。 LLMは、様々なシンボル間の相互関係とシンボル中心とNL中心の能力間のバランスという、2つの重要な課題を無視している。 本研究では、データとフレームワークの観点からこれらの課題に取り組み、Symbol-LLMシリーズモデルを導入する。
• 参考スコア（独自算出の注目度）: 41.91490484827197
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have greatly propelled the progress in natural language(NL)-centric tasks based on NL interface. However, the NL form is not enough for world knowledge. Current works focus on this question by injecting specific symbolic knowledge into LLM, which ignore two critical challenges: the interrelations between various symbols and the balance between symbolic-centric and NL-centric capabilities. In this work, we tackle these challenges from both a data and framework perspective and introduce Symbol-LLM series models. First, we collect 34 symbolic tasks, covering ~20 different forms, which are unified to capture symbol interrelations. Then, a two-stage tuning framework succeeds in injecting symbolic knowledge without loss of the generality ability. Extensive experiments on both symbol- and NL-centric tasks demonstrate the balanced and superior performances of Symbol-LLM series models.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、NLインタフェースに基づく自然言語(NL)中心のタスクの進歩を大いに促進している。 しかし、NL形式は世界の知識に十分ではない。 現在の研究は、様々なシンボル間の相互関係と記号中心とNL中心の能力のバランスという2つの重要な課題を無視して、特定の記号的知識をLSMに注入することでこの問題に焦点を当てている。 本研究では、データとフレームワークの観点からこれらの課題に取り組み、Symbol-LLMシリーズモデルを導入する。 まず,シンボル相互関係を捉えるために,約20の異なる形式をカバーする34の象徴的タスクを収集する。 そして、2段階のチューニングフレームワークは、一般化能力を失うことなく記号的知識を注入することに成功した。 シンボル中心タスクとNL中心タスクの広範な実験は、Symbol-LLMシリーズモデルのバランスと優れた性能を示している。

関連論文リスト

• Investigating Symbolic Capabilities of Large Language Models [16.88906206735967]
  本研究の目的は,一連の記号的タスクにおいて,LLM(Large Language Models)を厳格に評価することにより,ギャップを埋めることである。 我々の分析では、エンタープライズグレードの4つのモデルとオープンソースの4つのモデルを含む8つのLCMを含み、そのうち3つは数学的なタスクで事前訓練されている。 その結果,記号数で表される複雑性が増大するにつれて,LLMの文脈自由かつ文脈依存的な記号処理における性能が著しく低下することが明らかとなった。
  論文  参考訳（メタデータ） (2024-05-21T21:24:34Z)
• MALTO at SemEval-2024 Task 6: Leveraging Synthetic Data for LLM Hallucination Detection [3.049887057143419]
  自然言語生成(NLG)では、現代のLarge Language Models(LLM)がいくつかの課題に直面している。 これはしばしば「幻覚」を示すニューラルネットワークにつながる SHROOMチャレンジは、生成されたテキストでこれらの幻覚を自動的に識別することに焦点を当てている。
  論文  参考訳（メタデータ） (2024-03-01T20:31:10Z)
• The Role of Foundation Models in Neuro-Symbolic Learning and Reasoning [54.56905063752427]
  Neuro-Symbolic AI(NeSy)は、AIシステムの安全なデプロイを保証することを約束している。 ニューラルネットワークとシンボリックコンポーネントを順次トレーニングする既存のパイプラインは、広範なラベリングを必要とする。 新しいアーキテクチャであるNeSyGPTは、生データから象徴的特徴を抽出する視覚言語基盤モデルを微調整する。
  論文  参考訳（メタデータ） (2024-02-02T20:33:14Z)
• Speak It Out: Solving Symbol-Related Problems with Symbol-to-Language Conversion for Language Models [16.265409100706584]
  記号は抽象的推論、化学特性予測、テーブル質問応答といった様々なタスクで重要な役割を果たしている。 印象的な自然言語理解能力にもかかわらず、シンボルに対する大きな言語モデルの推論能力は依然として不十分である。 本稿では,自然言語で表現された情報を用いて,大規模言語モデルによるシンボル関連問題の解法を可能にする,S2L( symbol-to- language)を提案する。
  論文  参考訳（メタデータ） (2024-01-22T07:07:06Z)
• Symbol-LLM: Leverage Language Models for Symbolic System in Visual Human Activity Reasoning [58.5857133154749]
  本稿では,広い範囲のシンボルと合理的なルールを持つ新しい記号体系を提案する。 我々は,LLMの最近の進歩を2つの理想的な性質の近似として活用する。 本手法は,広範囲な活動理解タスクにおいて優位性を示す。
  論文  参考訳（メタデータ） (2023-11-29T05:27:14Z)
• Semantic Graph Representation Learning for Handwritten Mathematical Expression Recognition [57.60390958736775]
  セマンティック・インタラクション・ラーニング(SIL)の簡易かつ効率的な手法を提案する。 まず,統計的シンボル共起確率に基づく意味グラフを構築する。 次に、視覚的および分類的特徴を意味空間に投影する意味認識モジュール(SAM)を設計する。 本手法は, CROHMEとHME100Kの両方のデータセットにおいて, 先行技術よりも優れた認識性能を実現する。
  論文  参考訳（メタデータ） (2023-08-21T06:23:41Z)
• Symbolic Visual Reinforcement Learning: A Scalable Framework with Object-Level Abstraction and Differentiable Expression Search [63.3745291252038]
  DiffSESは、離散的なシンボルポリシーを発見する新しいシンボリック学習手法である。 生のピクセルレベルの入力の代わりにオブジェクトレベルの抽象化を使用することで、DiffSESはシンボリック表現の単純さとスケーラビリティの利点を活用することができる。 我々の実験は、DiffSESが最先端のシンボルRL法よりもシンプルでスケーラブルなシンボリックポリシーを生成することができることを示した。
  論文  参考訳（メタデータ） (2022-12-30T17:50:54Z)
• Hidden Schema Networks [3.4123736336071864]
  帰納的バイアスや明示的関係構造を通じて、新しいニューラルネットワークモデルを導入する。 このモデルは文を記号列にエンコードするが、これは偏りのあるランダム・ウォーカーが訪れたノードに対応する。 このモデルにより,ランダムなトークン列のデータセットから基底構造グラフを抽出できることを示す。
  論文  参考訳（メタデータ） (2022-07-08T09:26:19Z)
• Drawing out of Distribution with Neuro-Symbolic Generative Models [49.79371715591122]
  ドローイング・アウト・オブ・ディストリクト(英: Drawing out of Distribution)は、ストローク・ベース・ドローイングの神経象徴的生成モデルである。 DooDは画像を直接操作するが、監視や高価なテストタイム推論は必要ない。 我々は、データとタスクをまたいだ一般化能力について、DooDを評価した。
  論文  参考訳（メタデータ） (2022-06-03T21:40:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。