Fugu-MT 論文翻訳(概要): Speak It Out: Solving Symbol-Related Problems with Symbol-to-Language Conversion for Language Models

論文の概要: Speak It Out: Solving Symbol-Related Problems with Symbol-to-Language Conversion for Language Models

arxiv url: http://arxiv.org/abs/2401.11725v2
Date: Tue, 12 Mar 2024 15:48:17 GMT
ステータス: 処理完了
システム内更新日: 2024-03-14 00:55:26.940875
Title: Speak It Out: Solving Symbol-Related Problems with Symbol-to-Language Conversion for Language Models
Title（参考訳）: Speak it out:Symbol-to-Language Conversionによる記号関連問題の解法
Authors: Yile Wang, Sijie Cheng, Zixin Sun, Peng Li, Yang Liu
Abstract要約: 記号は抽象的推論、化学特性予測、テーブル質問応答といった様々なタスクで重要な役割を果たしている。印象的な自然言語理解能力にもかかわらず、シンボルに対する大きな言語モデルの推論能力は依然として不十分である。本稿では,自然言語で表現された情報を用いて,大規模言語モデルによるシンボル関連問題の解法を可能にする,S2L( symbol-to- language)を提案する。
参考スコア（独自算出の注目度）: 16.265409100706584
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Symbols (or more broadly, non-natural language textual representations) such as numerical sequences, molecular formulas, and table delimiters widely exist, playing important roles in various tasks such as abstract reasoning, chemical property prediction, and table question answering. Despite the impressive natural language comprehension capabilities of large language models (LLMs), their reasoning abilities for symbols remain inadequate, which could attributed to the difference between symbol representations and general natural languages. We propose symbol-to-language (S2L), a tuning-free method that enables large language models to solve symbol-related problems with information expressed in natural language. Specifically, S2L first converts the symbols involved to language-based representations, which can be implemented by prompting LLMs or leveraging external tools, then these language-based representations are integrated into the original problem via direct substitution or concatenation, serving as useful input information for LLMs. We evaluate the S2L method using both API-based (GPT-4, ChatGPT) and open-source (OpenChat) models over eight symbol-related tasks, ranging from symbol-only abstract reasoning to sentiment analysis in social media. Experimental results show that S2L consistently leads to superior performance. For example, by employing S2L for GPT-4, there can be average significant improvements of +21.9% and +9.5% for subtasks in 1D-ARC and Dyck language, respectively. Codes and data are available at https://github.com/THUNLP-MT/symbol2language.
Abstract（参考訳）: 数値列、分子式、テーブルデミッタなどの記号(あるいはより広くは非自然言語のテキスト表現)が広く存在し、抽象的推論、化学特性予測、テーブル質問応答といった様々なタスクで重要な役割を果たしている。大きな言語モデル(llm)の印象的な自然言語理解能力にもかかわらず、シンボルに対する推論能力は不適切であり、シンボル表現と一般的な自然言語の違いに起因する可能性がある。本研究では,自然言語で表現された情報を用いて,大規模言語モデルによるシンボル関連問題の解き方を提案する。具体的には、S2Lはまず、LLMのプロンプトや外部ツールの活用によって実装可能な言語ベースの表現に変換し、これらの言語ベースの表現は直接置換や連結を通じて元の問題に統合され、LLMの有用な入力情報として機能する。 APIベース(GPT-4, ChatGPT)とオープンソース(OpenChat)の両方のモデルを用いて,シンボルのみの抽象的推論からソーシャルメディアにおける感情分析まで,8つのシンボル関連タスクについてS2L法の評価を行った。実験結果から,S2Lは一貫して優れた性能を示した。例えば、GPT-4にS2Lを用いることで、それぞれ1D-ARC言語とDyck言語のサブタスクに+21.9%と+9.5%の大幅な改善がある。コードとデータはhttps://github.com/thunlp-mt/symbol2languageで入手できる。

関連論文リスト

LangSAMP: Language-Script Aware Multilingual Pretraining [48.16511046793275]
最近の多言語事前訓練言語モデル(mPLM)は、言語埋め込みの使用を避けることが多い。 LangSAMPには言語とスクリプトの埋め込みが組み込まれており、表現学習が強化されている。我々は500以上の言語をカバーする多言語コーパス上のXLM-Rの継続事前学習にLangSAMPを適用した。
論文参考訳（メタデータ） (2024-09-26T18:29:10Z)
MLLM-SR: Conversational Symbolic Regression base Multi-Modal Large Language Models [13.136507215114722]
MLLM-SRは,要求を自然言語で記述することで,要求を満たす表現を生成できる対話型記号回帰法である。我々は,MLLM-SRが自然言語命令に付加される事前知識を十分に理解できることを実験的に実証した。
論文参考訳（メタデータ） (2024-06-08T09:17:54Z)
MYTE: Morphology-Driven Byte Encoding for Better and Fairer Multilingual Language Modeling [70.34758460372629]
多様な言語にまたがる一貫した大きさのセグメントで同一情報をエンコードする新しいパラダイムを導入する。 MYTEは99の言語すべてに対して短いエンコーディングを生成する。これにより、多言語LMの性能が向上し、多言語間でのパープレキシティギャップが減少する。
論文参考訳（メタデータ） (2024-03-15T21:21:11Z)
Symbol-LLM: Leverage Language Models for Symbolic System in Visual Human Activity Reasoning [58.5857133154749]
本稿では,広い範囲のシンボルと合理的なルールを持つ新しい記号体系を提案する。我々は,LLMの最近の進歩を2つの理想的な性質の近似として活用する。本手法は,広範囲な活動理解タスクにおいて優位性を示す。
論文参考訳（メタデータ） (2023-11-29T05:27:14Z)
Symbol-LLM: Towards Foundational Symbol-centric Interface For Large Language Models [41.91490484827197]
シンボルデータの集合を大規模言語モデルのトレーニングに直接注入することは問題となる。本研究では、データとフレームワークの観点からこれらの課題に取り組み、Symbol-LLMシリーズモデルを導入する。シンボル中心タスクとNL中心タスクの広範な実験は、Symbol-LLMシリーズモデルのバランスと優れた性能を示している。
論文参考訳（メタデータ） (2023-11-15T18:59:56Z)
Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
論文参考訳（メタデータ） (2023-06-13T08:08:08Z)
CiCo: Domain-Aware Sign Language Retrieval via Cross-Lingual Contrastive Learning [38.83062453145388]
手話検索は、テキスト・トゥ・サイン・ビデオ(T2V)検索とサイン・ビデオ・トゥ・テキスト(V2T)検索の2つのサブタスクで構成される。我々は手話と自然言語の両方の言語特性を考慮し、さらに粒度の細かい言語間マッピングを同時に同定する。我々のフレームワークは、様々なデータセットに対して大きなマージンで先駆的手法より優れています。
論文参考訳（メタデータ） (2023-03-22T17:59:59Z)
Adapters for Enhanced Modeling of Multilingual Knowledge and Text [54.02078328453149]
言語モデルは多言語言語モデル(MLLM)に拡張された。知識グラフは、注意深いキュレーションを必要とし、少数の高リソース言語でのみ利用可能である、明示的な三重形式で事実を含む。我々は,MLLMを多言語知識グラフ(MLKG)からの知識で拡張し,言語や知識グラフのタスクに多くの言語で取り組むことを提案する。
論文参考訳（メタデータ） (2022-10-24T21:33:42Z)
The Geometry of Multilingual Language Model Representations [25.880639246639323]
我々は,言語知覚情報を各言語で符号化しながら,多言語モデルが共有多言語表現空間をどのように維持するかを評価する。部分空間は、中層全体で比較的安定な言語感受性軸に沿って異なり、これらの軸はトークン語彙などの情報を符号化する。言語感受性および言語ニュートラル軸に投影された表現を可視化し,言語族と音声クラスタを識別し,スパイラル,トーラス,トークン位置情報を表す曲線を可視化する。
論文参考訳（メタデータ） (2022-05-22T23:58:24Z)
Revisiting Language Encoding in Learning Multilingual Representations [70.01772581545103]
言語埋め込みを置き換えるクロスリンガル言語投影(Cross-lingual Language Projection, XLP)と呼ばれる新しいアプローチを提案する。 XLPは単語埋め込みを言語固有の意味空間に投影し、投影された埋め込みはTransformerモデルに供給される。実験により、xlpは広範囲の多言語ベンチマークデータセットのモデル性能を自由かつ著しく向上できることが示された。
論文参考訳（メタデータ） (2021-02-16T18:47:10Z)
FILTER: An Enhanced Fusion Method for Cross-lingual Language Understanding [85.29270319872597]
我々は,XLMファインタニングの入力として言語間データを利用する拡張融合法を提案する。推論中は、ターゲット言語で入力されたテキストとソース言語の翻訳に基づいて予測を行う。この問題に対処するため,対象言語における翻訳テキストのための自動生成ソフト擬似ラベルに基づくモデル学習のためのKL分割自己学習損失を提案する。
論文参考訳（メタデータ） (2020-09-10T22:42:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。