Fugu-MT 論文翻訳(概要): Learning Semantic Structure through First-Order-Logic Translation

論文の概要: Learning Semantic Structure through First-Order-Logic Translation

arxiv url: http://arxiv.org/abs/2410.03203v1
Date: Fri, 4 Oct 2024 07:39:34 GMT
ステータス: 処理完了
システム内更新日: 2024-11-03 03:04:24.984118
Title: Learning Semantic Structure through First-Order-Logic Translation
Title（参考訳）: 1次論理変換による意味構造学習
Authors: Akshay Chaturvedi, Nicholas Asher,
Abstract要約: 言語モデルは、どのオブジェクトに適用されるかの述語を混乱させることがある。一般化能力を評価するために設計された合成データセット上で、いくつかの大きな言語モデルを微調整する。その結果,LLMのFOL翻訳は述語構造を学習するのに適していることがわかった。
参考スコア（独自算出の注目度）: 4.005483185111992
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In this paper, we study whether transformer-based language models can extract predicate argument structure from simple sentences. We firstly show that language models sometimes confuse which predicates apply to which objects. To mitigate this, we explore two tasks: question answering (Q/A), and first order logic (FOL) translation, and two regimes, prompting and finetuning. In FOL translation, we finetune several large language models on synthetic datasets designed to gauge their generalization abilities. For Q/A, we finetune encoder models like BERT and RoBERTa and use prompting for LLMs. The results show that FOL translation for LLMs is better suited to learn predicate argument structure.
Abstract（参考訳）: 本論文では,トランスフォーマーに基づく言語モデルが,簡単な文から述語構造を抽出できるかどうかを考察する。まず、どの述語がどの対象に当てはまるかを言語モデルが混同することがあることを示す。これを軽減するために,質問応答(Q/A),一階述語論理(FOL)翻訳という2つの課題と,素早い処理と微調整を行う2つの方法を検討する。 FOL翻訳では、一般化能力を評価するために設計された合成データセット上で、いくつかの大きな言語モデルを微調整する。 Q/AではBERTやRoBERTaのようなエンコーダモデルを微調整し、LSMのプロンプトを使用する。その結果,LLMのFOL翻訳は述語構造を学習するのに適していることがわかった。

関連論文リスト

Transformer-based Language Models for Reasoning in the Description Logic ALCQ [2.8210912543324658]
自然言語のデータセット DELTA$_D$ を表現型記述論理言語 $mathcalALCQ$ を使って構築する。教師付き細調整DeBERTaモデルと2つの大言語モデルの論理的推論能力について検討する。データセットに微調整されたDeBERTaベースのモデルが、詳細チェックタスクをマスターできることを示します。
論文参考訳（メタデータ） (2024-10-12T18:25:34Z)
Understanding and Mitigating Language Confusion in LLMs [76.96033035093204]
我々は,既存の英語および多言語プロンプトを用いた15の型的多様言語の評価を行った。 Llama Instruct と Mistral のモデルでは,言語的混乱の度合いが高いことがわかった。言語混乱は,数発のプロンプト,多言語SFT,選好調整によって部分的に緩和できることがわかった。
論文参考訳（メタデータ） (2024-06-28T17:03:51Z)
Shortcomings of LLMs for Low-Resource Translation: Retrieval and Understanding are Both the Problem [4.830018386227]
本研究では,機械翻訳パイプラインの自動化の一環として,事前学習された大言語モデル(LLM)が低リソース言語から高リソース言語への翻訳を指示する際の文脈内学習能力について検討する。我々は南ケチュアをスペイン語に翻訳する一連の実験を行い、デジタル化された教育材料と平行コーパスの制約されたデータベースから得られた様々な種類の文脈の情報量について検討する。
論文参考訳（メタデータ） (2024-06-21T20:02:22Z)
Speech Translation with Large Language Models: An Industrial Practice [64.5419534101104]
LLM-STは,事前学習型大言語モデル(LLM)に基づいて構築された,新規で効果的な音声翻訳モデルである。大規模言語モデル(LLM)を音声エンコーダと統合し、マルチタスクの命令チューニングを利用することで、LLM-STは正確なタイムスタンプと翻訳を生成することができる。英語と中国語のデータセットの厳密な実験を通じて,LLM-STの異常な性能を示す。
論文参考訳（メタデータ） (2023-12-21T05:32:49Z)
LLM-augmented Preference Learning from Natural Language [19.700169351688768]
大規模言語モデル(LLM)は、より大きな文脈長を扱う。 LLM は、ターゲットテキストが大きければ SotA を一貫して上回る。ゼロショット学習よりもパフォーマンスが向上する。
論文参考訳（メタデータ） (2023-10-12T17:17:27Z)
TIM: Teaching Large Language Models to Translate with Comparison [78.66926087162672]
本稿では,LLMに翻訳学習を教えるために,サンプルを用いた新しいフレームワークを提案する。我々のアプローチは、正しい翻訳例と間違った翻訳例をモデルに提示し、好みの損失を使ってモデルの学習をガイドすることである。本研究は,翻訳タスクのための微調整LDMの新しい視点を提供し,高品質な翻訳を実現するための有望なソリューションを提供する。
論文参考訳（メタデータ） (2023-07-10T08:15:40Z)
Multilingual Machine Translation with Large Language Models: Empirical Results and Analysis [103.89753784762445]
大規模言語モデル(LLM)は多言語機械翻訳(MMT)の処理において顕著な可能性を示した。本稿では, MMT における LLM の利点と課題を体系的に検討する。また,ChatGPTとGPT-4を含む8つのLLMを徹底的に評価した。
論文参考訳（メタデータ） (2023-04-10T15:51:30Z)
Modeling Sequential Sentence Relation to Improve Cross-lingual Dense Retrieval [87.11836738011007]
マスク付き文モデル(MSM)と呼ばれる多言語多言語言語モデルを提案する。 MSMは、文表現を生成する文エンコーダと、文書から文ベクトルのシーケンスに適用される文書エンコーダとから構成される。モデルをトレーニングするために,サンプル負の階層的コントラスト損失によって文ベクトルをマスクし,予測するマスク付き文予測タスクを提案する。
論文参考訳（メタデータ） (2023-02-03T09:54:27Z)
Foundations of Symbolic Languages for Model Interpretability [2.3361634876233817]
本稿では,2種類のMLモデル上でのFOILクエリの計算複雑性について検討する。本稿では,高レベルの宣言型言語でラップされたFOILのプロトタイプ実装について述べる。
論文参考訳（メタデータ） (2021-10-05T21:56:52Z)
Explicitly Modeling Syntax in Language Models with Incremental Parsing and a Dynamic Oracle [88.65264818967489]
我々は新しい構文認識型言語モデル、Syntactic Ordered Memory (SOM)を提案する。モデルは、構造をインクリメンタルにモデル化し、標準言語モデルの条件付き確率設定を維持する。実験により、SOMは言語モデリング、インクリメンタル解析、構文一般化テストにおいて強力な結果が得られることが示された。
論文参考訳（メタデータ） (2020-10-21T17:39:15Z)
Exploring Neural Models for Parsing Natural Language into First-Order Logic [10.62143644603835]
英文を1次論理(FOL)に解析する際のニューラルモデルの有用性について検討する。自然言語文が与えられた場合のシーケンスマッピングタスクとしてFOL解析をモデル化し、LSTMを用いて中間表現に符号化し、次に対応するFOL式で述語を逐次生成するデコーダを用いる。
論文参考訳（メタデータ） (2020-02-16T09:22:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。