Fugu-MT 論文翻訳(概要): Exploring the Limitations of Large Language Models in Compositional Relation Reasoning

論文の概要: Exploring the Limitations of Large Language Models in Compositional Relation Reasoning

arxiv url: http://arxiv.org/abs/2403.02615v2
Date: Sat, 21 Sep 2024 02:21:12 GMT
ステータス: 処理完了
システム内更新日: 2024-11-09 04:21:34.289692
Title: Exploring the Limitations of Large Language Models in Compositional Relation Reasoning
Title（参考訳）: 合成関係推論における大規模言語モデルの限界を探る
Authors: Jinman Zhao, Xueyan Zhang,
Abstract要約: 本稿では,1500の英語テストケースを含むベンチマークを用いて,大規模言語モデルの合成関係を推論する能力を総合的に評価する。多言語能力の重要性を認め,これらの症例の中国語,日本語,フランス語,韓国語への翻訳を含むように評価を拡大した。
参考スコア（独自算出の注目度）: 3.2857239461014465
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We present a comprehensive evaluation of large language models(LLMs)' ability to reason about composition relations through a benchmark encompassing 1,500 test cases in English, designed to cover six distinct types of composition relations: Positional, Comparative, Personal, Mathematical, Identity, and Other. Acknowledging the significance of multilingual capabilities, we expanded our assessment to include translations of these cases into Chinese, Japanese, French, and Korean. Our Multilingual Composition Relation (MCR) benchmark aims at investigating the robustness and adaptability of LLMs in handling composition relation reasoning across diverse linguistic contexts.
Abstract（参考訳）: 本稿では, 大規模言語モデル (LLM) の合成関係を, 位置, 比較, 個人, 数学的, アイデンティティ, その他の6つの異なる種類の合成関係をカバーするために設計した, 1500の試験事例を含むベンチマークを用いて, 構成関係を推論する能力の総合評価を行う。多言語能力の重要性を認め,これらの症例の中国語,日本語,フランス語,韓国語への翻訳を含むように評価を拡大した。我々のMCR(Multilingual composition Relation)ベンチマークは,多言語文脈における構成関係推論におけるLLMの堅牢性と適応性について検討することを目的としている。

関連論文リスト

Multilingual European Language Models: Benchmarking Approaches and Challenges [2.413212225810367]
生成型大規模言語モデル(LLM)は、チャットインタラクションによってさまざまなタスクを解決できる。本稿では、多言語欧州ベンチマークに着目し、現在の評価データセットの利点と限界について分析する。本稿では,翻訳品質と文化バイアスを高めるための潜在的な解決策について論じる。
論文参考訳（メタデータ） (2025-02-18T14:32:17Z)
Balanced Multi-Factor In-Context Learning for Multilingual Large Language Models [53.38288894305388]
MLLM(Multilingual Large Language Model)は,言語間知識伝達をパラメータ更新なしで活用することにより,文脈内学習(ICL)を活用して高い性能を実現する。 1) 意味的類似性,(2) 言語的アライメント,(3) 言語固有のパフォーマンスの3つの要因が多言語ICLに影響を与える。我々は,これらの因子を定量化し,最適にバランスをとる手法として,バランスの取れた多要素ICL(textbfBMF-ICL)を提案する。
論文参考訳（メタデータ） (2025-02-17T06:56:33Z)
Analysis of Indic Language Capabilities in LLMs [0.3599866690398789]
本報告では,テキスト入力による大規模言語モデル(LLM)の性能評価を行い,Indic言語を理解・生成する。ヒンディー語はモデルの中で最も広く表現されている言語である。モデルパフォーマンスは、上位5言語の話者数と大まかに相関するが、その後の評価は様々である。
論文参考訳（メタデータ） (2025-01-23T18:49:33Z)
Benchmarking Linguistic Diversity of Large Language Models [14.824871604671467]
本稿では,言語モデルによる人間の言語的豊かさの保全を検討することの重要性を強調する。言語多様性の観点からLLMを評価するための包括的枠組みを提案する。
論文参考訳（メタデータ） (2024-12-13T16:46:03Z)
Evaluating Knowledge-based Cross-lingual Inconsistency in Large Language Models [16.942897938964638]
大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて例外的な性能を示している。彼らの成功にもかかわらず、これらのモデルはしばしば異なる言語で同じ概念を処理する際に大きな矛盾を示す。本研究は,LLMにおける言語間不整合の存在,これらの不整合が現れる特定の側面,LLMの言語間整合性と多言語機能との相関の3つの主要な疑問に焦点をあてる。
論文参考訳（メタデータ） (2024-07-01T15:11:37Z)
BUFFET: Benchmarking Large Language Models for Few-shot Cross-lingual Transfer [81.5984433881309]
本稿では,54言語にまたがる15のタスクをシーケンス・ツー・シーケンス・フォーマットで統一するBUFFETを紹介する。 BUFFETは、数発の言語間移動のための厳密で公平な評価フレームワークを確立するように設計されている。コンテクスト内言語間移動における改善の余地は極めて大きいことが判明した。
論文参考訳（メタデータ） (2023-05-24T08:06:33Z)
A Massively Multilingual Analysis of Cross-linguality in Shared Embedding Space [61.18554842370824]
言語間モデルでは、多くの異なる言語に対する表現は同じ空間に存在している。我々は,bitext検索性能の形式で,言語間アライメントのタスクベース尺度を計算した。我々はこれらのアライメント指標の潜在的な予測因子として言語的、準言語的、および訓練関連の特徴について検討する。
論文参考訳（メタデータ） (2021-09-13T21:05:37Z)
Bridging Linguistic Typology and Multilingual Machine Translation with Multi-View Language Representations [83.27475281544868]
特異ベクトル標準相関解析を用いて、各情報源からどのような情報が誘導されるかを調べる。我々の表現は類型学を組み込み、言語関係と相関関係を強化する。次に、多言語機械翻訳のための多視点言語ベクトル空間を利用して、競合する全体的な翻訳精度を実現する。
論文参考訳（メタデータ） (2020-04-30T16:25:39Z)
XTREME: A Massively Multilingual Multi-task Benchmark for Evaluating Cross-lingual Generalization [128.37244072182506]
言語間TRansfer Evaluation of Multilinguals XTREMEは、40言語および9タスクにわたる多言語表現の言語間一般化能力を評価するためのベンチマークである。我々は、英語でテストされたモデルは、多くのタスクにおいて人間のパフォーマンスに達するが、言語間変換されたモデルの性能にはまだ大きなギャップがあることを示した。
論文参考訳（メタデータ） (2020-03-24T19:09:37Z)
Multi-SimLex: A Large-Scale Evaluation of Multilingual and Cross-Lingual Lexical Semantic Similarity [67.36239720463657]
Multi-SimLexは、12の異なる言語のデータセットをカバーする大規模な語彙リソースと評価ベンチマークである。各言語データセットは、意味的類似性の語彙的関係に注釈付けされ、1,888のセマンティック・アライメント・コンセプト・ペアを含む。言語間の概念の整合性のため、66の言語間セマンティック類似性データセットを提供する。
論文参考訳（メタデータ） (2020-03-10T17:17:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。