論文の概要: Towards Robust Knowledge Representations in Multilingual LLMs for Equivalence and Inheritance based Consistent Reasoning

• arxiv url: http://arxiv.org/abs/2410.14235v1
• Date: Fri, 18 Oct 2024 07:34:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-21 14:25:41.570854
• Title: Towards Robust Knowledge Representations in Multilingual LLMs for Equivalence and Inheritance based Consistent Reasoning
• Title（参考訳）: 等価性と継承に基づく一貫性推論のための多言語LLMにおけるロバストな知識表現に向けて
• Authors: Gaurav Arora, Srujana Merugu, Shreya Jain, Vaibhav Saxena,
• Abstract要約: 推論と言語スキルは人間の知性の基盤を形成し、問題解決と意思決定を促進する。 大規模言語モデル(LLM)の最近の進歩は、印象的な言語機能と突発的な推論行動をもたらし、アプリケーションドメインで広く採用されている。 我々は、LLMが「等価性」と「継承性」という2つの基礎的関係を用いて、合理的な表現を持つかどうかを評価することに注力する。
• 参考スコア（独自算出の注目度）: 5.656040546546711
• License:
• Abstract: Reasoning and linguistic skills form the cornerstone of human intelligence, facilitating problem-solving and decision-making. Recent advances in Large Language Models (LLMs) have led to impressive linguistic capabilities and emergent reasoning behaviors, fueling widespread adoption across application domains. However, LLMs still struggle with complex reasoning tasks, highlighting their systemic limitations. In this work, we focus on evaluating whether LLMs have the requisite representations to reason using two foundational relationships: "equivalence" and "inheritance". We introduce novel tasks and benchmarks spanning six languages and observe that current SOTA LLMs often produce conflicting answers to the same questions across languages in 17.3-57.5% of cases and violate inheritance constraints in up to 37.2% cases. To enhance consistency across languages, we propose novel "Compositional Representations" where tokens are represented as composition of equivalent tokens across languages, with resulting conflict reduction (up to -4.7%) indicating benefits of shared LLM representations.
• Abstract（参考訳）: 推論と言語スキルは人間の知性の基盤を形成し、問題解決と意思決定を促進する。 大規模言語モデル(LLM)の最近の進歩は、印象的な言語機能と突発的な推論行動をもたらし、アプリケーションドメインで広く採用されている。 しかし、LLMは複雑な推論タスクに苦戦し、その体系的な制限を強調している。 本研究では,LLMが「等価性」と「継承性」という2つの基礎的関係を推論するために必要な表現を持つかどうかを評価することに焦点を当てる。 我々は、6つの言語にまたがる新しいタスクとベンチマークを導入し、現在のSOTA LLMが17.3～57.5%のケースで同じ質問に対して矛盾する回答をしばしば生成し、37.2%のケースで継承制約に違反していることを観察する。 言語間の一貫性を高めるために,トークンを言語間で等価なトークンの合成として表現し,LLM表現の利点を示すコンフリクト低減(最大4.7%)を行う新しい「構成表現」を提案する。

関連論文リスト

• Think Carefully and Check Again! Meta-Generation Unlocking LLMs for Low-Resource Cross-Lingual Summarization [108.6908427615402]
  CLS(Cross-lingual summarization)は、異なるターゲット言語でソーステキストの要約を生成することを目的としている。 現在、インストラクションチューニング付き大規模言語モデル (LLM) は様々な英語タスクで優れている。 近年の研究では、LCSタスクにおけるLCMの性能は、わずかな設定でも満足できないことが示されている。
  論文  参考訳（メタデータ） (2024-10-26T00:39:44Z)
• LLM for Everyone: Representing the Underrepresented in Large Language Models [21.07409393578553]
  この論文は、表現不足言語に焦点をあてて、NLPの研究と開発におけるギャップを埋めることを目的としている。 大規模言語モデル(LLM)の包括的評価を行い,それらの能力を評価する。 提案手法は、言語間連続的命令チューニング、検索に基づく言語間インコンテキスト学習、コンテキスト内クエリアライメントを網羅する。
  論文  参考訳（メタデータ） (2024-09-20T20:53:22Z)
• Evaluating Knowledge-based Cross-lingual Inconsistency in Large Language Models [16.942897938964638]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて例外的な性能を示している。 彼らの成功にもかかわらず、これらのモデルはしばしば異なる言語で同じ概念を処理する際に大きな矛盾を示す。 本研究は,LLMにおける言語間不整合の存在,これらの不整合が現れる特定の側面,LLMの言語間整合性と多言語機能との相関の3つの主要な疑問に焦点をあてる。
  論文  参考訳（メタデータ） (2024-07-01T15:11:37Z)
• Analyzing and Adapting Large Language Models for Few-Shot Multilingual NLU: Are We There Yet? [82.02076369811402]
  教師付きファインチューニング(SFT)、教師付きインストラクションチューニング(SIT)、インコンテキストラーニング(ICL)は、3つの代替であり、事実上の標準的アプローチである。 提案手法は,6つの高・低リソース言語,3つの異なるNLUタスク,多種多様な言語とドメインのセットアップを用いて,3つのアプローチを網羅的かつ体系的に比較する。 そこで本研究では,教師あり指導のチューニングが,性能とリソース要件の最良のトレードオフであることを示す。
  論文  参考訳（メタデータ） (2024-03-04T10:48:13Z)
• FAC$^2$E: Better Understanding Large Language Model Capabilities by Dissociating Language and Cognition [56.76951887823882]
  大規模言語モデル(LLM)は、主に様々なテキスト理解および生成タスクにおける全体的なパフォーマンスによって評価される。 FAC$2$E, FAC$2$Eについて述べる。
  論文  参考訳（メタデータ） (2024-02-29T21:05:37Z)
• Exploring Multilingual Concepts of Human Value in Large Language Models: Is Value Alignment Consistent, Transferable and Controllable across Languages? [34.38469832305664]
  本稿では,AIの安全性の重要性から,人間の価値観に関する概念(すなわち,価値の概念)に焦点を当てる。 我々はまず,LLMにおける価値概念の存在を多言語形式で実証的に確認した。 これらの概念の言語間特性に関するさらなる分析は、言語資源の相違から生じる3つの特徴を明らかにしている。
  論文  参考訳（メタデータ） (2024-02-28T07:18:39Z)
• Let Models Speak Ciphers: Multiagent Debate through Embeddings [84.20336971784495]
  この問題を解決するためにCIPHER(Communicative Inter-Model Protocol Through Embedding Representation)を導入する。 自然言語から逸脱することで、CIPHERはモデルの重みを変更することなく、より広い範囲の情報を符号化する利点を提供する。 このことは、LLM間の通信における代替の"言語"としての埋め込みの優越性と堅牢性を示している。
  論文  参考訳（メタデータ） (2023-10-10T03:06:38Z)
• Limits for Learning with Language Models [4.20859414811553]
  大規模言語モデル(LLM)がボレル階層の第一段階を超えて概念を学習できないことを示す。 LLMは、細部と深い言語的理解を必要とするタスクについて、正式な保証なしに運用を続ける。
  論文  参考訳（メタデータ） (2023-06-21T12:11:31Z)
• Democratizing LLMs for Low-Resource Languages by Leveraging their English Dominant Abilities with Linguistically-Diverse Prompts [75.33019401706188]
  大規模言語モデル(LLM)は、少数の例を単純に観察することで、効果的にタスクを実行することが知られている。 我々は,LLMが任意の言語から英語に翻訳するよう促すために,多種多様な高ソース言語から合成例を組み立てることを提案する。 我々の教師なしプロンプト法は、英語と13のIndic言語と21のアフリカ低リソース言語間の翻訳において、異なる大きさのLLMにおける教師付き少ショット学習と同等に機能する。
  論文  参考訳（メタデータ） (2023-06-20T08:27:47Z)
• Large Language Models are In-Context Semantic Reasoners rather than Symbolic Reasoners [75.85554779782048]
  大規模言語モデル(LLM)は、近年、自然言語と機械学習コミュニティを興奮させています。 多くの成功を収めたアプリケーションにもかかわらず、そのようなコンテキスト内機能の基盤となるメカニズムはまだ不明である。 本研究では,学習した言語トークンのテクストセマンティクスが推論過程において最も重い処理を行うと仮定する。
  論文  参考訳（メタデータ） (2023-05-24T07:33:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。