論文の概要: Inductive Linguistic Reasoning with Large Language Models

• arxiv url: http://arxiv.org/abs/2412.17819v1
• Date: Mon, 09 Dec 2024 03:37:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-29 08:29:34.088435
• Title: Inductive Linguistic Reasoning with Large Language Models
• Title（参考訳）: 大規模言語モデルを用いた帰納的言語推論
• Authors: Raghav Ramji, Keshav Ramji,
• Abstract要約: 言語パズルのレンズを通して抽象多言語推論を行うための大規模言語モデルの能力について検討する。 2段階のプロシージャを使用し、まず言語モデルで類似の例を生成し、それを文脈内で適用する。 ModeLing データセットの結果から,言語文法の類似性に関するモデルの知識を抽出する上で,類似的なプロンプトが有効であることが示唆された。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Evaluating large language models (LLMs) on their linguistic reasoning capabilities is an important task to understand the gaps in their skills that may surface during large-scale adoption. In this work, we investigate the abilities of such models to perform abstract multilingual reasoning through the lens of linguistic puzzles on extremely low-resource languages. As these translation tasks involve inductive and deductive reasoning from reference instances, we examine whether diverse auxiliary demonstrations can be automatically induced from seed exemplars, through analogical prompting. We employ a two-stage procedure, first generating analogical exemplars with a language model, and then applying them in-context along with provided target language exemplars. Our results on the modeLing dataset show that analogical prompting is effective in eliciting models' knowledge of language grammar similarities, boosting the performance of GPT-4o by as much as 8.1% and Llama-3.1-405B-Instruct by 5.9% over chain-of-thought approaches. These gains are attributable to the analogical demonstrations, both when self-generated as well as when produced by weaker multilingual models. Furthermore, we demonstrate that our method generalizes to other tasks present in Linguistics Olympiad competitions, achieving sizable improvements across all problem types and difficulty levels included in the LINGOLY dataset with GPT-4o. We also report several findings about interesting phenomena which drive linguistic reasoning performance, suggesting that such puzzles are a valuable benchmark for new reasoning methods.
• Abstract（参考訳）: 言語推論能力における大規模言語モデル(LLM)の評価は,大規模導入時に生じるスキルのギャップを理解する上で重要な課題である。 本研究では,極低リソース言語における言語パズルのレンズを通して,抽象多言語推論を行うためのそのようなモデルの能力について検討する。 これらの翻訳作業は、参照事例からの帰納的推論と帰納的推論を含むため、類推的プロンプトを通じて、種見本から多種多様な補助的デモンストレーションが自動的に誘導されるかどうかを検討する。 2段階のプロシージャを用いて、まず言語モデルを用いて類似語を生成し、その後、提供された対象言語例と共にテキスト内に適用する。 ModeLing データセットを用いた結果から,モデルによる文法的類似性に関する知識を抽出し,GPT-4o を最大8.1%,Llama-3.1-405B-インストラクションを5.9%向上させることができる。 これらの利得は、自己生成時とより弱い多言語モデルによる生成時の両方において、アナログ的なデモンストレーションに起因する。 さらに,GPT-4oを用いたlingOLYデータセットに含まれる問題の種類や難易度を比較検討し,Lingguistics Olympiadコンペティションにおける他のタスクに一般化できることを実証した。 また,言語推論性能を向上する興味深い現象についていくつかの知見を報告し,そのようなパズルが新たな推論手法の指標となることを示唆した。

関連論文リスト

• SLAM: Towards Efficient Multilingual Reasoning via Selective Language Alignment [78.4550589538805]
  本稿では,多言語性を扱うレイヤを正確に識別し,微調整する,効率的な多言語推論アライメント手法を提案する。 実験の結果, SLAM法は7Bおよび13BLLMのパラメータの6.5-8%を含む6層のフィードフォワードサブ層のみをチューニングできることがわかった。
  論文  参考訳（メタデータ） (2025-01-07T10:29:43Z)
• Linguistically Grounded Analysis of Language Models using Shapley Head Values [2.914115079173979]
  最近提案されたシェープヘッド値(SHV)を用いた言語モデル探索手法を利用した形態素合成現象の処理について検討する。 英語のBLiMPデータセットを用いて、BERTとRoBERTaという2つの広く使われているモデルに対して、我々のアプローチを検証し、言語構造がどのように扱われるかを比較する。 以上の結果から,SHVに基づく属性は両モデルにまたがる異なるパターンを明らかにし,言語モデルがどのように言語情報を整理・処理するかの洞察を与える。
  論文  参考訳（メタデータ） (2024-10-17T09:48:08Z)
• The Power of Question Translation Training in Multilingual Reasoning: Broadened Scope and Deepened Insights [108.40766216456413]
  大規模言語モデルの英語と非英語のパフォーマンスのギャップを埋めるための質問アライメントフレームワークを提案する。 実験結果から、さまざまな推論シナリオ、モデルファミリー、サイズにわたって、多言語のパフォーマンスを向上できることが示された。 我々は、表現空間、生成された応答とデータスケールを分析し、質問翻訳訓練がLLM内の言語アライメントをどのように強化するかを明らかにする。
  論文  参考訳（メタデータ） (2024-05-02T14:49:50Z)
• The Impact of Demonstrations on Multilingual In-Context Learning: A Multidimensional Analysis [23.757767581876063]
  インコンテキスト学習(In-context learning)は、大規模言語モデルがいくつかのラベル付きデモを使用してタスクを解く一般的な推論戦略である。 実演の有効性は, モデル, タスク, 言語によって大きく異なることを示す。 また,Llama 2-Chat,GPT-3.5,GPT-4といった強力な命令追従モデルは,実演の質にはほとんど敏感でないことがわかった。
  論文  参考訳（メタデータ） (2024-02-20T12:53:31Z)
• Multilingual Few-Shot Learning via Language Model Retrieval [18.465566186549072]
  トランスフォーマーベースの言語モデルは、数ショットのインコンテキスト学習において顕著な成功を収めた。 本研究は,意味論的に類似したショットサンプルを検索し,コンテキストとして利用する研究である。 提案手法を,意図検出,質問分類,感情分析,話題分類に関連する5つの自然言語理解データセット上で評価した。
  論文  参考訳（メタデータ） (2023-06-19T14:27:21Z)
• Improving Factuality and Reasoning in Language Models through Multiagent Debate [95.10641301155232]
  複数の言語モデルインスタンスが共通の最終回答に到達するために、複数のラウンドで個別の応答と推論プロセスを提案し、議論する言語応答を改善するための補完的なアプローチを提案する。 以上の結果から,本手法は様々なタスクにおける数学的・戦略的推論を著しく向上させることが示唆された。 我々のアプローチは、既存のブラックボックスモデルに直接適用され、調査するすべてのタスクに対して、同じ手順とプロンプトを使用することができる。
  論文  参考訳（メタデータ） (2023-05-23T17:55:11Z)
• Analyzing the Mono- and Cross-Lingual Pretraining Dynamics of Multilingual Language Models [73.11488464916668]
  本研究では,多言語事前学習プロセスのダイナミクスについて検討する。 我々は,XLM-Rプレトレーニング全体から抽出したチェックポイントを,一連の言語的タスクを用いて探索する。 分析の結果,より複雑なものよりも低レベルな言語スキルが得られ,早期に高い言語性能が得られることがわかった。
  論文  参考訳（メタデータ） (2022-05-24T03:35:00Z)
• Language Models are Few-shot Multilingual Learners [66.11011385895195]
  我々は、非英語言語における多言語分類を行う際に、GPTモデルとT5モデルの多言語的スキルを評価する。 文脈としての英語の例を見ると、事前学習された言語モデルは、英語のテストサンプルだけでなく、英語以外のサンプルも予測できることが示されている。
  論文  参考訳（メタデータ） (2021-09-16T03:08:22Z)
• Specializing Multilingual Language Models: An Empirical Study [50.7526245872855]
  事前訓練された多言語モデルからの文脈化語表現は、自然言語タスクに対処するデファクトスタンダードとなっている。 これらのモデルではまれに、あるいは一度も見られない言語では、そのようなモデルを直接使用すると、最適な表現やデータの使用につながることが多い。
  論文  参考訳（メタデータ） (2021-06-16T18:13:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。