論文の概要: Understanding the Logical Capabilities of Large Language Models via Out-of-Context Representation Learning

• arxiv url: http://arxiv.org/abs/2503.10408v1
• Date: Thu, 13 Mar 2025 14:32:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-14 15:54:44.672498
• Title: Understanding the Logical Capabilities of Large Language Models via Out-of-Context Representation Learning
• Title（参考訳）: 文脈外表現学習による大規模言語モデルの論理的能力の理解
• Authors: Jonathan Shaki, Emanuele La Malfa, Michael Wooldridge, Sarit Kraus,
• Abstract要約: この研究は、等式、不等式、包含性、およびそれらが満たす性質(ir/reflexivity、a/symmetric、推移性、論理複雑性など)に焦点を当てている。 本稿では,新たに導入されたトークンの表現のみを訓練する,文脈内学習(in-context learning)の代替として,文脈外表現学習を提案する。
• 参考スコア（独自算出の注目度）: 14.326344469446438
• License:
• Abstract: We study the capabilities of Large Language Models (LLM) on binary relations, a ubiquitous concept in math employed in most reasoning, math and logic benchmarks. This work focuses on equality, inequality, and inclusion, along with the properties they satisfy, such as ir/reflexivity, a/symmetry, transitivity, and logical complexity (e.g., number of reasoning ``hops''). We propose an alternative to in-context learning that trains only the representations of newly introduced tokens, namely out-of-context representation learning. This method mitigates linguistic biases already present in a model and, differently from in-context learning, does not rely on external information or illustrations. We argue out-of-context representation learning as a better alternative to in-context learning and fine-tuning to evaluate the capabilities of LLMs on logic tasks that are the building blocks of more complex reasoning benchmarks.
• Abstract（参考訳）: 本稿では,大言語モデル(LLM, Large Language Models)の2進関係に関する能力について検討する。 この研究は、等式、不等式、包含性、およびそれらが満たす性質(ir/reflexivity、a/symmetric、推移性、論理複雑性(例:推論数 `‘hops'')など)に焦点をあてる。 本稿では,新たに導入されたトークンの表現のみを訓練する,文脈内学習(in-context learning)の代替として,文脈外表現学習を提案する。 この方法は、モデルにすでに存在する言語バイアスを軽減し、文脈内学習とは違い、外部情報や図形に依存しない。 我々は、文脈外表現学習を、より複雑な推論ベンチマークの構築ブロックである論理タスクにおけるLLMの能力を評価するために、文脈内学習や微調整のより良い代替手段として論じる。

関連論文リスト

• LogiDynamics: Unraveling the Dynamics of Logical Inference in Large Language Model Reasoning [49.58786377307728]
  本稿では、類似推論のための制御された評価環境を導入することにより、探索的アプローチを採用する。 帰納的,帰納的,帰納的,帰納的な推論パイプラインの比較力学を解析する。 仮説選択や検証,洗練といった高度なパラダイムを考察し,論理的推論のスケールアップの可能性を明らかにする。
  論文  参考訳（メタデータ） (2025-02-16T15:54:53Z)
• CLR-Fact: Evaluating the Complex Logical Reasoning Capability of Large Language Models over Factual Knowledge [44.59258397967782]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクにまたがる印象的な機能を示している。 本稿では,LLMの複雑な論理的推論能力の体系的評価について述べる。 LLMは一般世界の知識の推論に優れるが、専門分野固有の知識では重大な課題に直面している。
  論文  参考訳（メタデータ） (2024-07-30T05:40:32Z)
• LogicBench: Towards Systematic Evaluation of Logical Reasoning Ability of Large Language Models [52.03659714625452]
  最近開発された大規模言語モデル (LLM) は、幅広い言語理解タスクにおいて非常によく機能することが示されている。 しかし、それらは自然言語に対して本当に「理性」があるのだろうか? この疑問は研究の注目を集めており、コモンセンス、数値、定性的など多くの推論技術が研究されている。
  論文  参考訳（メタデータ） (2024-04-23T21:08:49Z)
• Towards LogiGLUE: A Brief Survey and A Benchmark for Analyzing Logical Reasoning Capabilities of Language Models [56.34029644009297]
  大規模言語モデル(LLM)は、形式的知識表現(KR)システムの様々な制限を克服する能力を示した。 LLMは誘導的推論において最も優れているが、誘導的推論では最も効果が低い。 モデルの性能を評価するため,シングルタスクトレーニング,マルチタスクトレーニング,および「チェーンオブ思考」知識蒸留細調整技術について検討した。
  論文  参考訳（メタデータ） (2023-10-02T01:00:50Z)
• Modeling Hierarchical Reasoning Chains by Linking Discourse Units and Key Phrases for Reading Comprehension [80.99865844249106]
  本稿では,論理的推論の基盤として,対話レベルと単語レベルの両方の文脈を扱う総合グラフネットワーク(HGN)を提案する。 具体的には、ノードレベルの関係とタイプレベルの関係は、推論過程におけるブリッジと解釈できるが、階層的な相互作用機構によってモデル化される。
  論文  参考訳（メタデータ） (2023-06-21T07:34:27Z)
• In-Context Analogical Reasoning with Pre-Trained Language Models [10.344428417489237]
  我々は、AIシステムにおけるアナロジーを支援するために、直感的な言語ベースの抽象化の使用について検討する。 具体的には,大規模事前学習言語モデル(PLM)を視覚的Raven's Progressive Matrices(RPM)に適用する。 PLMはゼロショットリレーショナル推論に顕著な能力を示し、人間のパフォーマンスを超え、教師付き視覚ベースの手法に近づいた。
  論文  参考訳（メタデータ） (2023-05-28T04:22:26Z)
• Large Language Models are In-Context Semantic Reasoners rather than Symbolic Reasoners [75.85554779782048]
  大規模言語モデル(LLM)は、近年、自然言語と機械学習コミュニティを興奮させています。 多くの成功を収めたアプリケーションにもかかわらず、そのようなコンテキスト内機能の基盤となるメカニズムはまだ不明である。 本研究では,学習した言語トークンのテクストセマンティクスが推論過程において最も重い処理を行うと仮定する。
  論文  参考訳（メタデータ） (2023-05-24T07:33:34Z)
• ChatABL: Abductive Learning via Natural Language Interaction with ChatGPT [72.83383437501577]
  大規模言語モデル(LLM)は、最近数学的な能力において大きな可能性を証明している。 LLMは現在、認識、言語理解、推論能力のブリッジングに困難を抱えている。 本稿では, LLMを帰納学習フレームワークに統合する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-04-21T16:23:47Z)
• Logic Tensor Networks [9.004005678155023]
  学習と推論をサポートする神経シンボリック形式論と計算モデルであるLogic Networks(LTN)を提示する。 LTNがいくつかのAIタスクの仕様と計算に一様言語を提供することを示す。
  論文  参考訳（メタデータ） (2020-12-25T22:30:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。