論文の概要: Exploring Group and Symmetry Principles in Large Language Models
- arxiv url: http://arxiv.org/abs/2402.06120v1
- Date: Fri, 9 Feb 2024 01:10:25 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-12 18:16:23.974551
- Title: Exploring Group and Symmetry Principles in Large Language Models
- Title(参考訳): 大規模言語モデルにおけるグループと対称性の原理の探索
- Authors: Shima Imani, Hamid Palangi
- Abstract要約: 大規模言語モデル(LLM)は、広範囲のアプリケーションで素晴らしいパフォーマンスを示している。
物理学や数学などの分野において重要な役割を担った群と対称性の原理に基づく枠組みを導入する。
本研究は, 閉包, アイデンティティ, 逆転, 連想性という4つのグループ特性におけるモデルの性能について検討する。
- 参考スコア(独自算出の注目度): 18.57904881139128
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Large Language Models (LLMs) have demonstrated impressive performance across
a wide range of applications; however, assessing their reasoning capabilities
remains a significant challenge. In this paper, we introduce a framework
grounded in group and symmetry principles, which have played a crucial role in
fields such as physics and mathematics, and offer another way to evaluate their
capabilities. While the proposed framework is general, to showcase the benefits
of employing these properties, we focus on arithmetic reasoning and investigate
the performance of these models on four group properties: closure, identity,
inverse, and associativity. Our findings reveal that LLMs studied in this work
struggle to preserve group properties across different test regimes. In the
closure test, we observe biases towards specific outputs and an abrupt
degradation in their performance from 100% to 0% after a specific sequence
length. They also perform poorly in the identity test, which represents adding
irrelevant information in the context, and show sensitivity when subjected to
inverse test, which examines the robustness of the model with respect to
negation. In addition, we demonstrate that breaking down problems into smaller
steps helps LLMs in the associativity test that we have conducted. To support
these tests we have developed a synthetic dataset which will be released.
- Abstract(参考訳): 大規模言語モデル(llm)は、幅広いアプリケーションで印象的なパフォーマンスを示しているが、推論能力の評価は依然として大きな課題である。
本稿では,物理学や数学などの分野において重要な役割を担った群と対称性の原理に基づく枠組みを導入し,その能力を評価する別の方法を提案する。
提案するフレームワークは一般に,これらの特性を利用する利点を示すために, 4つの群特性(閉包, 同一性, 逆転, 連想性)に対する算術的推論とそれらのモデルの性能について検討する。
以上の結果から,LSMは様々な試験体制におけるグループ特性の維持に苦慮していることが明らかとなった。
閉鎖試験では,特定の出力に対するバイアスと,特定のシーケンス長の後に100%から0%の急激な性能低下が観察された。
それらはまた、文脈に無関係な情報を追加することを表すアイデンティティテストでは不十分であり、逆テストを受けると感度を示し、否定に関してモデルの堅牢性を調べる。
さらに,より小さなステップに分割することで,これまでに実施したアソシエーションテストにおいてLCMが有効であることを示す。
これらのテストをサポートするために、私たちは、リリース予定の合成データセットを開発しました。
関連論文リスト
- Optimizing Language Model's Reasoning Abilities with Weak Supervision [48.60598455782159]
弱い教師付きベンチマークであるtextscPuzzleBen について,25,147 の複雑な質問,回答,人為的合理性からなる。
データセットのユニークな側面は、10,000の未注釈の質問を含めることであり、LLMの推論能力を高めるために、より少ないスーパーサイズのデータを活用することができる。
論文 参考訳(メタデータ) (2024-05-07T07:39:15Z) - Comprehensive Reassessment of Large-Scale Evaluation Outcomes in LLMs: A Multifaceted Statistical Approach [62.954890888281206]
評価の結果、スケーリング、トレーニングタイプ、アーキテクチャなどの要因がLLMのパフォーマンスに大きな影響を与えていることが明らかになった。
本研究は, これらのLCMの徹底的な再検討に着手し, 現状評価手法における不整合性に着目した。
これには、ANOVA、Tukey HSDテスト、GAMM、クラスタリング技術などが含まれる。
論文 参考訳(メタデータ) (2024-03-22T14:47:35Z) - Towards leveraging LLMs for Conditional QA [1.9649272351760063]
本研究では,条件付き質問応答の挑戦領域におけるLarge Language Models(LLM)の機能と限界について考察する。
これらの結果から,全ての入力コンテキストを完全にエンコードすることなく,微調整LDMがSOTA(State-of-the-art (SOTA))性能を上回ることが判明した。
これらのモデルは、抽出された質問応答において、SOTAを10ポイント以上遅れる問題に遭遇し、偽情報を注入するリスクを軽減する。
論文 参考訳(メタデータ) (2023-12-02T14:02:52Z) - Mastering the Task of Open Information Extraction with Large Language
Models and Consistent Reasoning Environment [52.592199835286394]
オープン情報抽出(OIE)は、自然文から客観的な構造化された知識を抽出することを目的としている。
大規模言語モデル(LLM)は、テキスト内学習能力に優れています。
論文 参考訳(メタデータ) (2023-10-16T17:11:42Z) - Measuring and Improving Chain-of-Thought Reasoning in Vision-Language Models [61.28463542324576]
視覚言語モデル(VLM)は近年,人間のような出力を生成できる視覚アシスタントとして,強力な有効性を示している。
我々は、既存の最先端のVLMを評価し、最高の性能モデルでさえ、強力な視覚的推論能力と一貫性を示すことができないことを発見した。
本稿では,VLMの推論性能と一貫性の向上を目的とした2段階トレーニングフレームワークを提案する。
論文 参考訳(メタデータ) (2023-09-08T17:49:44Z) - Post Hoc Explanations of Language Models Can Improve Language Models [43.2109029463221]
AMPLIFY(Post Hoc Explanations)を用いたインコンテキスト学習の活用によるモデル性能向上のための新しいフレームワークを提案する。
我々は,各入力特徴がモデル予測に与える影響を抽出し,帰属スコア(説明)を出力するポストホック説明手法を活用する。
AMPLIFYは,幅広いタスクに対して約10~25%の精度向上を実現している。
論文 参考訳(メタデータ) (2023-05-19T04:46:04Z) - Conditional Independence Testing via Latent Representation Learning [2.566492438263125]
LCIT(Latent representation based Conditional Independence Test)は、表現学習に基づく条件付き独立テストのための新しい非パラメトリック手法である。
我々の主な貢献は、Z が与えられた X と Y の独立性をテストするための生成的枠組みの提案である。
論文 参考訳(メタデータ) (2022-09-04T07:16:03Z) - Causal Feature Selection for Algorithmic Fairness [61.767399505764736]
データ管理の統合コンポーネントにおける公平性について検討する。
本稿では,データセットの公平性を保証する特徴のサブコレクションを同定する手法を提案する。
論文 参考訳(メタデータ) (2020-06-10T20:20:10Z) - Task-Feature Collaborative Learning with Application to Personalized
Attribute Prediction [166.87111665908333]
本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。
具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。
実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
論文 参考訳(メタデータ) (2020-04-29T02:32:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。