論文の概要: Proceedings of the First International Workshop on Next-Generation Language Models for Knowledge Representation and Reasoning (NeLaMKRR 2024)
- arxiv url: http://arxiv.org/abs/2410.05339v2
- Date: Sat, 12 Oct 2024 16:01:16 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-01 19:17:28.547323
- Title: Proceedings of the First International Workshop on Next-Generation Language Models for Knowledge Representation and Reasoning (NeLaMKRR 2024)
- Title（参考訳）: 知識表現と推論のための次世代言語モデルに関する第1回国際ワークショップ(NeLaMKRR 2024)の開催報告
- Authors: Ken Satoh, Ha-Thanh Nguyen, Francesca Toni, Randy Goebel, Kostas Stathis,
- Abstract要約: 推論は人間の知性の本質的な要素であり、批判的に考える能力において基本的な役割を果たす。
自然言語処理における最近の進歩は、トランスフォーマーに基づく言語モデルの出現とともに、これらのモデルが推論能力を示す可能性を示唆している。
言語モデルにおける推論について議論が続いているが、これらのモデルが実際に推論できる程度に注目することは容易ではない。
- 参考スコア（独自算出の注目度）: 16.282850445579857
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reasoning is an essential component of human intelligence as it plays a fundamental role in our ability to think critically, support responsible decisions, and solve challenging problems. Traditionally, AI has addressed reasoning in the context of logic-based representations of knowledge. However, the recent leap forward in natural language processing, with the emergence of language models based on transformers, is hinting at the possibility that these models exhibit reasoning abilities, particularly as they grow in size and are trained on more data. Despite ongoing discussions about what reasoning is in language models, it is still not easy to pin down to what extent these models are actually capable of reasoning. The goal of this workshop is to create a platform for researchers from different disciplines and/or AI perspectives, to explore approaches and techniques with the aim to reconcile reasoning between language models using transformers and using logic-based representations. The specific objectives include analyzing the reasoning abilities of language models measured alongside KR methods, injecting KR-style reasoning abilities into language models (including by neuro-symbolic means), and formalizing the kind of reasoning language models carry out. This exploration aims to uncover how language models can effectively integrate and leverage knowledge and reasoning with it, thus improving their application and utility in areas where precision and reliability are a key requirement.
- Abstract（参考訳）: 推論は人間の知性の本質的な要素であり、批判的に考え、責任ある決定を支持し、挑戦的な問題を解決する能力において、基本的な役割を担います。
伝統的に、AIは知識の論理に基づく表現の文脈における推論に対処してきた。
しかし、自然言語処理における最近の進歩は、トランスフォーマーに基づく言語モデルの出現とともに、これらのモデルが推論能力を示す可能性を示唆している。
言語モデルにおける推論について議論が続いているが、これらのモデルが実際に推論できる程度に注目することは容易ではない。
このワークショップの目的は、異なる分野や/またはAIの観点からの研究者のためのプラットフォームを構築し、トランスフォーマーとロジックベースの表現を使用して言語モデル間の推論を整合させることを目的として、アプローチとテクニックを探求することである。
具体的な目的は、KR法と共に測定された言語モデルの推論能力の分析、KRスタイルの推論能力を言語モデルに注入すること(ニューロシンボリックな手段を含む)、そして、実行される言語モデルの種類を形式化することである。
この調査は、言語モデルが知識と推論を効果的に統合し、活用する方法を明らかにすることを目的としている。
関連論文リスト
- Trustworthy Alignment of Retrieval-Augmented Large Language Models via Reinforcement Learning [84.94709351266557]
検索強化に関して,言語モデルの信頼性に焦点をあてる。
検索強化言語モデルには,文脈的知識とパラメトリック的知識の両方に応じて応答を供給できる本質的な能力があると考えられる。
言語モデルと人間の嗜好の整合性に着想を得て,検索強化言語モデルを外部証拠にのみ依存する状況に整合させるための第一歩を踏み出した。
論文 参考訳（メタデータ） (2024-10-22T09:25:21Z) - Self Generated Wargame AI: Double Layer Agent Task Planning Based on
Large Language Model [0.6562256987706128]
本稿では,大規模言語モデルを知的意思決定の分野に革新的に応用する。
自然言語の相互作用による2層エージェントタスク計画、課題、決定命令の実行を提案する。
大規模言語モデルの知的意思決定能力は、一般的に使われている強化学習AIやルールAIよりもはるかに強いことが判明した。
論文 参考訳（メタデータ） (2023-12-02T09:45:45Z) - From Word Models to World Models: Translating from Natural Language to
the Probabilistic Language of Thought [124.40905824051079]
言語インフォームド・シンキングのための計算フレームワークである「構成」を合理的に提案する。
我々は、自然言語から確率論的思考言語への文脈感応的なマッピングとして、言語の意味を定式化する。
LLMは、現実的に適切な言語的意味をキャプチャする文脈依存翻訳を生成することができることを示す。
認知的なモチベーションを持つシンボリックモジュールを統合するために、我々のフレームワークを拡張します。
論文 参考訳（メタデータ） (2023-06-22T05:14:00Z) - Commonsense Knowledge Transfer for Pre-trained Language Models [83.01121484432801]
ニューラルコモンセンス知識モデルに格納されたコモンセンス知識を汎用的な事前学習言語モデルに転送するフレームワークであるコモンセンス知識伝達を導入する。
まず、一般的なテキストを利用して、ニューラルコモンセンス知識モデルからコモンセンス知識を抽出するクエリを形成する。
次に、コモンセンスマスクの埋め込みとコモンセンスの関係予測という2つの自己教師対象で言語モデルを洗練する。
論文 参考訳（メタデータ） (2023-06-04T15:44:51Z) - A Survey of Large Language Models [81.06947636926638]
言語モデリングは、過去20年間、言語理解と生成のために広く研究されてきた。
近年,大規模コーパス上でのトランスフォーマーモデルの事前学習により,事前学習言語モデル (PLM) が提案されている。
パラメータスケールの違いを識別するために、研究コミュニティは大規模言語モデル (LLM) という用語を提唱した。
論文 参考訳（メタデータ） (2023-03-31T17:28:46Z) - Language Models as Inductive Reasoners [125.99461874008703]
本稿では,帰納的推論のための新しいパラダイム(タスク)を提案し,自然言語の事実から自然言語規則を誘導する。
タスクのための1.2kルールファクトペアを含むデータセットDEERを作成し,ルールと事実を自然言語で記述する。
我々は、事前訓練された言語モデルが自然言語の事実から自然言語規則をいかに誘導できるかを、初めてかつ包括的な分析を行う。
論文 参考訳（メタデータ） (2022-12-21T11:12:14Z) - ALERT: Adapting Language Models to Reasoning Tasks [43.8679673685468]
ALERTは、言語モデルの推論能力を評価するためのベンチマークと分析スイートである。
ALERTは、あらゆる言語モデルに対して、きめ細かい推論スキルを評価するためのテストベッドを提供する。
言語モデルは、事前学習状態と比較して、微調整段階の推論スキルを学習する。
論文 参考訳（メタデータ） (2022-12-16T05:15:41Z) - Overcoming Barriers to Skill Injection in Language Modeling: Case Study
in Arithmetic [14.618731441943847]
我々は,言語モデルが言語能力を維持しつつ数学的に熟練することを可能にする新しい枠組みを開発する。
具体的には、言語モデルに非言語的スキルを注入しながら発生する言語スキルの破滅的な忘れを克服するために、情報理論の介入を提供する。
論文 参考訳（メタデータ） (2022-11-03T18:53:30Z) - Shortcut Learning of Large Language Models in Natural Language
Understanding [119.45683008451698]
大規模言語モデル(LLM)は、一連の自然言語理解タスクにおいて最先端のパフォーマンスを達成した。
予測のショートカットとしてデータセットのバイアスやアーティファクトに依存するかも知れません。
これは、その一般化性と敵対的堅牢性に大きな影響を与えている。
論文 参考訳（メタデータ） (2022-08-25T03:51:39Z) - Language Models are not Models of Language [0.0]
トランスファーラーニングにより、言語モデリングタスクでトレーニングされた大規模なディープラーニングニューラルネットワークにより、パフォーマンスが大幅に向上した。
深層学習モデルは言語の理論的モデルではないので、言語モデルという用語は誤解を招く。
論文 参考訳（メタデータ） (2021-12-13T22:39:46Z) - Language Models as a Knowledge Source for Cognitive Agents [9.061356032792954]
言語モデル (LM) は大量のコーパスで訓練された文補完エンジンである。
本稿では,認知システムのための新たな知識源として言語モデルを用いる上での課題と機会について概説する。
また、認知システムが提供する能力を用いて、言語モデルからの知識抽出を改善する方法も特定する。
論文 参考訳（メタデータ） (2021-09-17T01:12:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。