論文の概要: Blackbird language matrices (BLM), a new task for rule-like generalization in neural networks: Motivations and Formal Specifications

• arxiv url: http://arxiv.org/abs/2306.11444v1
• Date: Tue, 20 Jun 2023 10:45:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-21 14:44:04.155965
• Title: Blackbird language matrices (BLM), a new task for rule-like generalization in neural networks: Motivations and Formal Specifications
• Title（参考訳）: ニューラルネットワークにおけるルールライクな一般化のための新しいタスクであるBlackbird Language matrices (BLM):動機と形式仕様
• Authors: Paola Merlo
• Abstract要約: 我々は,大規模言語モデルにおけるルールライクな一般化を微調整するための新しいタスクをモチベーションし,正式に定義する。 本稿では,タスクの形式仕様とデータセットの生成過程について述べる。
• 参考スコア（独自算出の注目度）: 2.9062499141959517
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We motivate and formally define a new task for fine-tuning rule-like generalization in large language models. It is conjectured that the shortcomings of current LLMs are due to a lack of ability to generalize. It has been argued that, instead, humans are better at generalization because they have a tendency at extracting rules from complex data. We try to recreate this tendency to rule-based generalization. When exposed to tests of analytic intelligence, for example, the visual RAVEN IQ test, human problem-solvers identify the relevant objects in the picture and their relevant attributes and reason based on rules applied to these objects and attributes. Based on the induced rules, they are able to provide a solution to the test. We propose a task that translates this IQ task into language. In this paper, we provide the formal specification for the task and the generative process of its datasets.
• Abstract（参考訳）: 我々は,大規模言語モデルにおけるルールライクな一般化を微調整するための新しいタスクをモチベーションし,正式に定義する。 現在のLLMの欠点は、一般化する能力の欠如によるものであると推測されている。 その代わりに、複雑なデータから規則を抽出する傾向があるため、人間は一般化が優れていると論じられている。 この傾向をルールベースの一般化に再現しようと試みる。 例えばvisual raven iq testのような分析知性テストに曝されると、人間の問題解決者は、画像内の関連するオブジェクトとその関連する属性と理由を、これらのオブジェクトと属性に適用されるルールに基づいて識別する。 誘導されたルールに基づいて、彼らはテストの解決策を提供することができます。 我々はこのIQタスクを言語に変換するタスクを提案する。 本稿では,そのタスクの形式的仕様と,そのデータセットの生成プロセスについて述べる。

関連論文リスト

• LLM-Augmented Symbolic Reinforcement Learning with Landmark-Based Task Decomposition [11.781353582190546]
  強化学習(RL)の基本的な課題の1つは、複雑なタスクを受け取り、RLエージェントがより簡単に学習できるサブタスクに分解できることである。 本稿では,複雑なタスクを解くために,与えられた正の軌道と負の軌道を用いてサブタスクを識別する作業について報告する。
  論文  参考訳（メタデータ） (2024-10-02T18:22:42Z)
• CLadder: Assessing Causal Reasoning in Language Models [82.8719238178569]
  我々は,大言語モデル (LLM) が因果関係をコヒーレントに説明できるかどうかを検討する。 ユデア・パールらによって仮定された「因果推論エンジン」にインスパイアされた、自然言語における因果推論という新たなNLPタスクを提案する。
  論文  参考訳（メタデータ） (2023-12-07T15:12:12Z)
• Benchmarking Neural Network Generalization for Grammar Induction [3.2228025627337864]
  完全に指定された形式言語に基づくニューラルネットワークの一般化の尺度を提供する。 ベンチマークには、$anbn$, $anbncn$, $anbmcn+m$, Dyck-1, 2などの言語が含まれている。
  論文  参考訳（メタデータ） (2023-08-16T09:45:06Z)
• Structural generalization is hard for sequence-to-sequence models [85.0087839979613]
  シーケンス・ツー・シーケンス(seq2seq)モデルは、多くのNLPタスクで成功している。 構成一般化に関する最近の研究は、セq2seqモデルは訓練で見られなかった言語構造への一般化において非常に低い精度を達成することを示した。
  論文  参考訳（メタデータ） (2022-10-24T09:03:03Z)
• Exploring Length Generalization in Large Language Models [46.417433724786854]
  短い問題インスタンスから長い問題インスタンスへ外挿する能力は、推論タスクにおける分配外一般化の重要な形態である。 本研究では, モデルスケールによらず, 時間的一般化タスクにおいて, 経時的に微調整されたトランスフォーマが有意な一般化欠陥を示すことを示す。 次に,事前学習された大言語モデルのテキスト内学習能力とスクラッチパッドを組み合わせることにより,長さ一般化の劇的な改善が得られたことを示す。
  論文  参考訳（メタデータ） (2022-07-11T14:24:38Z)
• Neural Networks and the Chomsky Hierarchy [27.470857324448136]
  チョムスキー理論の知見が実際にニューラルネットワークの一般化の限界を予測できるかどうかを考察する。 膨大なデータとトレーニング時間さえも、非自明な一般化に繋がらない負の結果を示す。 この結果から,RNNとTransformerは非正規タスクの一般化に失敗し,構造化メモリで拡張されたネットワークのみがコンテキストレス・コンテキスト依存タスクの一般化に成功していることがわかった。
  論文  参考訳（メタデータ） (2022-07-05T15:06:11Z)
• Blackbird's language matrices (BLMs): a new benchmark to investigate disentangled generalisation in neural networks [2.5567566997688034]
  ブラックバードの言語行列(BLM)は,ラヴェンの進行行列の言語的変種をテストするために開発された,新しい文法的データセットである。 このデータセットは44800の文から構成されており、現在のモデルにおける文法的合意規則の言語的熟達の調査を支援するために生成的に構築されている。 この言語タスクと、それをインスタンス化するデータは、一般化と抽象化を理解するために、新しい挑戦的なテストベッドを提供することを示す。
  論文  参考訳（メタデータ） (2022-05-22T16:51:24Z)
• Learning Symbolic Rules for Reasoning in Quasi-Natural Language [74.96601852906328]
  我々は,ルールを手作業で構築することなく,自然言語入力で推論できるルールベースシステムを構築した。 本稿では,形式論理文と自然言語文の両方を表現可能な"Quasi-Natural"言語であるMetaQNLを提案する。 提案手法は,複数の推論ベンチマークにおける最先端の精度を実現する。
  論文  参考訳（メタデータ） (2021-11-23T17:49:00Z)
• SMART: A Situation Model for Algebra Story Problems via Attributed Grammar [74.1315776256292]
  本稿では, 問題解決における人間の精神状態を表現する心理学研究から生まれた, emphsituation modelの概念を紹介する。 提案モデルでは,より優れた解釈性を保ちながら,従来のすべてのニューラルソルバを大きなマージンで上回る結果が得られた。
  論文  参考訳（メタデータ） (2020-12-27T21:03:40Z)
• KILT: a Benchmark for Knowledge Intensive Language Tasks [102.33046195554886]
  知識集約型言語タスク(KILT)のベンチマークを示す。 KILTのすべてのタスクはウィキペディアのスナップショットと同じだ。 共有密度ベクトル指数とSeq2seqモデルとの結合が強いベースラインであることが分かる。
  論文  参考訳（メタデータ） (2020-09-04T15:32:19Z)
• Text Modular Networks: Learning to Decompose Tasks in the Language of Existing Models [61.480085460269514]
  本稿では,既存のモデルで解けるより単純なモデルに分解することで,複雑なタスクを解くための解釈可能なシステムを構築するためのフレームワークを提案する。 我々はこのフレームワークを用いて、ニューラルネットワークのファクトイド単一スパンQAモデルとシンボリック電卓で答えられるサブクエストに分解することで、マルチホップ推論問題に答えられるシステムであるModularQAを構築する。
  論文  参考訳（メタデータ） (2020-09-01T23:45:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。