論文の概要: MIDGARD: Self-Consistency Using Minimum Description Length for Structured Commonsense Reasoning

• arxiv url: http://arxiv.org/abs/2405.05189v2
• Date: Sun, 2 Jun 2024 18:47:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-04 14:48:46.232585
• Title: MIDGARD: Self-Consistency Using Minimum Description Length for Structured Commonsense Reasoning
• Title（参考訳）: MIDGARD:構造化コモンセンス推論のための最小記述長を用いた自己整合性
• Authors: Inderjeet Nair, Lu Wang,
• Abstract要約: 大規模言語モデル(LLM)を用いた自然言語入力から推論グラフを生成するための構造化推論の課題について検討する。 従来のアプローチでは様々なプロンプト方式が検討されてきたが、自己回帰性やシングルパスベースの復号化によるエラー伝播に悩まされている。 我々は,多種多様な推論連鎖をサンプリングし,多数決を最終回答とする自己整合性(SC)から着想を得た。
• 参考スコア（独自算出の注目度）: 4.928535836750263
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: We study the task of conducting structured reasoning as generating a reasoning graph from natural language input using large language models (LLMs). Previous approaches have explored various prompting schemes, yet they suffer from error propagation due to the autoregressive nature and single-pass-based decoding, which lack error correction capability. Additionally, relying solely on a single sample may result in the omission of true nodes and edges. To counter this, we draw inspiration from self-consistency (SC), which involves sampling a diverse set of reasoning chains and taking the majority vote as the final answer. To tackle the substantial challenge of applying SC on generated graphs, we propose MIDGARD (MInimum Description length Guided Aggregation of Reasoning in Directed acyclic graph) that leverages Minimum Description Length (MDL)-based formulation to identify consistent properties among the different graph samples generated by an LLM. This formulation helps reject properties that appear in only a few samples, which are likely to be erroneous, while enabling the inclusion of missing elements without compromising precision. Our method demonstrates superior performance than comparisons across various structured reasoning tasks, including argument structure extraction, explanation graph generation, inferring dependency relations among actions for everyday tasks, and semantic graph generation from natural texts.
• Abstract（参考訳）: 本研究では,大規模言語モデル(LLM)を用いた自然言語入力から推論グラフを生成するための構造化推論の課題について検討する。 従来の手法では様々なプロンプト方式が検討されてきたが、自己回帰性や誤り訂正能力に欠けるシングルパスによる復号化によるエラー伝播に悩まされている。 さらに、単一のサンプルのみに依存すると、真のノードとエッジが省略される可能性がある。 これに対抗するために我々は,多種多様な推論チェーンをサンプリングし,多数決を最終回答とする自己整合性(SC)からインスピレーションを得ている。 生成したグラフにSCを適用する上で,MDL(Minimum Description Length)に基づく定式化を利用したMDDGARD(MInimum Description length Guided Aggregation of Reasoning in Directed acyclic graph)を提案する。 この定式化は、誤っている可能性がある少数のサンプルにしか現れない性質を拒絶するのに役立つが、精度を損なうことなく、欠落した要素を包含できる。 提案手法は, 議論構造抽出, 説明グラフ生成, 日常タスクの動作間の依存性関係の推測, 自然テキストからのセマンティックグラフ生成など, 様々な構造的推論タスクの比較よりも優れた性能を示す。

関連論文リスト

• Redefining the Shortest Path Problem Formulation of the Linear Non-Gaussian Acyclic Model: Pairwise Likelihood Ratios, Prior Knowledge, and Path Enumeration [0.0]
  本稿では,LiNGAM-SPPフレームワークの3倍拡張を提案する。 パラメータチューニングの必要性は、kNNベースの相互情報の代わりに、ペアワイズ確率比を用いて排除される。 先行知識の組み入れは、すべての因果順序のグラフ表現に実装されたノードスキッピング戦略によって実現される。
  論文  参考訳（メタデータ） (2024-04-18T05:59:28Z)
• Can LLMs perform structured graph reasoning? [4.676784872259775]
  LLM(Pretrained Large Language Models)は、言語ベースのプロンプトだけで様々な推論能力を示す。 本稿では,半構造化タスクのプロキシとして,様々なグラフ推論タスクを設計する。 上記の課題に対して,5種類のインストラクト微細化LDM (GPT-4, GPT-3.5, Claude-2, Llama-2, Palm-2) をベンチマークした。
  論文  参考訳（メタデータ） (2024-02-02T09:45:33Z)
• Enhancing Chain-of-Thoughts Prompting with Iterative Bootstrapping in Large Language Models [81.01397924280612]
  大規模言語モデル (LLM) は、ステップ・バイ・ステップ・チェーン・オブ・シークレット (CoT) をデモンストレーションとして組み込むことで、様々な推論タスクにおいて高い効果的な性能を達成することができる。 本稿では,イターCoT (Iterative bootstrapping in Chain-of-Thoughts Prompting) を導入する。
  論文  参考訳（メタデータ） (2023-04-23T13:54:39Z)
• OrthoReg: Improving Graph-regularized MLPs via Orthogonality Regularization [66.30021126251725]
  グラフニューラルネットワーク(GNN)は現在、グラフ構造データのモデリングにおいて支配的である。 グラフ正規化ネットワーク(GR-MLP)はグラフ構造情報をモデル重みに暗黙的に注入するが、その性能はほとんどのタスクにおいてGNNとほとんど一致しない。 GR-MLPは,最大数個の固有値が埋め込み空間を支配する現象である次元崩壊に苦しむことを示す。 次元崩壊問題を緩和する新しいGR-MLPモデルであるOrthoRegを提案する。
  論文  参考訳（メタデータ） (2023-01-31T21:20:48Z)
• HETFORMER: Heterogeneous Transformer with Sparse Attention for Long-Text Extractive Summarization [57.798070356553936]
  HETFORMERはトランスフォーマーをベースとした事前学習モデルであり、抽出要約のための多粒度スパースアテンションを持つ。 単一文書と複数文書の要約タスクの実験から,HETFORMERがルージュF1の最先端性能を達成することが示された。
  論文  参考訳（メタデータ） (2021-10-12T22:42:31Z)
• Learning compositional structures for semantic graph parsing [81.41592892863979]
  本稿では、AM依存性解析をニューラル潜在変数モデルで直接トレーニングする方法を示す。 本モデルでは,いくつかの言語現象を独自に把握し,教師あり学習に匹敵する精度を達成している。
  論文  参考訳（メタデータ） (2021-06-08T14:20:07Z)
• Graph Ensemble Learning over Multiple Dependency Trees for Aspect-level Sentiment Classification [37.936820137442254]
  本研究では, グラフアンサンブル手法であるGraphMergeを提案する。 各依存ツリーに1組のモデルパラメータを割り当てる代わりに、まず異なるパースから依存関係を結合し、結果のグラフにGNNを適用します。 SemEval 2014 Task 4とACL 14のTwitterデータセットの実験では、GraphMergeモデルは単一の依存ツリーでモデルを上回るだけでなく、モデルパラメータを追加せずに他のアンサンブルモジュールを上回ります。
  論文  参考訳（メタデータ） (2021-03-12T22:27:23Z)
• A Differentiable Relaxation of Graph Segmentation and Alignment for AMR Parsing [75.36126971685034]
  我々は、アライメントとセグメンテーションをモデルの潜在変数として扱い、エンドツーエンドのトレーニングの一部としてそれらを誘導する。 また,AMRの個々の構造を扱うために手作りされたLyu2018AMRPAのセグメンテーションルールに依存するモデルにもアプローチした。
  論文  参考訳（メタデータ） (2020-10-23T21:22:50Z)
• Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
  ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。 我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。 このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2020-04-20T02:47:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。