論文の概要: Reasoning-Oriented and Analogy-Based Methods for Locating and Editing in Zero-Shot Event-Relational Reasoning

• arxiv url: http://arxiv.org/abs/2501.00803v1
• Date: Wed, 01 Jan 2025 11:02:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-05 17:16:51.513076
• Title: Reasoning-Oriented and Analogy-Based Methods for Locating and Editing in Zero-Shot Event-Relational Reasoning
• Title（参考訳）: ゼロショットイベント関連推論における位置決めと編集のための推論指向およびアナロジーに基づく手法
• Authors: Jingyao Tang, Lishuang Li, Liteng Mi, Haiming Wu, Hongbin Lu,
• Abstract要約: 推論指向のロケート・編集(ROLE)とアナロジーに基づくロケート・編集(ABLE)を提案する。 ROLEは、イベント関係の推論、解釈可能性の向上、推論能力のリソース効率の最適化のために、言語モデルの重要モジュールを特定し、編集する。 ABLEはゼロショット推論能力を最適化するためにタスク間の類似点と相違点を利用する。
• 参考スコア（独自算出の注目度）: 1.0373115083302502
• License:
• Abstract: Zero-shot event-relational reasoning is an important task in natural language processing, and existing methods jointly learn a variety of event-relational prefixes and inference-form prefixes to achieve such tasks. However, training prefixes consumes large computational resources and lacks interpretability. Additionally, learning various relational and inferential knowledge inefficiently exploits the connections between tasks. Therefore, we first propose a method for Reasoning-Oriented Locating and Editing (ROLE), which locates and edits the key modules of the language model for reasoning about event relations, enhancing interpretability and also resource-efficiently optimizing the reasoning ability. Subsequently, we propose a method for Analogy-Based Locating and Editing (ABLE), which efficiently exploits the similarities and differences between tasks to optimize the zero-shot reasoning capability. Experimental results show that ROLE improves interpretability and reasoning performance with reduced computational cost. ABLE achieves SOTA results in zero-shot reasoning.
• Abstract（参考訳）: ゼロショットイベントリレーショナル推論は自然言語処理において重要な課題であり、既存の手法は様々なイベントリレーショナルプレフィックスと推論形式のプレフィックスを共同で学習し、そのようなタスクを達成する。 しかし、トレーニングプレフィックスは膨大な計算資源を消費し、解釈性に欠ける。 さらに、様々なリレーショナル知識や推論知識を学習することは、タスク間の接続を非効率に活用する。 そこで本稿では、まず、イベント関係の推論、解釈可能性の向上、推論能力の資源効率向上のための言語モデルの重要モジュールの探索と編集を行うROLE(Reasoning-Oriented Locating and Editing)手法を提案する。 そこで本研究では,タスク間の類似点や相違点を効果的に活用し,ゼロショット推論能力を最適化する,Analogy-based Locating and Editing (ABLE)を提案する。 実験の結果,ROLEは計算コストを削減して解釈性と推論性能を向上させることがわかった。 ABLEはSOTAの結果をゼロショット推論で達成する。

関連論文リスト

• Improving LLM Reasoning through Scaling Inference Computation with Collaborative Verification [52.095460362197336]
  大規模言語モデル(LLM)は一貫性と正確な推論に苦しむ。 LLMは、主に正しいソリューションに基づいて訓練され、エラーを検出して学習する能力を減らす。 本稿では,CoT(Chain-of-Thought)とPoT(Program-of-Thought)を組み合わせた新しい協調手法を提案する。
  論文  参考訳（メタデータ） (2024-10-05T05:21:48Z)
• Thought-Path Contrastive Learning via Premise-Oriented Data Augmentation for Logical Reading Comprehension [9.67774998354062]
  これまでの研究は主に、Chain-of-Thought(CoT)やデータ拡張による論理的推論能力の向上に重点を置いてきた。 本稿では,CoTの論理式を生成するためのPODA(Premise-Oriented Data Augmentation)フレームワークを提案する。 また,本論文では,原案と反実例の推論経路を比較検討する新たな思考経路コントラスト学習手法についても紹介する。
  論文  参考訳（メタデータ） (2024-09-22T15:44:43Z)
• Multi-modal Causal Structure Learning and Root Cause Analysis [67.67578590390907]
  根本原因局所化のためのマルチモーダル因果構造学習手法であるMulanを提案する。 ログ選択言語モデルを利用してログ表現学習を行い、ログシーケンスを時系列データに変換する。 また、モダリティの信頼性を評価し、最終因果グラフを共同学習するための新しいキーパフォーマンスインジケータ対応アテンション機構も導入する。
  論文  参考訳（メタデータ） (2024-02-04T05:50:38Z)
• Prompt-based Logical Semantics Enhancement for Implicit Discourse Relation Recognition [4.7938839332508945]
  Inlicit Discourse Relation Recognition (IDRR) のための Prompt-based Logical Semantics Enhancement (PLSE) 法を提案する。 提案手法は,事前学習した言語モデルに対する対話関係に関する知識を,素早い接続予測によってシームレスに注入する。 PDTB 2.0 と CoNLL16 データセットによる実験結果から,本手法は現状の最先端モデルに対して優れた一貫した性能を発揮することが示された。
  論文  参考訳（メタデータ） (2023-11-01T08:38:08Z)
• Improving Language Models Meaning Understanding and Consistency by Learning Conceptual Roles from Dictionary [65.268245109828]
  現代事前訓練言語モデル(PLM)の非人間的行動は、その信頼性を損なう主要な原因である。 驚くべき現象は、矛盾した結果を生み出す不整合予測の生成である。 本研究では,PLMの認知度を向上させることで,一貫性のない行動問題を緩和する実践的アプローチを提案する。
  論文  参考訳（メタデータ） (2023-10-24T06:15:15Z)
• APOLLO: A Simple Approach for Adaptive Pretraining of Language Models for Logical Reasoning [73.3035118224719]
  本稿では,論理的推論能力を改善した適応事前学習型言語モデルAPOLLOを提案する。 APOLLOはReClorで比較可能であり、LogiQAでベースラインを上回ります。
  論文  参考訳（メタデータ） (2022-12-19T07:40:02Z)
• ReAct: Synergizing Reasoning and Acting in Language Models [44.746116256516046]
  大規模言語モデル (LLM) は, 推論トレースとタスク固有動作の両方を, インターリーブ方式で生成可能であることを示す。 我々はReActという名前のアプローチを多種多様な言語と意思決定タスクに適用する。 ReActは、単純なウィキペディアAPIと対話することで、チェーン・オブ・ソート推論でよく見られる幻覚やエラーの伝播の問題を克服する。
  論文  参考訳（メタデータ） (2022-10-06T01:00:32Z)
• Selective Inference for Sparse Multitask Regression with Applications in Neuroimaging [2.611153304251067]
  本稿では、ニューロイメージングにおける一般的なマルチタスク問題に対処するための選択推論フレームワークを提案する。 我々のフレームワークは、選択イベントの洗練に基づいて、新しい推論条件を提供する。 我々は,選択推論を用いたマルチタスク学習により,単一タスク法よりも真の信号をより正確に復元できることをシミュレーションにより示す。
  論文  参考訳（メタデータ） (2022-05-27T20:21:20Z)
• Visualizing the Relationship Between Encoded Linguistic Information and Task Performance [53.223789395577796]
  本稿では,Pareto Optimalityの観点から,符号化言語情報とタスクパフォーマンスの動的関係について検討する。 我々は、機械翻訳と言語モデリングという2つの一般的なNLPタスクの実験を行い、様々な言語情報とタスクパフォーマンスの関係について検討する。 実験結果から,NLPタスクには構文情報が有用であるのに対して,より構文情報の符号化が必ずしも優れたパフォーマンスをもたらすとは限らないことが示唆された。
  論文  参考訳（メタデータ） (2022-03-29T19:03:10Z)
• Task-Feature Collaborative Learning with Application to Personalized Attribute Prediction [166.87111665908333]
  本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。 具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。 実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
  論文  参考訳（メタデータ） (2020-04-29T02:32:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。