論文の概要: PRIMO: Progressive Induction for Multi-hop Open Rule Generation

• arxiv url: http://arxiv.org/abs/2411.01205v1
• Date: Sat, 02 Nov 2024 10:33:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:44:45.777132
• Title: PRIMO: Progressive Induction for Multi-hop Open Rule Generation
• Title（参考訳）: PRIMO: マルチホップオープンルール生成のためのプログレッシブインジェクション
• Authors: Jianyu Liu, Sheng Bi, Guilin Qi,
• Abstract要約: 機械にオープンルール知識を注入することは、対話や関係抽出といった下流タスクのパフォーマンスを向上させるのに役立つ。 既存のアプローチでは、マルチホップシナリオを無視して、シングルホップのオープンルール生成に重点を置いている。 プログレッシブな多段階オープンルール生成法であるPRIMOを提案する。
• 参考スコア（独自算出の注目度）: 10.829918726440416
• License:
• Abstract: Open rule refer to the implication from premise atoms to hypothesis atoms, which captures various relations between instances in the real world. Injecting open rule knowledge into the machine helps to improve the performance of downstream tasks such as dialogue and relation extraction. Existing approaches focus on single-hop open rule generation, ignoring multi-hop scenarios, leading to logical inconsistencies between premise and hypothesis atoms, as well as semantic duplication of generated rule atoms. To address these issues, we propose a progressive multi-stage open rule generation method called PRIMO. We introduce ontology information during the rule generation stage to reduce ambiguity and improve rule accuracy. PRIMO constructs a multi-stage structure consisting of generation, extraction, and ranking modules to fully leverage the latent knowledge within the language model across multiple dimensions. Furthermore, we employ reinforcement learning from human feedback to further optimize model, enhancing the model's understanding of commonsense knowledge. Experiments show that compared to baseline models, PRIMO significantly improves rule quality and diversity while reducing the repetition rate of rule atoms.
• Abstract（参考訳）: オープン・ルール(オープン・ルール)とは、前提原子から仮説原子への含意のことであり、現実世界のインスタンス間の様々な関係を捉えている。 機械にオープンルール知識を注入することは、対話や関係抽出といった下流タスクのパフォーマンスを向上させるのに役立つ。 既存のアプローチでは、単一ホップのオープンルールの生成、マルチホップシナリオの無視、前提と仮説の原子間の論理的矛盾、および生成されたルール原子の意味的な重複に焦点が当てられている。 これらの問題に対処するため、PRIMOと呼ばれるプログレッシブな多段階オープンルール生成手法を提案する。 ルール生成段階でのオントロジー情報を導入し,あいまいさを低減し,規則精度を向上させる。 PRIMOは生成、抽出、ランキングモジュールからなる多段階構造を構築し、複数の次元にわたる言語モデル内の潜在知識を完全に活用する。 さらに,人間のフィードバックからの強化学習を用いてモデルをさらに最適化し,コモンセンス知識の理解を深める。 実験により、PRIMOはベースラインモデルと比較して、規則原子の繰り返し率を減少させながら、規則の品質と多様性を著しく改善することが示された。

関連論文リスト

• Diffusing States and Matching Scores: A New Framework for Imitation Learning [16.941612670582522]
  敵対的模倣学習は伝統的に、学習者と敵対的に選択されたコスト関数の間の2つのプレイヤーゼロサムゲームとしてフレーム化されている。 近年、拡散モデルはGANの非敵対的な代替品として出現している。 提案手法は, 様々な連続制御問題に対して, GANスタイルの模倣学習ベースラインより優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-17T17:59:25Z)
• Rule Extrapolation in Language Models: A Study of Compositional Generalization on OOD Prompts [14.76420070558434]
  ルール外挿は、プロンプトが少なくとも1つのルールに違反するOODシナリオを記述する。 規則の交わりによって定義される形式言語に焦点を当てる。 我々はアルゴリズム情報理論に先立ってソロモノフに触発された規則外挿の規範的理論の最初の石を配置した。
  論文  参考訳（メタデータ） (2024-09-09T22:36:35Z)
• A Scalable Matrix Visualization for Understanding Tree Ensemble Classifiers [20.416696003269674]
  本稿では,数万のルールを含む木アンサンブル分類法を説明するために,拡張性のある視覚解析手法を提案する。 我々は,これらのルールを階層レベルで優先順位付けするための,異常バイアスモデル削減手法を開発した。 本手法は,共通ルールと異常ルールの両方を深く理解し,包括性を犠牲にすることなく解釈性を向上させる。
  論文  参考訳（メタデータ） (2024-09-05T01:48:11Z)
• ReconBoost: Boosting Can Achieve Modality Reconcilement [89.4377895465204]
  我々は、調和を達成するために、モダリティ代替学習パラダイムについて研究する。 固定モードを毎回更新するReconBoostと呼ばれる新しい手法を提案する。 提案手法はFriedman's Gradient-Boosting (GB) アルゴリズムに似ており,更新された学習者が他者による誤りを訂正できることを示す。
  論文  参考訳（メタデータ） (2024-05-15T13:22:39Z)
• Probabilistic Truly Unordered Rule Sets [4.169915659794567]
  真に順序のない規則集合に対するTURSを提案する。 我々はルールセットの確率的特性を利用して、類似した確率的出力を持つ場合のみ規則が重複することを許すという直観を生かしている。 我々は,幅広いルールベースの手法に対してベンチマークを行い,モデルの複雑さを低くし,高い競争力のある予測性能を持つルールセットを学習できることを実証した。
  論文  参考訳（メタデータ） (2024-01-18T12:03:19Z)
• Learning Neural Constitutive Laws From Motion Observations for Generalizable PDE Dynamics [97.38308257547186]
  多くのNNアプローチは、支配的PDEと物質モデルの両方を暗黙的にモデル化するエンドツーエンドモデルを学ぶ。 PDEの管理はよく知られており、学習よりも明示的に実施されるべきである、と私たちは主張する。 そこで我々は,ネットワークアーキテクチャを利用したニューラル構成則(Neural Constitutive Laws,NCLaw)と呼ばれる新しいフレームワークを導入する。
  論文  参考訳（メタデータ） (2023-04-27T17:42:24Z)
• Understanding and Constructing Latent Modality Structures in Multi-modal Representation Learning [53.68371566336254]
  優れたパフォーマンスの鍵は、完全なモダリティアライメントではなく、有意義な潜在モダリティ構造にある、と我々は主張する。 具体的には,1)モダリティ内正規化のための深い特徴分離損失,2)モダリティ間正規化のためのブラウン橋損失,3)モダリティ内正規化およびモダリティ間正規化のための幾何学的整合損失を設計する。
  論文  参考訳（メタデータ） (2023-03-10T14:38:49Z)
• Distilling Task-specific Logical Rules from Large Pre-trained Models [24.66436804853525]
  本研究では,大規模な事前学習モデルからタスク固有の論理規則を抽出する新しい枠組みを開発する。 具体的には、初期シードルールを生成するための知識エキスパートとして、最近のプロンプトベースの言語モデルを借りる。 3つのパブリックなエンティティタグ付けベンチマークの実験は、提案フレームワークの有効性を実証している。
  論文  参考訳（メタデータ） (2022-10-06T09:12:18Z)
• Progressively Guide to Attend: An Iterative Alignment Framework for Temporal Sentence Grounding [53.377028000325424]
  時間的文接地作業のための反復アライメントネットワーク(IA-Net)を提案する。 学習可能なパラメータを持つマルチモーダル特徴をパットすることで、非整合フレームワードペアの非整合問題を軽減する。 また、アライメントの知識を洗練させるために、各アライメントモジュールに従ってキャリブレーションモジュールを考案する。
  論文  参考訳（メタデータ） (2021-09-14T02:08:23Z)
• Continual Learning for Natural Language Generation in Task-oriented Dialog Systems [72.92029584113676]
  自然言語生成(NLG)はタスク指向対話システムにおいて重要な要素である。 我々は,NLGの知識を新たなドメインや機能に段階的に拡張する"継続的学習"環境で研究する。 この目標に対する大きな課題は、破滅的な忘れことであり、継続的に訓練されたモデルは、以前に学んだ知識を忘れがちである。
  論文  参考訳（メタデータ） (2020-10-02T10:32:29Z)
• Rewriting a Deep Generative Model [56.91974064348137]
  我々は,深層生成モデルによって符号化された特定の規則の操作という,新たな問題設定を導入する。 本稿では,ディープネットワークの層を線形連想メモリとして操作することで,所望のルールを変更する定式化を提案する。 本稿では,生成モデルのルールを対話的に変更し,望ましい効果を得られるユーザインタフェースを提案する。
  論文  参考訳（メタデータ） (2020-07-30T17:58:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。