論文の概要: URL: Universal Referential Knowledge Linking via Task-instructed Representation Compression

• arxiv url: http://arxiv.org/abs/2404.16248v1
• Date: Wed, 24 Apr 2024 23:37:15 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-26 15:07:57.379602
• Title: URL: Universal Referential Knowledge Linking via Task-instructed Representation Compression
• Title（参考訳）: URL:タスク指示表現圧縮によるユニバーサル参照知識リンク
• Authors: Zhuoqun Li, Hongyu Lin, Tianshu Wang, Boxi Cao, Yaojie Lu, Weixiang Zhou, Hao Wang, Zhenyu Zeng, Le Sun, Xianpei Han,
• Abstract要約: 本稿では,一つの統一モデルによる多種多様な参照知識リンクタスクの解決を目的としたユニバーサル参照知識リンク(URL)を提案する。 また,異なるシナリオ間でタスクをリンクする参照知識に基づくモデルの有効性を評価するための新しいベンチマークを構築した。
• 参考スコア（独自算出の注目度）: 46.43057075676104
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Linking a claim to grounded references is a critical ability to fulfill human demands for authentic and reliable information. Current studies are limited to specific tasks like information retrieval or semantic matching, where the claim-reference relationships are unique and fixed, while the referential knowledge linking (RKL) in real-world can be much more diverse and complex. In this paper, we propose universal referential knowledge linking (URL), which aims to resolve diversified referential knowledge linking tasks by one unified model. To this end, we propose a LLM-driven task-instructed representation compression, as well as a multi-view learning approach, in order to effectively adapt the instruction following and semantic understanding abilities of LLMs to referential knowledge linking. Furthermore, we also construct a new benchmark to evaluate ability of models on referential knowledge linking tasks across different scenarios. Experiments demonstrate that universal RKL is challenging for existing approaches, while the proposed framework can effectively resolve the task across various scenarios, and therefore outperforms previous approaches by a large margin.
• Abstract（参考訳）: 根拠付き参照にクレームをリンクすることは、信頼できる情報に対する人間の要求を満たす重要な能力である。 現在の研究は情報検索やセマンティックマッチングのような特定のタスクに限定されており、クレーム-参照関係はユニークで固定的であり、実世界の参照知識リンク(RKL)はより多様で複雑である。 本稿では,1つの統一モデルにより多種多様な参照知識リンクタスクを解決することを目的とした,ユニバーサル参照知識リンク(URL)を提案する。 そこで本研究では,LLMの命令従順と意味理解能力を参照知識リンクに効果的に適応させるため,LLMによるタスク命令型表現圧縮と多視点学習手法を提案する。 さらに,様々なシナリオにまたがる参照知識リンクタスクにおけるモデルの有効性を評価するための新しいベンチマークを構築した。 実験により、既存の手法では普遍的なRKLが困難であることが示され、提案したフレームワークは様々なシナリオでタスクを効果的に解決し、従って従来の手法よりも大きなマージンで優れていることが示された。

関連論文リスト

• StructRAG: Boosting Knowledge Intensive Reasoning of LLMs via Inference-time Hybrid Information Structurization [94.31508613367296]
  Retrieval-augmented Generation(RAG)は、大規模言語モデル(LLM)を効果的に強化する鍵となる手段である。 本稿では,手前のタスクに対して最適な構造型を識別し,元の文書をこの構造化形式に再構成し,その結果に基づいて回答を推測するStructRAGを提案する。 実験の結果、StructRAGは最先端のパフォーマンスを実現し、特に挑戦的なシナリオに優れていた。
  論文  参考訳（メタデータ） (2024-10-11T13:52:44Z)
• GIVE: Structured Reasoning with Knowledge Graph Inspired Veracity Extrapolation [108.2008975785364]
  Graph Inspired Veracity Extrapolation (GIVE)は、パラメトリックメモリと非パラメトリックメモリを統合する新しい推論フレームワークである。 本手法は,ゴールド回答検索ではなく,専門家の問題解決に類似した論理的・段階的推論手法を提案する。
  論文  参考訳（メタデータ） (2024-10-11T03:05:06Z)
• H-ensemble: An Information Theoretic Approach to Reliable Few-Shot Multi-Source-Free Transfer [4.328706834250445]
  本稿では,対象タスクに対するソースモデルの最適線形結合を学習するHアンサンブル(H-ensemble)というフレームワークを提案する。 H-アンサンブルは,1)少数の目標タスクに対する新しいMSF設定への適応性,2)理論的信頼性,3)解釈や適応が容易な軽量構造を特徴とする。 我々は,Hアンサンブルが最適なタスクアンサンブルを学習し,先行技術より優れていることを示す。
  論文  参考訳（メタデータ） (2023-12-19T17:39:34Z)
• Prompt-based Logical Semantics Enhancement for Implicit Discourse Relation Recognition [4.7938839332508945]
  Inlicit Discourse Relation Recognition (IDRR) のための Prompt-based Logical Semantics Enhancement (PLSE) 法を提案する。 提案手法は,事前学習した言語モデルに対する対話関係に関する知識を,素早い接続予測によってシームレスに注入する。 PDTB 2.0 と CoNLL16 データセットによる実験結果から,本手法は現状の最先端モデルに対して優れた一貫した性能を発揮することが示された。
  論文  参考訳（メタデータ） (2023-11-01T08:38:08Z)
• Disentangled Latent Spaces Facilitate Data-Driven Auxiliary Learning [15.41342100228504]
  ディープラーニングでは、データが不足している状況での学習を容易にするために補助的な目的がしばしば使用される。 Detauxと呼ばれる新しいフレームワークを提案し、非関係な新しい分類タスクを見つけるために、弱い教師付き非絡み込み手順を用いている。
  論文  参考訳（メタデータ） (2023-10-13T17:40:39Z)
• Hierarchically Structured Task-Agnostic Continual Learning [0.0]
  本研究では,連続学習のタスク非依存的な視点を取り入れ,階層的情報理論の最適性原理を考案する。 我々は,情報処理経路の集合を作成することで,忘れを緩和する,Mixture-of-Variational-Experts層と呼ばれるニューラルネットワーク層を提案する。 既存の連続学習アルゴリズムのようにタスク固有の知識を必要としない。
  論文  参考訳（メタデータ） (2022-11-14T19:53:15Z)
• Provable Benefits of Representational Transfer in Reinforcement Learning [59.712501044999875]
  本稿では,RLにおける表現伝達の問題について検討し,エージェントがまず複数のソースタスクを事前訓練し,共有表現を発見する。 本稿では,ソースタスクに対する生成的アクセスが与えられた場合,次に続く線形RL手法がほぼ最適ポリシーに迅速に収束する表現を発見できることを示す。
  論文  参考訳（メタデータ） (2022-05-29T04:31:29Z)
• elBERto: Self-supervised Commonsense Learning for Question Answering [131.51059870970616]
  本稿では、市販QAモデルアーキテクチャと互換性のあるコモンセンスフレームワークの自己教師型双方向表現学習を提案する。 このフレームワークは5つの自己教師型タスクから構成されており、リッチコモンセンスを含むコンテキストから追加のトレーニング信号を完全に活用するようモデルに強制する。 elBERtoは、単純な語彙的類似性比較が役に立たないような、アウト・オブ・パラグラフや非エフェクトな問題に対して、大幅に改善されている。
  論文  参考訳（メタデータ） (2022-03-17T16:23:45Z)
• Leveraging Semantic Parsing for Relation Linking over Knowledge Bases [80.99588366232075]
  本稿では,AMRを用いた意味解析と遠隔監視を利用した関係リンクフレームワークであるSlingを提案する。 Slingは複数の関係リンクアプローチを統合し、言語的手がかり、豊かな意味表現、知識ベースからの情報などの補完的な信号をキャプチャする。 QALD-7, QALD-9, LC-QuAD 1.0という3つのKBQAデータセットを用いた関係リンク実験により, 提案手法が全てのベンチマークで最先端の性能を達成することを示す。
  論文  参考訳（メタデータ） (2020-09-16T14:56:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。