論文の概要: Artefact Retrieval: Overview of NLP Models with Knowledge Base Access

• arxiv url: http://arxiv.org/abs/2201.09651v1
• Date: Mon, 24 Jan 2022 13:15:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-25 22:22:51.574241
• Title: Artefact Retrieval: Overview of NLP Models with Knowledge Base Access
• Title（参考訳）: Artefact Retrieval:知識ベースアクセスによるNLPモデルの概要
• Authors: Vil\'em Zouhar, Marius Mosbach, Debanjali Biswas, Dietrich Klakow
• Abstract要約: 本稿では,人工物の種類(知識ベースから抽出した項目),検索機構,およびこれらの人工物がモデルに融合する方法を体系的に記述する。 言語モデルに焦点が当てられているが、質問応答、事実チェック、対話モデルもこのシステムにどのように適合するかを示す。
• 参考スコア（独自算出の注目度）: 18.098224374478598
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Many NLP models gain performance by having access to a knowledge base. A lot of research has been devoted to devising and improving the way the knowledge base is accessed and incorporated into the model, resulting in a number of mechanisms and pipelines. Despite the diversity of proposed mechanisms, there are patterns in the designs of such systems. In this paper, we systematically describe the typology of artefacts (items retrieved from a knowledge base), retrieval mechanisms and the way these artefacts are fused into the model. This further allows us to uncover combinations of design decisions that had not yet been tried. Most of the focus is given to language models, though we also show how question answering, fact-checking and knowledgable dialogue models fit into this system as well. Having an abstract model which can describe the architecture of specific models also helps with transferring these architectures between multiple NLP tasks.
• Abstract（参考訳）: 多くのNLPモデルは知識ベースにアクセスすることで性能を得る。 多くの研究が、知識ベースへのアクセス方法やモデルへの組み込み方法の開発と改善に費やされており、結果として多くのメカニズムやパイプラインが生まれている。 提案機構の多様性にもかかわらず、そのようなシステムの設計にはパターンが存在する。 本稿では,アーティファクト(知識ベースから検索した項目)の類型論,検索機構,これらのアーティファクトをモデルに融合する方法を体系的に記述する。 これにより、まだ試されていない設計上の決定の組み合わせを明らかにすることができます。 言語モデルに焦点が当てられているが、質問応答、ファクトチェック、知識のある対話モデルもこのシステムにどのように適合するかを示す。 特定のモデルのアーキテクチャを記述できる抽象モデルを持つことは、これらのアーキテクチャを複数のnlpタスク間で転送するのに役立ちます。

関連論文リスト

• Model Merging in LLMs, MLLMs, and Beyond: Methods, Theories, Applications and Opportunities [89.40778301238642]
  モデルマージは、機械学習コミュニティにおける効率的なエンパワーメント技術である。 これらの手法の体系的かつ徹底的なレビューに関する文献には大きなギャップがある。
  論文  参考訳（メタデータ） (2024-08-14T16:58:48Z)
• Mining Frequent Structures in Conceptual Models [2.841785306638839]
  本稿では,概念モデリング言語における頻繁な構造発見問題に対する一般的なアプローチを提案する。 我々は,頻繁な部分グラフマイニングアルゴリズムとグラフ操作手法を組み合わせる。 主な目的は、言語エンジニアのためのサポート施設を提供することである。
  論文  参考訳（メタデータ） (2024-06-11T10:24:02Z)
• LVLM-Interpret: An Interpretability Tool for Large Vision-Language Models [50.259006481656094]
  本稿では,大規模視覚言語モデルの内部メカニズムの理解を目的とした対話型アプリケーションを提案する。 このインタフェースは, 画像パッチの解釈可能性を高めるために設計されており, 応答の生成に有効である。 本稿では,一般的な大規模マルチモーダルモデルであるLLaVAにおける障害機構の理解に,アプリケーションがどのように役立つかのケーススタディを示す。
  論文  参考訳（メタデータ） (2024-04-03T23:57:34Z)
• Learn From Model Beyond Fine-Tuning: A Survey [78.80920533793595]
  Learn From Model (LFM) は、モデルインターフェースに基づいた基礎モデル(FM)の研究、修正、設計に焦点を当てている。 LFM技術の研究は、モデルチューニング、モデル蒸留、モデル再利用、メタラーニング、モデル編集の5つの分野に大別できる。 本稿では, LFM の観点から, FM に基づく現在の手法を概観する。
  論文  参考訳（メタデータ） (2023-10-12T10:20:36Z)
• Scaling Vision-Language Models with Sparse Mixture of Experts [128.0882767889029]
  提案手法は, 等価計算コストの高密度モデルに対して, 様々なベンチマークにおいて, 最先端性能を実現することができることを示す。 我々の研究は、MoEモデルのトレーニングの安定化、モデル解釈可能性に対するMoEの影響の理解、ビジョン言語モデルをスケールする際の計算性能間のトレードオフのバランスに関する貴重な洞察を提供する。
  論文  参考訳（メタデータ） (2023-03-13T16:00:31Z)
• A model-agnostic approach for generating Saliency Maps to explain inferred decisions of Deep Learning Models [2.741266294612776]
  本稿では,モデル出力にのみアクセス可能な有能マップを生成するためのモデルに依存しない手法を提案する。 我々は微分進化法を用いて、モデルの意思決定プロセスにおいて、どの画像ピクセルが最も影響があるかを特定する。
  論文  参考訳（メタデータ） (2022-09-19T10:28:37Z)
• Model LEGO: Creating Models Like Disassembling and Assembling Building Blocks [53.09649785009528]
  本稿では,新しいモデルを得るためのトレーニングを必要としないパラダイムについて検討する。 生体視覚系における受容野にインスパイアされたCNNの誕生と同様、モデル分解と組み立てを提案する。 モデル組立には、特定のタスクに適した新しいモデルを構築するために、アライメントパディング戦略とパラメータスケーリング戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-25T05:27:28Z)
• Beyond Explaining: Opportunities and Challenges of XAI-Based Model Improvement [75.00655434905417]
  説明可能な人工知能(XAI)は、高度に複雑な機械学習(ML)モデルに透明性をもたらす新たな研究分野である。 本稿では,機械学習モデルの諸特性を改善するために,XAIを実用的に応用する手法を概観する。 実験では,モデル一般化能力や推論などの特性を改善する上で,説明がどのように役立つのかを,おもちゃと現実的な設定で実証的に示す。
  論文  参考訳（メタデータ） (2022-03-15T15:44:28Z)
• Combining pre-trained language models and structured knowledge [9.521634184008574]
  トランスフォーマーベースの言語モデルは、様々なNLPベンチマークにおいて、最先端の性能を実現している。 これらのモデルに知識グラフのような構造化情報を統合することは困難であることが証明されている。 構造化された知識を現在の言語モデルに統合し、課題を決定するための様々なアプローチについて検討し、構造化された情報ソースと非構造化された情報ソースの両方を活用する機会について検討する。
  論文  参考訳（メタデータ） (2021-01-28T21:54:03Z)
• Incorporating prior knowledge about structural constraints in model identification [1.376408511310322]
  このような部分的情報を利用してより良い推定値を生成するモデル同定手法を提案する。 具体的には,PCAなどの既存手法を即興的に活用する構造主成分分析(SPCA)を提案する。 提案手法の有効性は, 合成ケーススタディおよび工業ケーススタディを用いて実証した。
  論文  参考訳（メタデータ） (2020-07-08T11:09:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。