論文の概要: Artefact Retrieval: Overview of NLP Models with Knowledge Base Access
- arxiv url: http://arxiv.org/abs/2201.09651v1
- Date: Mon, 24 Jan 2022 13:15:33 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-25 22:22:51.574241
- Title: Artefact Retrieval: Overview of NLP Models with Knowledge Base Access
- Title(参考訳): Artefact Retrieval:知識ベースアクセスによるNLPモデルの概要
- Authors: Vil\'em Zouhar, Marius Mosbach, Debanjali Biswas, Dietrich Klakow
- Abstract要約: 本稿では,人工物の種類(知識ベースから抽出した項目),検索機構,およびこれらの人工物がモデルに融合する方法を体系的に記述する。
言語モデルに焦点が当てられているが、質問応答、事実チェック、対話モデルもこのシステムにどのように適合するかを示す。
- 参考スコア(独自算出の注目度): 18.098224374478598
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Many NLP models gain performance by having access to a knowledge base. A lot
of research has been devoted to devising and improving the way the knowledge
base is accessed and incorporated into the model, resulting in a number of
mechanisms and pipelines. Despite the diversity of proposed mechanisms, there
are patterns in the designs of such systems. In this paper, we systematically
describe the typology of artefacts (items retrieved from a knowledge base),
retrieval mechanisms and the way these artefacts are fused into the model. This
further allows us to uncover combinations of design decisions that had not yet
been tried. Most of the focus is given to language models, though we also show
how question answering, fact-checking and knowledgable dialogue models fit into
this system as well. Having an abstract model which can describe the
architecture of specific models also helps with transferring these
architectures between multiple NLP tasks.
- Abstract(参考訳): 多くのNLPモデルは知識ベースにアクセスすることで性能を得る。
多くの研究が、知識ベースへのアクセス方法やモデルへの組み込み方法の開発と改善に費やされており、結果として多くのメカニズムやパイプラインが生まれている。
提案機構の多様性にもかかわらず、そのようなシステムの設計にはパターンが存在する。
本稿では,アーティファクト(知識ベースから検索した項目)の類型論,検索機構,これらのアーティファクトをモデルに融合する方法を体系的に記述する。
これにより、まだ試されていない設計上の決定の組み合わせを明らかにすることができます。
言語モデルに焦点が当てられているが、質問応答、ファクトチェック、知識のある対話モデルもこのシステムにどのように適合するかを示す。
特定のモデルのアーキテクチャを記述できる抽象モデルを持つことは、これらのアーキテクチャを複数のnlpタスク間で転送するのに役立ちます。
関連論文リスト
- Learn From Model Beyond Fine-Tuning: A Survey [78.80920533793595]
Learn From Model (LFM) は、モデルインターフェースに基づいた基礎モデル(FM)の研究、修正、設計に焦点を当てている。
LFM技術の研究は、モデルチューニング、モデル蒸留、モデル再利用、メタラーニング、モデル編集の5つの分野に大別できる。
本稿では, LFM の観点から, FM に基づく現在の手法を概観する。
論文 参考訳(メタデータ) (2023-10-12T10:20:36Z) - Insights from an OTTR-centric Ontology Engineering Methodology [3.1921092049934647]
OTTRは、OTTモデリングパターンを表現するための言語であり、テンプレートをインスタンス化することで、OTTナレッジベースを構築することができる。
本稿では,物質科学分野の工学的活動から得られた方法論と報告について概説する。
特に,OTTRテンプレートはドメインの専門家とのコミュニケーション手段として特に有用であることがわかった。
論文 参考訳(メタデータ) (2023-09-22T18:31:56Z) - Foundational Models Defining a New Era in Vision: A Survey and Outlook [151.49434496615427]
視覚シーンの構成的性質を観察し、推論する視覚システムは、我々の世界を理解するのに不可欠である。
モデルは、このようなモダリティと大規模なトレーニングデータとのギャップを埋めることを学び、コンテキスト推論、一般化、テスト時の迅速な機能を容易にした。
このようなモデルの出力は、例えば、バウンディングボックスを設けて特定のオブジェクトをセグメント化したり、画像や映像シーンについて質問したり、言語命令でロボットの動作を操作することで対話的な対話を行うなど、リトレーニングすることなく、人為的なプロンプトによって変更することができる。
論文 参考訳(メタデータ) (2023-07-25T17:59:18Z) - Scaling Vision-Language Models with Sparse Mixture of Experts [128.0882767889029]
提案手法は, 等価計算コストの高密度モデルに対して, 様々なベンチマークにおいて, 最先端性能を実現することができることを示す。
我々の研究は、MoEモデルのトレーニングの安定化、モデル解釈可能性に対するMoEの影響の理解、ビジョン言語モデルをスケールする際の計算性能間のトレードオフのバランスに関する貴重な洞察を提供する。
論文 参考訳(メタデータ) (2023-03-13T16:00:31Z) - Modular Deep Learning [120.36599591042908]
トランスファーラーニングは近年、機械学習の主要なパラダイムとなっている。
負の干渉を伴わずに複数のタスクを専門とするモデルを開発する方法はまだ不明である。
これらの課題に対する有望な解決策として、モジュール型ディープラーニングが登場した。
論文 参考訳(メタデータ) (2023-02-22T18:11:25Z) - GLUECons: A Generic Benchmark for Learning Under Constraints [102.78051169725455]
本研究では,自然言語処理とコンピュータビジョンの分野における9つのタスクの集合であるベンチマークを作成する。
外部知識を制約としてモデル化し、各タスクの制約のソースを特定し、これらの制約を使用するさまざまなモデルを実装します。
論文 参考訳(メタデータ) (2023-02-16T16:45:36Z) - A model-agnostic approach for generating Saliency Maps to explain
inferred decisions of Deep Learning Models [2.741266294612776]
本稿では,モデル出力にのみアクセス可能な有能マップを生成するためのモデルに依存しない手法を提案する。
我々は微分進化法を用いて、モデルの意思決定プロセスにおいて、どの画像ピクセルが最も影響があるかを特定する。
論文 参考訳(メタデータ) (2022-09-19T10:28:37Z) - Beyond Explaining: Opportunities and Challenges of XAI-Based Model
Improvement [75.00655434905417]
説明可能な人工知能(XAI)は、高度に複雑な機械学習(ML)モデルに透明性をもたらす新たな研究分野である。
本稿では,機械学習モデルの諸特性を改善するために,XAIを実用的に応用する手法を概観する。
実験では,モデル一般化能力や推論などの特性を改善する上で,説明がどのように役立つのかを,おもちゃと現実的な設定で実証的に示す。
論文 参考訳(メタデータ) (2022-03-15T15:44:28Z) - This looks more like that: Enhancing Self-Explaining Models by
Prototypical Relevance Propagation [17.485732906337507]
本稿では,自己説明型ネットワークであるProtoPNetのアーティファクトのスペクトルの存在下でのケーススタディを示す。
より正確なモデル認識説明を生成するための新しい手法を提案する。
クリーンなデータセットを得るために,アーティファクト画像を分離するためのマルチビュークラスタリング戦略を提案する。
論文 参考訳(メタデータ) (2021-08-27T09:55:53Z) - Combining pre-trained language models and structured knowledge [9.521634184008574]
トランスフォーマーベースの言語モデルは、様々なNLPベンチマークにおいて、最先端の性能を実現している。
これらのモデルに知識グラフのような構造化情報を統合することは困難であることが証明されている。
構造化された知識を現在の言語モデルに統合し、課題を決定するための様々なアプローチについて検討し、構造化された情報ソースと非構造化された情報ソースの両方を活用する機会について検討する。
論文 参考訳(メタデータ) (2021-01-28T21:54:03Z) - Incorporating prior knowledge about structural constraints in model
identification [1.376408511310322]
このような部分的情報を利用してより良い推定値を生成するモデル同定手法を提案する。
具体的には,PCAなどの既存手法を即興的に活用する構造主成分分析(SPCA)を提案する。
提案手法の有効性は, 合成ケーススタディおよび工業ケーススタディを用いて実証した。
論文 参考訳(メタデータ) (2020-07-08T11:09:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。