論文の概要: Complex QA and language models hybrid architectures, Survey
- arxiv url: http://arxiv.org/abs/2302.09051v4
- Date: Fri, 7 Apr 2023 16:37:35 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-10 14:43:29.743708
- Title: Complex QA and language models hybrid architectures, Survey
- Title（参考訳）: 複雑なQAと言語モデルハイブリッドアーキテクチャ,サーベイ
- Authors: Xavier Daull, Patrice Bellot, Emmanuel Bruno, Vincent Martin,
Elisabeth Murisasco
- Abstract要約: 本稿では,言語モデルアーキテクチャの現状と「複雑」質問応答(QA, CQA, CPS)戦略について述べる。
本稿では, ドメイン適応, 分解, 効率的な多段階QA, 長文および非ファクトイドQA, 安全性と多感性データ保護, マルチモーダル探索, 幻覚, 説明可能性と真理性, 時間的推論など, 複雑なQAに関わる課題について論じる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: This paper reviews the state-of-the-art of language models architectures and
strategies for "complex" question-answering (QA, CQA, CPS) with a focus on
hybridization. Large Language Models (LLM) are good at leveraging public data
on standard problems but once you want to tackle more specific complex
questions or problems (e.g. How does the concept of personal freedom vary
between different cultures ? What is the best mix of power generation methods
to reduce climate change ?) you may need specific architecture, knowledge,
skills, methods, sensitive data protection, explainability, human approval and
versatile feedback... Recent projects like ChatGPT and GALACTICA have allowed
non-specialists to grasp the great potential as well as the equally strong
limitations of LLM in complex QA. In this paper, we start by reviewing required
skills and evaluation techniques. We integrate findings from the robust
community edited research papers BIG, BLOOM and HELM which open source,
benchmark and analyze limits and challenges of LLM in terms of tasks complexity
and strict evaluation on accuracy (e.g. fairness, robustness, toxicity, ...) as
a baseline. We discuss some challenges associated with complex QA, including
domain adaptation, decomposition and efficient multi-step QA, long form and
non-factoid QA, safety and multi-sensitivity data protection, multimodal
search, hallucinations, explainability and truthfulness, temporal reasoning. We
analyze current solutions and promising research trends, using elements such
as: hybrid LLM architectural patterns, training and prompting strategies,
active human reinforcement learning supervised with AI, neuro-symbolic and
structured knowledge grounding, program synthesis, iterated decomposition and
others.
- Abstract（参考訳）: 本稿では、言語モデルアーキテクチャの現状と「複雑」質問応答(QA、CQA、CPS)の戦略を、ハイブリダイゼーションに焦点をあててレビューする。
大規模言語モデル(llm)は、標準問題に関する公開データを活用するのに優れていますが、より複雑な問題や問題(例えば、個人の自由の概念は、異なる文化の間でどのように異なるのか? 気候変動を減らすための発電方法の最良の組み合わせは何か?)に取り組むには、特定のアーキテクチャ、知識、スキル、方法、機密データ保護、説明可能性、人間承認、汎用性フィードバックが必要です。
ChatGPT や GALACTICA のような最近のプロジェクトでは、非特殊主義者が複雑なQAにおけるLLMの強い限界だけでなく、大きなポテンシャルを把握できるようになった。
本稿では,必要なスキルと評価手法のレビューから始める。
BIG,BLOOM,HELMは,タスクの複雑さと精度の厳密な評価(公正性,堅牢性,毒性など)を基準として,LLMの限界と課題をオープンソース化し,評価し,分析する。
ドメイン適応,分解,効率的な多段階QA,長文および非ファクトイドQA,安全性と多感性データ保護,マルチモーダル検索,幻覚,説明可能性と真理性,時間的推論など,複雑なQAに関わる課題について論じる。
ハイブリッドllmアーキテクチャパターン,トレーニングおよびプロンプト戦略,aiによるアクティブ人間強化学習,ニューロシンボリックおよび構造化知識基盤化,プログラム合成,反復分解などの要素を用いて,現在のソリューションと有望な研究動向を分析した。
関連論文リスト
- GIVE: Structured Reasoning with Knowledge Graph Inspired Veracity Extrapolation [108.2008975785364]
Graph Inspired Veracity Extrapolation (GIVE)は、パラメトリックメモリと非パラメトリックメモリを統合する新しい推論フレームワークである。
本手法は,ゴールド回答検索ではなく,専門家の問題解決に類似した論理的・段階的推論手法を提案する。
論文 参考訳（メタデータ） (2024-10-11T03:05:06Z) - Multi-step Inference over Unstructured Data [2.169874047093392]
医療、法律、金融などの分野における高い意思決定タスクは、精度、包括性、論理的一貫性のレベルを必要とする。
これらの問題に対処するための,ニューロシンボリックAIプラットフォームを開発した。
このプラットフォームは、知識抽出とアライメントのための微調整LDMと、堅牢なシンボリック推論エンジンを統合している。
論文 参考訳（メタデータ） (2024-06-26T00:00:45Z) - DEXTER: A Benchmark for open-domain Complex Question Answering using LLMs [3.24692739098077]
オープンドメイン複合質問回答 (QA) は証拠検索と推論において難しい課題である。
我々は、オープンドメイン設定で、最先端の訓練済み高密度・スパース検索モデルを評価する。
BM25のような遅延相互作用モデルや驚くほど語彙的モデルは、事前訓練された高密度検索モデルと比較してよく機能する。
論文 参考訳（メタデータ） (2024-06-24T22:09:50Z) - Adaptive-RAG: Learning to Adapt Retrieval-Augmented Large Language Models through Question Complexity [59.57065228857247]
Retrieval-augmented Large Language Models (LLMs) は、質問回答(QA)のようなタスクにおける応答精度を高めるための有望なアプローチとして登場した。
本稿では,クエリの複雑さに基づいて,LLMの最適戦略を動的に選択できる適応型QAフレームワークを提案する。
オープンドメインのQAデータセットを用いて、複数のクエリの複雑さを網羅し、QAシステムの全体的な効率性と精度を高めることを示す。
論文 参考訳（メタデータ） (2024-03-21T13:52:30Z) - Building Guardrails for Large Language Models [19.96292920696796]
LLMの入力や出力をフィルタリングするガードレールは、コアセーフガード技術として登場した。
このポジションペーパーでは、現在のオープンソースソリューション(Llama Guard, Nvidia NeMo, Guardrails AI)を詳しく調べ、より完全なソリューションを構築するための課題と道筋について論じる。
論文 参考訳（メタデータ） (2024-02-02T16:35:00Z) - Towards Robust Temporal Reasoning of Large Language Models via a Multi-Hop QA Dataset and Pseudo-Instruction Tuning [73.51314109184197]
大規模言語モデル(LLM)には時間的知識の概念を理解することが不可欠である。
本稿では,複数質問応答と複数ホップの時間的推論に焦点をあてた複雑な時間的質問応答データセットであるComplex-TRを提案する。
論文 参考訳（メタデータ） (2023-11-16T11:49:29Z) - DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain
Question Answering over Knowledge Base and Text [73.68051228972024]
大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。
検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
論文 参考訳（メタデータ） (2023-10-31T04:37:57Z) - In-Context Ability Transfer for Question Decomposition in Complex QA [6.745884231594893]
複雑な問合せ課題を解決するために,icat(In-Context Ability Transfer)を提案する。
複雑な質問を単純な質問に分解したり、ステップバイステップの合理性をLSMに生成することができる。
本研究では, 数値推論, 構成複素QA, 不均一複素QAを含む多種多様な複雑なQAタスクについて大規模に実験を行った。
論文 参考訳（メタデータ） (2023-10-26T11:11:07Z) - Knowledge Crosswords: Geometric Knowledge Reasoning with Large Language Models [49.23348672822087]
構造化された事実制約に縛られた不完全な知識ネットワークからなるベンチマークである知識クロスワードを提案する。
幾何学的知識推論の新しい設定は、既存の原子/線形マルチホップQAを超える新しいLM能力を必要とする。
我々は,既存のLLMと知識クロスワードのアプローチを評価するために,広範囲な実験を行っている。
論文 参考訳（メタデータ） (2023-10-02T15:43:53Z) - Skills-in-Context Prompting: Unlocking Compositionality in Large Language Models [68.18370230899102]
大規模言語モデル(LLM)における構成一般化能力の活用法について検討する。
我々は,これらのスキルに基礎を置く基礎的スキルと構成的事例の両方を同じプロンプト・コンテキストで示すことが重要であることを発見した。
SKiC型データを用いた微調整LDMは、ゼロショット弱強一般化を導出できることを示す。
論文 参考訳（メタデータ） (2023-08-01T05:54:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。