論文の概要: Rethinking the Evaluating Framework for Natural Language Understanding
in AI Systems: Language Acquisition as a Core for Future Metrics
- arxiv url: http://arxiv.org/abs/2309.11981v3
- Date: Thu, 5 Oct 2023 02:58:52 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-06 21:21:07.596497
- Title: Rethinking the Evaluating Framework for Natural Language Understanding
in AI Systems: Language Acquisition as a Core for Future Metrics
- Title（参考訳）: AIシステムにおける自然言語理解のための評価フレームワークの再考:未来のメトリクスのコアとしての言語獲得
- Authors: Patricio Vera, Pedro Moya and Lisa Barraza
- Abstract要約: 人工知能(AI)の急成長分野において、自然言語処理(NLP)における大規模言語モデル(LLM)の先例のない進歩は、従来の機械学習のメトリクスのアプローチ全体を再考する機会を提供する。
本稿では,確立されたチューリングテストから,言語習得を基盤とした全包含フレームワークへのパラダイムシフトを提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In the burgeoning field of artificial intelligence (AI), the unprecedented
progress of large language models (LLMs) in natural language processing (NLP)
offers an opportunity to revisit the entire approach of traditional metrics of
machine intelligence, both in form and content. As the realm of machine
cognitive evaluation has already reached Imitation, the next step is an
efficient Language Acquisition and Understanding. Our paper proposes a paradigm
shift from the established Turing Test towards an all-embracing framework that
hinges on language acquisition, taking inspiration from the recent advancements
in LLMs. The present contribution is deeply tributary of the excellent work
from various disciplines, point out the need to keep interdisciplinary bridges
open, and delineates a more robust and sustainable approach.
- Abstract（参考訳）: 人工知能(AI)の急成長分野において、自然言語処理(NLP)における大型言語モデル(LLM)の先例のない進歩は、フォームとコンテンツの両方において、従来の機械学習のメトリクスのアプローチ全体を再考する機会を提供する。
機械認知評価の領域はすでにImitationに達しており、次のステップは効率的な言語習得と理解である。
本稿では,LLMの最近の進歩から着想を得て,既存のチューリングテストから言語習得を基盤とした全包含フレームワークへのパラダイムシフトを提案する。
現在の貢献は、様々な分野の優れた成果の深い支流であり、学際的な橋を開いている必要性を指摘し、より堅牢で持続可能なアプローチを定めている。
関連論文リスト
- MoE-CT: A Novel Approach For Large Language Models Training With Resistance To Catastrophic Forgetting [53.77590764277568]
ベースモデルの学習を多言語拡張プロセスから分離する新しいMoE-CTアーキテクチャを提案する。
我々の設計では、元のLLMパラメータを凍結し、高リソース言語のパフォーマンスを保護しますが、様々な言語データセットに基づいてトレーニングされたMoEモジュールは、低リソース言語の習熟度を向上します。
論文 参考訳（メタデータ） (2024-06-25T11:03:45Z) - LangSuitE: Planning, Controlling and Interacting with Large Language Models in Embodied Text Environments [70.91258869156353]
テキストエンボディの世界における6つの代表的具体的タスクを特徴とする多目的・シミュレーション不要なテストベッドであるLangSuitEを紹介する。
以前のLLMベースのテストベッドと比較すると、LangSuitEは複数のシミュレーションエンジンを使わずに、多様な環境への適応性を提供する。
具体化された状態の履歴情報を要約した新しいチェーン・オブ・ソート(CoT)スキーマであるEmMemを考案する。
論文 参考訳（メタデータ） (2024-06-24T03:36:29Z) - Scalable Language Model with Generalized Continual Learning [58.700439919096155]
The Joint Adaptive Re-ization (JARe) is integrated with Dynamic Task-related Knowledge Retrieval (DTKR) to enable adapt adjust of language model based on specific downstream task。
提案手法は,様々なバックボーンやベンチマーク上での最先端性能を実証し,最小限の忘れを伴い,フルセットおよび少数ショットのシナリオにおいて効果的な連続学習を実現する。
論文 参考訳（メタデータ） (2024-04-11T04:22:15Z) - Deep Learning Approaches for Improving Question Answering Systems in
Hepatocellular Carcinoma Research [0.0]
近年,自然言語処理(NLP)の進歩は,ディープラーニング技術によって加速されている。
膨大な量のデータに基づいてトレーニングされたBERTとGPT-3は、言語理解と生成に革命をもたらした。
本稿では,大規模モデルベースNLPの現状と今後の展望について述べる。
論文 参考訳（メタデータ） (2024-02-25T09:32:17Z) - LB-KBQA: Large-language-model and BERT based Knowledge-Based Question
and Answering System [7.626368876843794]
本稿では,Large Language Model(LLM)とBERT(LB-KBQA)に基づく新しいKBQAシステムを提案する。
生成AIの助けを借りて,提案手法は新たに出現した意図を検知し,新たな知識を得ることができた。
ファイナンシャルドメイン質問応答の実験では,本モデルの方が優れた効果を示した。
論文 参考訳（メタデータ） (2024-02-05T16:47:17Z) - Igniting Language Intelligence: The Hitchhiker's Guide From
Chain-of-Thought Reasoning to Language Agents [80.5213198675411]
大規模言語モデル(LLM)は言語知能の分野を劇的に拡張した。
LLMは興味をそそるチェーン・オブ・シークレット(CoT)推論技術を活用し、答えを導き出す途中の中間ステップを定式化しなければならない。
最近の研究は、自律言語エージェントの開発を促進するためにCoT推論手法を拡張している。
論文 参考訳（メタデータ） (2023-11-20T14:30:55Z) - Building Trust in Conversational AI: A Comprehensive Review and Solution
Architecture for Explainable, Privacy-Aware Systems using LLMs and Knowledge
Graph [0.33554367023486936]
我々は150以上の大規模言語モデル(LLM)の詳細なレビューを提供する包括的ツールを紹介する。
本稿では,LLMの言語機能と知識グラフの構造的ダイナミクスをシームレスに統合する機能的アーキテクチャを提案する。
我々のアーキテクチャは言語学の洗練と実情の厳密さを巧みにブレンドし、ロールベースアクセス制御によるデータセキュリティをさらに強化する。
論文 参考訳（メタデータ） (2023-08-13T22:47:51Z) - From Word Models to World Models: Translating from Natural Language to
the Probabilistic Language of Thought [124.40905824051079]
言語インフォームド・シンキングのための計算フレームワークである「構成」を合理的に提案する。
我々は、自然言語から確率論的思考言語への文脈感応的なマッピングとして、言語の意味を定式化する。
LLMは、現実的に適切な言語的意味をキャプチャする文脈依存翻訳を生成することができることを示す。
認知的なモチベーションを持つシンボリックモジュールを統合するために、我々のフレームワークを拡張します。
論文 参考訳（メタデータ） (2023-06-22T05:14:00Z) - Improving Factuality and Reasoning in Language Models through Multiagent
Debate [95.10641301155232]
複数の言語モデルインスタンスが共通の最終回答に到達するために、複数のラウンドで個別の応答と推論プロセスを提案し、議論する言語応答を改善するための補完的なアプローチを提案する。
以上の結果から,本手法は様々なタスクにおける数学的・戦略的推論を著しく向上させることが示唆された。
我々のアプローチは、既存のブラックボックスモデルに直接適用され、調査するすべてのタスクに対して、同じ手順とプロンプトを使用することができる。
論文 参考訳（メタデータ） (2023-05-23T17:55:11Z) - Knowledge Engineering in the Long Game of Artificial Intelligence: The
Case of Speech Acts [0.6445605125467572]
本稿では,知識工学の原則と実践について述べる。
我々は,言語学,認知モデル,統計自然言語処理において広く追求されている課題である対話行動モデリングに注目した。
論文 参考訳（メタデータ） (2022-02-02T14:05:12Z) - Language Generation for Broad-Coverage, Explainable Cognitive Systems [0.0]
本稿では,OntoAgent認知アーキテクチャ内で開発された言語依存型知的エージェント(LEIA)の自然言語生成の最近の進歩について述べる。
同じ知識ベース、計算言語学の理論、エージェントアーキテクチャ、そして短期的アプリケーションをサポートしながら、時間とともに幅広いカバレッジ機能を開発する方法論を使っている。
論文 参考訳（メタデータ） (2022-01-25T16:09:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。