論文の概要: LUNA: A Model-Based Universal Analysis Framework for Large Language Models

• arxiv url: http://arxiv.org/abs/2310.14211v1
• Date: Sun, 22 Oct 2023 07:26:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-25 01:01:44.986355
• Title: LUNA: A Model-Based Universal Analysis Framework for Large Language Models
• Title（参考訳）: LUNA:大規模言語モデルのためのモデルベースユニバーサル分析フレームワーク
• Authors: Da Song, Xuan Xie, Jiayang Song, Derui Zhu, Yuheng Huang, Felix Juefei-Xu, Lei Ma
• Abstract要約: 自己保持機構, 極めて大規模なモデルスケール, 自己回帰生成スキーマは, 品質解析における新たな課題を提示する。 汎用かつ解釈可能なLLMの普遍的解析フレームワークを提案する。 特に、私たちはまず、望ましい信頼性の観点からのデータを活用して抽象モデルを構築します。
• 参考スコア（独自算出の注目度）: 19.987824870961926
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Over the past decade, Artificial Intelligence (AI) has had great success recently and is being used in a wide range of academic and industrial fields. More recently, LLMs have made rapid advancements that have propelled AI to a new level, enabling even more diverse applications and industrial domains with intelligence, particularly in areas like software engineering and natural language processing. Nevertheless, a number of emerging trustworthiness concerns and issues exhibited in LLMs have already recently received much attention, without properly solving which the widespread adoption of LLMs could be greatly hindered in practice. The distinctive characteristics of LLMs, such as the self-attention mechanism, extremely large model scale, and autoregressive generation schema, differ from classic AI software based on CNNs and RNNs and present new challenges for quality analysis. Up to the present, it still lacks universal and systematic analysis techniques for LLMs despite the urgent industrial demand. Towards bridging this gap, we initiate an early exploratory study and propose a universal analysis framework for LLMs, LUNA, designed to be general and extensible, to enable versatile analysis of LLMs from multiple quality perspectives in a human-interpretable manner. In particular, we first leverage the data from desired trustworthiness perspectives to construct an abstract model as an auxiliary analysis asset, which is empowered by various abstract model construction methods. To assess the quality of the abstract model, we collect and define a number of evaluation metrics, aiming at both abstract model level and the semantics level. Then, the semantics, which is the degree of satisfaction of the LLM w.r.t. the trustworthiness perspective, is bound to and enriches the abstract model with semantics, which enables more detailed analysis applications for diverse purposes.
• Abstract（参考訳）: この10年間、人工知能(AI)は大きな成功を収め、幅広い学術分野や産業分野で利用されてきた。 最近では、LLMはAIを新たなレベルへと押し上げ、特にソフトウェア工学や自然言語処理といった分野において、より多様なアプリケーションやインテリジェンスを持つ産業ドメインを可能にしている。 しかし, LLM の信頼性に関する懸念や問題点は, LLM の普及が現実に大きく妨げられるような問題を適切に解決することなく, 既に多くの注目を集めている。 自己認識機構,極めて大規模なモデルスケール,自己回帰生成スキーマなどのLLMの特徴は,CNNやRNNに基づく古典的AIソフトウェアと異なり,品質解析における新たな課題が提示されている。 現在まで、緊急の産業需要にもかかわらず、llmの普遍的かつ体系的な分析技術は不足している。 このギャップを埋めるために、我々は初期の探索研究を開始し、汎用的で拡張可能なLLMの普遍的分析フレームワークLUNAを提案し、人間の解釈可能な方法で複数の品質の観点からLLMの多元的分析を可能にする。 特に,我々はまず,所望の信頼度の観点からのデータを活用し,様々な抽象モデル構築手法によって強化された補助分析資産として抽象モデルを構築する。 抽象モデルの品質を評価するために,抽象モデルレベルと意味論レベルの両方を対象として,多くの評価指標を収集し,定義する。 次に、信頼性の観点からllm w.r.tの満足度であるセマンティクスが、セマンティクスで抽象モデルに縛られ、強化され、多様な目的のためにより詳細な分析アプリケーションを可能にする。

関連論文リスト

• Large Language Model for Qualitative Research -- A Systematic Mapping Study [3.302912592091359]
  先進的な生成AIを駆使した大規模言語モデル(LLM)がトランスフォーメーションツールとして登場した。 本研究は, LLMを用いた定性的研究に関する文献を体系的にマッピングする。 LLMは様々な分野にまたがって利用されており、プロセスの自動化の可能性を示している。
  論文  参考訳（メタデータ） (2024-11-18T21:28:00Z)
• From LLMs to LLM-based Agents for Software Engineering: A Survey of Current, Challenges and Future [15.568939568441317]
  本稿では,大規模言語モデル (LLM) と LLM をベースとしたソフトウェア工学エージェントの実践とソリューションについて検討する。 特に、要件エンジニアリング、コード生成、自律的な意思決定、ソフトウェア設計、テスト生成、ソフトウェアメンテナンスの6つの主要なトピックを要約します。 我々は、使用するモデルとベンチマークについて論じ、ソフトウェア工学におけるそれらの応用と有効性について包括的に分析する。
  論文  参考訳（メタデータ） (2024-08-05T14:01:15Z)
• A Comprehensive Review of Multimodal Large Language Models: Performance and Challenges Across Different Tasks [74.52259252807191]
  MLLM(Multimodal Large Language Models)は、単一のモダリティシステムの能力を超えた現実世界のアプリケーションの複雑さに対処する。 本稿では,自然言語,視覚,音声などのマルチモーダルタスクにおけるMLLMの応用を体系的に整理する。
  論文  参考訳（メタデータ） (2024-08-02T15:14:53Z)
• Beyond Human Norms: Unveiling Unique Values of Large Language Models through Interdisciplinary Approaches [69.73783026870998]
  本研究では,大言語モデルの固有値システムをスクラッチから再構築する新しいフレームワークであるValueLexを提案する。 語彙仮説に基づいて、ValueLexは30以上のLLMから様々な値を引き出すための生成的アプローチを導入している。 我々は,3つのコア値次元,能力,キャラクタ,積分をそれぞれ特定の部分次元で同定し,LLMが非人間的だが構造化された価値体系を持っていることを明らかにした。
  論文  参考訳（メタデータ） (2024-04-19T09:44:51Z)
• A Review of Multi-Modal Large Language and Vision Models [1.9685736810241874]
  大規模言語モデル(LLM)が研究と応用の焦点として登場した。 近年、LLMはマルチモーダル大言語モデル(MM-LLM)に拡張されている。 本稿では,近年のMM-LLMとともに,マルチモーダル機能を有するLLMの現状を概観する。
  論文  参考訳（メタデータ） (2024-03-28T15:53:45Z)
• LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
  大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。 本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。 このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
  論文  参考訳（メタデータ） (2024-02-26T07:33:05Z)
• Exploring the Frontier of Vision-Language Models: A Survey of Current Methodologies and Future Directions [11.786387517781328]
  VLM(Vision-Language Models)は、画像キャプションや視覚的質問応答といった複雑なタスクに対処できる高度なモデルである。 我々の分類では、VLMを視覚言語理解専用のモデル、マルチモーダル入力を処理するモデル、マルチモーダル入力とアウトプットの両方を受け付け、生成するモデルという3つのカテゴリに分類する。 我々は各モデルを慎重に識別し、基礎となるアーキテクチャ、データソースのトレーニング、および可能な限りの強度と限界を広範囲に分析する。
  論文  参考訳（メタデータ） (2024-02-20T18:57:34Z)
• Rethinking Interpretability in the Era of Large Language Models [76.1947554386879]
  大規模言語モデル(LLM)は、幅広いタスクにまたがる顕著な機能を示している。 自然言語で説明できる能力により、LLMは人間に与えられるパターンのスケールと複雑さを拡大することができる。 これらの新しい機能は、幻覚的な説明や膨大な計算コストなど、新しい課題を提起する。
  論文  参考訳（メタデータ） (2024-01-30T17:38:54Z)
• Exploring the Reasoning Abilities of Multimodal Large Language Models (MLLMs): A Comprehensive Survey on Emerging Trends in Multimodal Reasoning [44.12214030785711]
  マルチモーダル大言語モデル(MLLM)のフロンティアを分類・記述し、既存のマルチモーダル推論の評価プロトコルについて概観する。 本稿では,MLLMの推論集約型タスクへの適用動向を紹介するとともに,現在の実践と今後の方向性について論じる。
  論文  参考訳（メタデータ） (2024-01-10T15:29:21Z)
• A Survey on Multimodal Large Language Models [71.63375558033364]
  GPT-4Vで表されるマルチモーダル大言語モデル(MLLM)は、新たな研究ホットスポットとなっている。 本稿では,MLLMの最近の進歩を追跡・要約することを目的とする。
  論文  参考訳（メタデータ） (2023-06-23T15:21:52Z)
• Sentiment Analysis in the Era of Large Language Models: A Reality Check [69.97942065617664]
  本稿では,大規模言語モデル(LLM)の様々な感情分析タスクの実行能力について検討する。 26のデータセット上の13のタスクのパフォーマンスを評価し、ドメイン固有のデータセットに基づいて訓練された小言語モデル(SLM)と比較した。
  論文  参考訳（メタデータ） (2023-05-24T10:45:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。