論文の概要: Rethinking Interpretability in the Era of Large Language Models

• arxiv url: http://arxiv.org/abs/2402.01761v1
• Date: Tue, 30 Jan 2024 17:38:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-11 15:50:07.524479
• Title: Rethinking Interpretability in the Era of Large Language Models
• Title（参考訳）: 大規模言語モデルにおける解釈可能性の再考
• Authors: Chandan Singh, Jeevana Priya Inala, Michel Galley, Rich Caruana, Jianfeng Gao
• Abstract要約: 大規模言語モデル(LLM)は、幅広いタスクにまたがる顕著な機能を示している。 自然言語で説明できる能力により、LLMは人間に与えられるパターンのスケールと複雑さを拡大することができる。 これらの新しい機能は、幻覚的な説明や膨大な計算コストなど、新しい課題を提起する。
• 参考スコア（独自算出の注目度）: 76.1947554386879
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Interpretable machine learning has exploded as an area of interest over the last decade, sparked by the rise of increasingly large datasets and deep neural networks. Simultaneously, large language models (LLMs) have demonstrated remarkable capabilities across a wide array of tasks, offering a chance to rethink opportunities in interpretable machine learning. Notably, the capability to explain in natural language allows LLMs to expand the scale and complexity of patterns that can be given to a human. However, these new capabilities raise new challenges, such as hallucinated explanations and immense computational costs. In this position paper, we start by reviewing existing methods to evaluate the emerging field of LLM interpretation (both interpreting LLMs and using LLMs for explanation). We contend that, despite their limitations, LLMs hold the opportunity to redefine interpretability with a more ambitious scope across many applications, including in auditing LLMs themselves. We highlight two emerging research priorities for LLM interpretation: using LLMs to directly analyze new datasets and to generate interactive explanations.
• Abstract（参考訳）: 解釈可能な機械学習は過去10年間、大きなデータセットとディープニューラルネットワークの増加によって、関心領域として爆発的に増加した。 同時に、大きな言語モデル(LLM)は、幅広いタスクにわたって顕著な能力を示し、解釈可能な機械学習の機会を再考する機会を提供している。 特に、自然言語で説明できる能力により、llmは人間に与えることができるパターンのスケールと複雑さを拡大することができる。 しかし、これらの新しい機能は幻覚的な説明や膨大な計算コストといった新しい課題を引き起こす。 本稿では,LLM解釈の新たな分野(LLMの解釈とLLMの解釈の両方)を評価するために,既存の手法の見直しから始める。 これらの制限にもかかわらず、LLM自体の監査を含む多くのアプリケーションにおいて、より野心的なスコープで解釈可能性を再定義する機会がある、と我々は主張する。 LLMの解釈には,新たなデータセットを直接解析し,インタラクティブな説明を生成するという,新たな2つの研究優先事項が注目されている。

関連論文リスト

• Potential and Limitations of LLMs in Capturing Structured Semantics: A Case Study on SRL [78.80673954827773]
  大きな言語モデル(LLM)は、言語理解を高め、解釈可能性を改善し、バイアスを減らすために構造化セマンティクスをキャプチャする上で重要な役割を果たす。 セマンティック・ロール・ラベルリング(SRL)を,構造化意味論を抽出するLLMの能力を探るための基本課題として用いることを提案する。 LLMは実際にセマンティック構造をキャプチャすることができ、スケールアップは常にポテンシャルを反映するわけではない。 エラーのかなりの重複は、LLMと訓練されていない人間の両方によって行われ、全てのエラーの約30%を占めることに私たちは驚いています。
  論文  参考訳（メタデータ） (2024-05-10T11:44:05Z)
• FAC$^2$E: Better Understanding Large Language Model Capabilities by Dissociating Language and Cognition [56.76951887823882]
  大規模言語モデル(LLM)は、主に様々なテキスト理解および生成タスクにおける全体的なパフォーマンスによって評価される。 FAC$2$E, FAC$2$Eについて述べる。
  論文  参考訳（メタデータ） (2024-02-29T21:05:37Z)
• Can LLMs Compute with Reasons? [4.995189458714599]
  大規模言語モデル(LLM)は複雑な数学的タスクに苦しむことが多く、誤った答えを「幻覚させる」傾向がある。 本研究では,Small LangSLMの分散ネットワークを利用した「帰納学習」手法を提案する。
  論文  参考訳（メタデータ） (2024-02-19T12:04:25Z)
• Large Language Models: A Survey [69.72787936480394]
  大規模言語モデル(LLM)は、広範囲の自然言語タスクにおける強力なパフォーマンスのために、多くの注目を集めている。 LLMの汎用言語理解と生成能力は、膨大なテキストデータに基づいて数十億のモデルのパラメータを訓練することで得られる。
  論文  参考訳（メタデータ） (2024-02-09T05:37:09Z)
• Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
  大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。 自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。 本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
  論文  参考訳（メタデータ） (2023-12-26T07:24:46Z)
• In-Context Explainers: Harnessing LLMs for Explaining Black Box Models [28.396104334980492]
  大規模言語モデル(LLM)は、機械翻訳、常識推論、言語理解といった複雑なタスクにおいて、例外的な機能を示している。 このような多様なタスクにおけるLLMの適応性の主要な理由の1つは、インコンテキスト学習(ICL)能力である。 本稿では,LLMのICL機能を利用して,他の予測モデルによる予測を説明する新しい3つの手法,In-Context Explainersを提案する。
  論文  参考訳（メタデータ） (2023-10-09T15:31:03Z)
• Are Large Language Models Really Robust to Word-Level Perturbations? [68.60618778027694]
  本稿では,事前学習した報酬モデルを診断ツールとして活用する,新たな合理的評価手法を提案する。 より長い会話は、質問を理解する能力の観点から言語モデルの包括的把握を示す。 この結果から,LLMは日常言語でよく使われる単語レベルの摂動に対する脆弱性をしばしば示している。
  論文  参考訳（メタデータ） (2023-09-20T09:23:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。