Fugu-MT 論文翻訳(概要): I've got the "Answer"! Interpretation of LLMs Hidden States in Question Answering

論文の概要: I've got the "Answer"! Interpretation of LLMs Hidden States in Question Answering

arxiv url: http://arxiv.org/abs/2406.02060v1
Date: Tue, 4 Jun 2024 07:43:12 GMT
ステータス: 処理完了
システム内更新日: 2024-06-05 17:30:56.884128
Title: I've got the "Answer"! Interpretation of LLMs Hidden States in Question Answering
Title（参考訳）: LLMs Hidden State in Question Answering の解釈
Authors: Valeriya Goloviznina, Evgeny Kotelnikov,
Abstract要約: 本稿では,知識に基づく質問応答の文脈における大規模言語モデル(LLM)の解釈について検討する。この研究の主な仮説は、正誤モデル行動は隠れた状態のレベルで区別できるというものである。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Interpretability and explainability of AI are becoming increasingly important in light of the rapid development of large language models (LLMs). This paper investigates the interpretation of LLMs in the context of the knowledge-based question answering. The main hypothesis of the study is that correct and incorrect model behavior can be distinguished at the level of hidden states. The quantized models LLaMA-2-7B-Chat, Mistral-7B, Vicuna-7B and the MuSeRC question-answering dataset are used to test this hypothesis. The results of the analysis support the proposed hypothesis. We also identify the layers which have a negative effect on the model's behavior. As a prospect of practical application of the hypothesis, we propose to train such "weak" layers additionally in order to improve the quality of the task solution.
Abstract（参考訳）: 大規模言語モデル(LLM)の急速な発展を背景に、AIの解釈可能性と説明可能性の重要性はますます重要になっている。本稿では,知識に基づく質問応答の文脈におけるLLMの解釈について検討する。この研究の主な仮説は、正誤モデル行動は隠れた状態のレベルで区別できるというものである。量子化モデルLLaMA-2-7B-Chat、Mistral-7B、Vicuna-7BおよびMuSeRC質問回答データセットを用いてこの仮説をテストする。分析結果は提案された仮説を支持する。また、モデルの振る舞いに悪影響を及ぼすレイヤを特定します。本研究は,本仮説の実用化に向けて,タスクソリューションの品質向上のために,このような「弱」層をさらに訓練することを提案する。

関連論文リスト

Reasoning or a Semblance of it? A Diagnostic Study of Transitive Reasoning in LLMs [11.805264893752154]
我々は,2つの構成データセット(QASCとBamboogle)で事実を演算することで,LLaMA 2とFlan-T5という2つの大言語モデルの推論能力を評価する。両モデルとも (a) を併用するが, Flan-T5 は LLaMA 2 よりもばらつきが小さい。このことは、モデルが故意に関係のあるデータセットを微調整することで、推移性の理解を深める可能性があることを示唆している。
論文参考訳（メタデータ） (2024-10-26T15:09:07Z)
Are LLMs Aware that Some Questions are not Open-ended? [58.93124686141781]
大規模言語モデルでは、いくつかの質問が限定的な回答を持ち、より決定論的に答える必要があることを認識しているかどうかを調査する。 LLMにおける疑問認識の欠如は,(1)非オープンな質問に答えるにはカジュアルすぎる,(2)オープンな質問に答えるには退屈すぎる,という2つの現象をもたらす。
論文参考訳（メタデータ） (2024-10-01T06:07:00Z)
Investigating Layer Importance in Large Language Models [28.156622049937216]
大規模言語モデル (LLM) は、テキストの理解と処理に際し、注目を集めている。 LLMの理解の欠如は、安全クリティカルなシナリオへの展開を妨げ、より良いモデルの開発を妨げる。本研究は, LLMの基盤層を同定し, 今後の研究におけるその重要な役割を浮き彫りにする。
論文参考訳（メタデータ） (2024-09-22T09:53:13Z)
What Do Language Models Learn in Context? The Structured Task Hypothesis [89.65045443150889]
大規模言語モデル(LLM)は、インコンテキスト学習(ICL)と呼ばれるデモで提示されたインコンテキストの例から新しいタスクを学習する一般的な仮説の一つは、タスク選択によるICLの説明である。もう一つの一般的な仮説は、ICLはメタ学習の一形態である、すなわち、モデルが事前学習時に学習アルゴリズムを学習し、それを実演に適用する、というものである。
論文参考訳（メタデータ） (2024-06-06T16:15:34Z)
Crafting Interpretable Embeddings by Asking LLMs Questions [89.49960984640363]
大規模言語モデル(LLM)は、自然言語処理タスクの増大に対して、テキスト埋め込みを急速に改善した。質問応答埋め込み (QA-Emb) を導入し, 各特徴がLLMに対して質問された質問に対する回答を表す。我々はQA-Embを用いて、言語刺激に対するfMRIボクセル応答を予測するための解釈可能なモデルを柔軟に生成する。
論文参考訳（メタデータ） (2024-05-26T22:30:29Z)
Perception of Knowledge Boundary for Large Language Models through Semi-open-ended Question Answering [67.94354589215637]
大きな言語モデル(LLM)は知識探索に広く用いられているが、幻覚に悩まされている。本稿では,LLMの知識境界(KB)を半オープンな質問(SoeQ)で知覚する。 GPT-4 は SoeQ では性能が悪く,KB に気づいていないことが多い。我々の補助モデルであるLLaMA-2-13Bは、より曖昧な答えを見つけるのに有効である。
論文参考訳（メタデータ） (2024-05-23T10:00:14Z)
You don't need a personality test to know these models are unreliable: Assessing the Reliability of Large Language Models on Psychometric Instruments [37.03210795084276]
本稿では, 大規模言語モデルが応答を一貫した, 頑健な方法で引き起こすかどうかを考察する。 17種類のLDM実験により,単純な摂動でさえモデルの問合せ能力を大幅に低下させることが判明した。その結果,現在広く普及しているプロンプトは,モデル知覚を正確にかつ確実に捉えるには不十分であることが示唆された。
論文参考訳（メタデータ） (2023-11-16T09:50:53Z)
Are You Sure? Challenging LLMs Leads to Performance Drops in The FlipFlop Experiment [82.60594940370919]
大規模言語モデル(LLM)のマルチターン動作を研究するためのFlipFlop実験を提案する。モデルが平均46%の時間で回答を反転させ、全てのモデルが最初の予測と最終予測の間に精度を低下させ、平均17%の低下(FlipFlop効果)を示す。我々はオープンソースのLLMで微調整実験を行い、合成されたデータに対する微調整は、性能劣化を60%低減させることができるが、サイコファンティックな振る舞いを完全には解決できないことを発見した。
論文参考訳（メタデータ） (2023-11-14T23:40:22Z)
Can Large Language Models Infer Causation from Correlation? [104.96351414570239]
大規模言語モデル(LLM)の純粋因果推論スキルをテストする。相関文の集合を取り、変数間の因果関係を決定する新しいタスクCorr2Causeを定式化する。これらのモデルがタスクのランダムな性能にほぼ近い結果が得られることを示す。
論文参考訳（メタデータ） (2023-06-09T12:09:15Z)
Explaining Question Answering Models through Text Generation [42.36596190720944]
大規模な事前学習言語モデル(LM)は、常識と世界知識を必要とするタスクを微調整するときに驚くほどうまく機能することが示されている。エンドツーエンドのアーキテクチャで正しい予測ができるような、LMの知識が何であるかを説明するのは難しい。エンド・ツー・エンドのアーキテクチャに匹敵するパフォーマンスに達するタスクをいくつか示します。
論文参考訳（メタデータ） (2020-04-12T09:06:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。