論文の概要: A Little Confidence Goes a Long Way

• arxiv url: http://arxiv.org/abs/2408.11239v1
• Date: Tue, 20 Aug 2024 23:36:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-22 18:58:50.494566
• Title: A Little Confidence Goes a Long Way
• Title（参考訳）: 小さな信頼が長い道のりを歩む
• Authors: John Scoville, Shang Gao, Devanshu Agrawal, Javed Qadrud-Din,
• Abstract要約: 大規模言語モデル(LLM)における隠れ状態アクティベーションのプローブを用いたバイナリ分類タスクの関連手法のグループを紹介する。 性能は、現在利用可能な最大かつ最も先進的なLCMと同等であるが、桁違いに少ない計算資源が必要であり、ラベル付きデータを必要としない。
• 参考スコア（独自算出の注目度）: 3.6371715211657243
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce a group of related methods for binary classification tasks using probes of the hidden state activations in large language models (LLMs). Performance is on par with the largest and most advanced LLMs currently available, but requiring orders of magnitude fewer computational resources and not requiring labeled data. This approach involves translating class labels into a semantically rich description, spontaneous symmetry breaking of multilayer perceptron probes for unsupervised learning and inference, training probes to generate confidence scores (prior probabilities) from hidden state activations subject to known constraints via entropy maximization, and selecting the most confident probe model from an ensemble for prediction. These techniques are evaluated on four datasets using five base LLMs.
• Abstract（参考訳）: 本稿では,大規模言語モデル (LLM) における隠れ状態活性化のプローブを用いて,バイナリ分類タスクに関連する一連の手法を紹介する。 性能は、現在利用可能な最大かつ最も先進的なLCMと同等であるが、桁違いに少ない計算資源が必要であり、ラベル付きデータを必要としない。 このアプローチでは、クラスラベルを意味的に豊かな記述に翻訳し、教師なし学習と推論のための多層パーセプトロンプローブの自発的対称性の破れ、エントロピーの最大化によって既知の制約を受ける隠れ状態のアクティベーションから信頼スコア(事前確率)を生成するためのトレーニングプローブ、予測のためのアンサンブルから最も自信のあるプローブモデルを選択する。 これらの手法を5基LLMを用いて4つのデータセットで評価する。

関連論文リスト

• Chain of Stance: Stance Detection with Large Language Models [3.528201746844624]
  スタンス検出は自然言語処理(NLP)におけるアクティブタスクである 我々は、Stance (CoS) の textitChain と呼ばれる新しいプロンプト手法を提案する。
  論文  参考訳（メタデータ） (2024-08-03T16:30:51Z)
• Self-training Large Language Models through Knowledge Detection [26.831873737733737]
  大規模な言語モデル(LLM)は、ダウンストリームタスク間で印象的なパフォーマンスを達成するために、広範囲のラベル付きデータセットとトレーニング計算を必要とすることが多い。 本稿では,LLMが独自ラベルを自動でキュレートし,未知のデータサンプルを選択的に学習する自己学習パラダイムについて検討する。 経験的評価は、複数の被験者にまたがる世代における幻覚の減少に有意な改善を示した。
  論文  参考訳（メタデータ） (2024-06-17T07:25:09Z)
• Security Vulnerability Detection with Multitask Self-Instructed Fine-Tuning of Large Language Models [8.167614500821223]
  脆弱性検出のためのMSIVD, マルチタスクによる自己指示型微調整を, チェーン・オブ・シント・プロンプトとLDMによる自己指示にインスパイアした。 実験の結果,MSIVDは高い性能を示し,LineVul(LLMベースの脆弱性検出ベースライン)はBigVulデータセットでは0.92点,PreciseBugsデータセットでは0.48点であった。
  論文  参考訳（メタデータ） (2024-06-09T19:18:05Z)
• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• Querying Easily Flip-flopped Samples for Deep Active Learning [63.62397322172216]
  アクティブラーニング(英: Active Learning)は、ラベルのないデータを戦略的に選択してクエリすることで、モデルの性能を向上させることを目的とした機械学習パラダイムである。 効果的な選択戦略の1つはモデルの予測の不確実性に基づくもので、サンプルがどの程度情報的であるかの尺度として解釈できる。 本稿では,予測されたラベルの不一致の最小確率として,最小不一致距離(LDM)を提案する。
  論文  参考訳（メタデータ） (2024-01-18T08:12:23Z)
• Minimally Supervised Learning using Topological Projections in Self-Organizing Maps [55.31182147885694]
  自己組織化マップ(SOM)におけるトポロジカルプロジェクションに基づく半教師付き学習手法を提案する。 提案手法は,まずラベル付きデータ上でSOMを訓練し,最小限のラベル付きデータポイントをキーベストマッチングユニット(BMU)に割り当てる。 提案した最小教師付きモデルが従来の回帰手法を大幅に上回ることを示す。
  論文  参考訳（メタデータ） (2024-01-12T22:51:48Z)
• Exploiting Low-confidence Pseudo-labels for Source-free Object Detection [54.98300313452037]
  Source-free Object Detection (SFOD) は、ラベル付きソースデータにアクセスすることなく、未ラベルのターゲットドメインにソーストレーニングされた検出器を適応することを目的としている。 現在のSFOD法は適応相におけるしきい値に基づく擬似ラベル手法を用いる。 疑似ラベルを最大限に活用するために,高信頼度と低信頼度しきい値を導入する手法を提案する。
  論文  参考訳（メタデータ） (2023-10-19T12:59:55Z)
• An Embarrassingly Simple Approach to Semi-Supervised Few-Shot Learning [58.59343434538218]
  間接学習の観点から、ラベルなしデータの正負の擬似ラベルを正確に予測するための、単純だが非常に効果的な手法を提案する。 私たちのアプローチは、オフザシェルフ操作のみを使用することで、ほんの数行のコードで実装できます。
  論文  参考訳（メタデータ） (2022-09-28T02:11:34Z)
• Few-shot Learning via Dependency Maximization and Instance Discriminant Analysis [21.8311401851523]
  そこで本研究では,カテゴリ毎にラベル付きデータが極めて少ない新しいオブジェクトの認識をモデルが学習する,数ショットの学習問題について検討する。 本稿では,少数ショット処理に伴うラベルなしデータを利用して,少数ショット性能を向上させるための簡単な手法を提案する。
  論文  参考訳（メタデータ） (2021-09-07T02:19:01Z)
• Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
  数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。 本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
  論文  参考訳（メタデータ） (2020-02-27T10:22:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。