Fugu-MT 論文翻訳(概要): Analyzing constrained LLM through PDFA-learning

論文の概要: Analyzing constrained LLM through PDFA-learning

arxiv url: http://arxiv.org/abs/2406.08269v1
Date: Wed, 12 Jun 2024 14:35:19 GMT
ステータス: 処理完了
システム内更新日: 2024-06-13 16:26:24.138943
Title: Analyzing constrained LLM through PDFA-learning
Title（参考訳）: PDFA学習による制約付きLLMの分析
Authors: Matías Carrasco, Franz Mayr, Sergio Yovine, Johny Kidd, Martín Iturbide, Juan Pedro da Silva, Alejo Garat,
Abstract要約: 我々は,言語モデルの出力がテキスト生成中に何らかの方法で制約されたときに発生する,ヌル次シンボル確率に対処する合同を定義する。本研究では,このコングルーエンスを効率的に学習するアルゴリズムを開発した。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: We define a congruence that copes with null next-symbol probabilities that arise when the output of a language model is constrained by some means during text generation. We develop an algorithm for efficiently learning the quotient with respect to this congruence and evaluate it on case studies for analyzing statistical properties of LLM.
Abstract（参考訳）: 我々は,言語モデルの出力がテキスト生成中に何らかの方法で制約されたときに発生する,ヌル次シンボル確率に対処する合同を定義する。本研究は,LLMの統計特性を解析するためのケーススタディにおいて,このコングルーエンスに関する商を効率的に学習するアルゴリズムを開発し,評価する。

関連論文リスト

Zero-shot Model-based Reinforcement Learning using Large Language Models [12.930241182192988]
本稿では,マルコフ決定過程の動的状態を予測するために,事前学習した大規模言語モデルをどのように活用することができるかを検討する。本稿では,モデルに基づく政策評価とデータ強化型オフ政治強化学習という2つの強化学習環境における概念実証の応用について述べる。
論文参考訳（メタデータ） (2024-10-15T15:46:53Z)
Attribute Controlled Fine-tuning for Large Language Models: A Case Study on Detoxification [76.14641982122696]
本稿では,属性制御付き大規模言語モデル(LLM)の制約学習スキーマを提案する。提案手法は, ベンチマーク上での競合性能と毒性検出タスクを達成しながら, 不適切な応答を少ないLCMに導出することを示す。
論文参考訳（メタデータ） (2024-10-07T23:38:58Z)
CSS: Contrastive Semantic Similarity for Uncertainty Quantification of LLMs [1.515687944002438]
テキストペアの不確実性を測定するための類似性特徴を求めるモジュールであるContrastive Semantic similarityを提案する。我々は,3つの大規模言語モデル (LLM) を用いて,複数のベンチマーク質問応答データセットについて広範な実験を行った。提案手法は,LLMの信頼性の高い応答を,同等のベースラインよりも高い精度で推定できることを示す。
論文参考訳（メタデータ） (2024-06-05T11:35:44Z)
LLMs for XAI: Future Directions for Explaining Explanations [50.87311607612179]
既存のXAIアルゴリズムを用いて計算した説明の精細化に着目する。最初の実験とユーザスタディは、LLMがXAIの解釈可能性とユーザビリティを高めるための有望な方法を提供することを示唆している。
論文参考訳（メタデータ） (2024-05-09T19:17:47Z)
PhyloLM : Inferring the Phylogeny of Large Language Models and Predicting their Performances in Benchmarks [17.91379291654773]
本稿では,Large Language Models(LLMs)に系統解析アルゴリズムを適用するPhyloLMを紹介する。本手法は, LLMの出力の類似性に基づいて, 系統的距離の指標を算出する。我々の系統的距離は標準ベンチマークの性能を予測し,その機能的妥当性を示す。
論文参考訳（メタデータ） (2024-04-06T16:16:30Z)
Characterizing Truthfulness in Large Language Model Generations with Local Intrinsic Dimension [63.330262740414646]
大規模言語モデル(LLM)から生成されたテキストの真偽を特徴付ける方法と予測法について検討する。モデルアクティベーションの局所固有次元 (LID) を用いて, 内部アクティベーションを調査し, LLMの真偽を定量化する。
論文参考訳（メタデータ） (2024-02-28T04:56:21Z)
Uncertainty Quantification for In-Context Learning of Large Language Models [52.891205009620364]
大規模言語モデル(LLM)の画期的な能力として、文脈内学習が登場している。両タイプの不確かさを定量化するための新しい定式化法とそれに対応する推定法を提案する。提案手法は、プラグイン・アンド・プレイ方式でコンテキスト内学習の予測を理解するための教師なしの方法を提供する。
論文参考訳（メタデータ） (2024-02-15T18:46:24Z)
Beyond the Black Box: A Statistical Model for LLM Reasoning and Inference [0.9898607871253774]
本稿では,大規模言語モデル(LLM)の振る舞いを説明する新しいベイズ学習モデルを提案する。我々は,先行した多項遷移確率行列で表される理想的な生成テキストモデルに基づく理論的枠組みを開発し,LLMがこの行列をどのように近似するかを検討する。
論文参考訳（メタデータ） (2024-02-05T16:42:10Z)
Adaptive neighborhood Metric learning [184.95321334661898]
適応的近傍距離距離学習(ANML)という新しい距離距離距離距離距離距離学習アルゴリズムを提案する。 ANMLは線形埋め込みと深層埋め込みの両方を学ぶのに使うことができる。本手法で提案するemphlog-exp平均関数は,深層学習手法をレビューするための新たな視点を与える。
論文参考訳（メタデータ） (2022-01-20T17:26:37Z)
Reducing Confusion in Active Learning for Part-Of-Speech Tagging [100.08742107682264]
アクティブラーニング(AL)は、データ選択アルゴリズムを使用して、アノテーションコストを最小限に抑えるために有用なトレーニングサンプルを選択する。本研究では、特定の出力タグのペア間の混乱を最大に低減するインスタンスの選択問題について検討する。提案するAL戦略は,他のAL戦略よりも有意差で優れている。
論文参考訳（メタデータ） (2020-11-02T06:24:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。