Fugu-MT 論文翻訳(概要): LLMs can learn self-restraint through iterative self-reflection

論文の概要: LLMs can learn self-restraint through iterative self-reflection

arxiv url: http://arxiv.org/abs/2405.13022v1
Date: Wed, 15 May 2024 13:35:43 GMT
ステータス: 処理完了
システム内更新日: 2024-05-27 02:48:13.105467
Title: LLMs can learn self-restraint through iterative self-reflection
Title（参考訳）: LLMは反復的自己回帰によって自己拘束を学習できる
Authors: Alexandre Piché, Aristides Milios, Dzmitry Bahdanau, Chris Pal,
Abstract要約: 大規模言語モデル(LLM)は、特定のトピックに関連する知識と不確実性に基づいて、その振る舞いを動的に適応できなければならない。この適応的行動は、我々が自己制約と呼ぶもので、LLMの内部知識に依存しているため、教えるのは簡単ではない。自己制約を学習するために,モデルが自信を持つ場合にのみ応答を生成できるようにするユーティリティ関数を考案する。
参考スコア（独自算出の注目度）: 57.26854891567574
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In order to be deployed safely, Large Language Models (LLMs) must be capable of dynamically adapting their behavior based on their level of knowledge and uncertainty associated with specific topics. This adaptive behavior, which we refer to as self-restraint, is non-trivial to teach since it depends on the internal knowledge of an LLM. By default, LLMs are trained to maximize the next token likelihood, which does not teach the model to modulate its answer based on its level of uncertainty. In order to learn self-restraint, we devise a utility function that can encourage the model to produce responses only when it is confident in them. This utility function can be used to score generation of different length and abstention. To optimize this function, we introduce ReSearch, a process of ``self-reflection'' consisting of iterative self-prompting and self-evaluation. We use the ReSearch algorithm to generate synthetic data on which we finetune our models. Compared to their original versions, our resulting models generate fewer \emph{hallucinations} overall at no additional inference cost, for both known and unknown topics, as the model learns to selectively restrain itself. In addition, our method elegantly incorporates the ability to abstain by augmenting the samples generated by the model during the search procedure with an answer expressing abstention.
Abstract（参考訳）: 安全にデプロイするためには、LLM(Large Language Models)は、特定のトピックに関連する知識と不確実性レベルに基づいて、その振る舞いを動的に適応できなければならない。この適応的行動は、我々が自己制約と呼ぶもので、LLMの内部知識に依存しているため、教えるのは簡単ではない。デフォルトでは、LCMは次のトークン可能性の最大化のために訓練される。自己制約を学習するために,モデルが自信を持つ場合にのみ応答を生成できるようにするユーティリティ関数を考案する。このユーティリティ関数は、異なる長さと禁忌の生成をスコアするために使用することができる。この機能を最適化するために、反復的な自己評価と自己評価からなる ``self-reflection'' プロセスである ReSearch を導入する。 ReSearchアルゴリズムを使用して、モデルを微調整する合成データを生成する。元のバージョンと比較すると、モデルが自分自身を選択的に抑制することを学ぶため、我々の生成したモデルは、既知のトピックと未知のトピックの両方に対して、追加の推論コストを伴わず、全体としてより少ない \emph{hallucinations} を生成する。さらに,提案手法では,探索手順中にモデルが生成したサンプルを,棄権を表す回答で拡張することで,棄権する能力をエレガントに組み込む。

関連論文リスト

Large Language Models can be Strong Self-Detoxifiers [82.6594169242814]
SASA(Self-disciplined Autoregressive Smpling)は、大規模言語モデル(LLM)の毒性低減のための軽量制御復号アルゴリズムである。 SASAは、自己回帰サンプリング戦略を調整することにより、電流出力のマージンを追跡し、有害な部分空間から世代を分離する。 Llama-3.1-Instruct (8B), Llama-2 (7B), GPT2-L model with the RealToxicityPrompts, BOLD, and AttaQ benchmarks。
論文参考訳（メタデータ） (2024-10-04T17:45:15Z)
Recursive Introspection: Teaching Language Model Agents How to Self-Improve [30.086494067593268]
RISE: Recursive IntroSpEctionは,大規模言語モデルを微調整する手法である。実験の結果,RISEはLlama2,Llama3,Mistralの各モデルに対して,数学推論タスクのターン数を増やすことで自己改善を可能にすることがわかった。
論文参考訳（メタデータ） (2024-07-25T17:35:59Z)
Estimating Knowledge in Large Language Models Without Generating a Single Token [12.913172023910203]
大規模言語モデル(LLM)における知識を評価するための現在の手法は、モデルをクエリし、生成した応答を評価する。本研究では,モデルがテキストを生成する前に評価を行うことができるかどうかを問う。様々なLLMを用いた実験では、内部の主題表現を訓練した単純なプローブであるKEENが、両方のタスクで成功することが示された。
論文参考訳（メタデータ） (2024-06-18T14:45:50Z)
Self-Exploring Language Models: Active Preference Elicitation for Online Alignment [88.56809269990625]
本研究では, 分布域外領域を積極的に探索するために, 潜在的に高次応答に対して楽観的に偏りを呈する2段階的客観性を提案する。実験の結果,Zephyr-7B-SFTとLlama-3-8B-Instructモデルで微調整した場合,SELM(Self-Exploring Language Models)は命令追従ベンチマークの性能を大幅に向上させることがわかった。
論文参考訳（メタデータ） (2024-05-29T17:59:07Z)
Self-Alignment for Factuality: Mitigating Hallucinations in LLMs via Self-Evaluation [71.91287418249688]
大規模言語モデル(LLM)は、たとえ関連する知識を持っていたとしても、事実的不正確さに悩まされることが多い。我々は,LLMの自己評価能力を活用し,現実性に向けてモデルを操る訓練信号を提供する。提案手法は,Llamaファミリーモデルに対して,3つの重要な知識集約タスクにおいて,現実的精度を大幅に向上させることを示す。
論文参考訳（メタデータ） (2024-02-14T15:52:42Z)
Into the Unknown: Self-Learning Large Language Models [0.0]
モデルに未知の原子知識を特定するために,未知の点 (PiU) という概念を導入する。 LLMの自己学習能力を評価するための評価指標を開発した。
論文参考訳（メタデータ） (2024-02-14T12:56:58Z)
ReEval: Automatic Hallucination Evaluation for Retrieval-Augmented Large Language Models via Transferable Adversarial Attacks [91.55895047448249]
本稿では,LLMベースのフレームワークであるReEvalについて述べる。本稿では、ChatGPTを用いてReEvalを実装し、2つの人気のあるオープンドメインQAデータセットのバリエーションを評価する。我々の生成したデータは人間可読であり、大きな言語モデルで幻覚を引き起こすのに役立ちます。
論文参考訳（メタデータ） (2023-10-19T06:37:32Z)
SELF: Self-Evolution with Language Feedback [68.6673019284853]
SELF(Self-Evolution with Language Feedback)は、大規模言語モデルを進化させる新しいアプローチである。 LLMは、人間の学習プロセスと同様、自己回帰を通じて自己改善を可能にする。数学および一般タスクにおける実験により,SELFは人間の介入なしにLLMの能力を高めることができることが示された。
論文参考訳（メタデータ） (2023-10-01T00:52:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。