Fugu-MT 論文翻訳(概要): Internalized Self-Correction for Large Language Models

論文の概要: Internalized Self-Correction for Large Language Models

arxiv url: http://arxiv.org/abs/2412.16653v1
Date: Sat, 21 Dec 2024 14:53:13 GMT
ステータス: 翻訳完了
システム内更新日: 2024-12-24 15:59:20.327250
Title: Internalized Self-Correction for Large Language Models
Title（参考訳）: 大規模言語モデルのための内部自己補正
Authors: Nishanth Upadhyaya, Raghavendra Sridharamurthy,
Abstract要約: 大規模言語モデル(LLM)のための「内部自己補正」(InSeC)を導入する。 InSeCでは、トレーニング中にミスとそれに対応する修正を導入することで、LLMが自分自身を修正することができる。このアプローチは、LLMが生成した幻覚や誤文の指示に従うことを改善するために拡張することができる。
参考スコア（独自算出の注目度）: 1.795561427808824
License:
Abstract: In this article, we introduce 'Internalized Self-Correction' (InSeC) for large language models (LLMs). While many approaches exist for self-reflection at inference time, we propose a novel method that combines ideas from negative sampling, self-reflection during training, and inference time. InSeC allows LLMs to correct themselves by introducing mistakes and their corresponding corrections during training, thereby converting the learning process into a true supervised learning task with both positive and negative examples. This approach can be extended to improve instruction following and correct hallucinations or incorrect sentences generated by LLMs.
Abstract（参考訳）: 本稿では,大規模言語モデル(LLM)のための「内部自己補正(InSeC)」について紹介する。推論時間における自己回帰には多くのアプローチが存在するが、負のサンプリング、訓練中の自己回帰、推論時間からのアイデアを組み合わせた新しい手法を提案する。 InSeCは、学習中に誤りとそれに対応する修正を導入することで、LLMを修正できるようにし、学習プロセスを正例と負例の両方で真の教師付き学習タスクに変換する。このアプローチは、LLMが生成した幻覚や誤文の指示に従うことを改善するために拡張することができる。

関連論文リスト

Teaching Models to Improve on Tape [30.330699770714165]
大きな言語モデル(LLM)は、特定の制約の下でコンテンツを生成するよう促されたときにしばしば苦労する。最近の研究によると、LLMはそのような「修正的フィードバック」の恩恵を受けることができる。本稿では,そのような報酬をモデルに教えるためのRLフレームワークを紹介し,その制約を満たす能力に応じてモデルに報酬を与える。
論文参考訳（メタデータ） (2024-11-03T08:49:55Z)
CorrectionLM: Self-Corrections with SLM for Dialogue State Tracking [16.057622631156164]
大規模言語モデル (LLM) はフィードバックや改善を通じて自己改善能力を示すが、現在の小言語モデル (SLM) はこの分野では限られた成功を収めている。 CORRECTIONLMは、SLMがLLMを介さずにインコンテキストの例を使って自己修正できる新しい補正フレームワークである。
論文参考訳（メタデータ） (2024-10-23T18:27:16Z)
Self-Correction is More than Refinement: A Learning Framework for Visual and Language Reasoning Tasks [43.96835245022083]
モデルにアウトプットを洗練させる自己補正は、この問題に対する有望な解決策である。本研究では,視覚言語モデルの推論および微調整段階における自己補正能力について検討した。
論文参考訳（メタデータ） (2024-10-05T06:28:54Z)
S$^3$c-Math: Spontaneous Step-level Self-correction Makes Large Language Models Better Mathematical Reasoners [23.713779973116733]
自己補正は,大規模言語モデル(LLM)の潜在的な推論能力を刺激する手法である本稿では,S$3$c-Mathを提案する。
論文参考訳（メタデータ） (2024-09-03T01:40:21Z)
Course-Correction: Safety Alignment Using Synthetic Preferences [17.897817682322053]
定量的評価のためのtextscC$2$-Eval ベンチマークを導入し,10のポピュラー言語モデルを解析する。自動パイプラインを使用して、750Kペアの好みを持つ合成データセットであるtextscC$2$-Synを作成する。 2つのLLM, textscLlama2-Chat 7B と textscQwen2 7B の実験により, 一般性能に影響を与えることなく, 効果的にコース補正能力を向上させることができた。
論文参考訳（メタデータ） (2024-07-23T16:54:28Z)
Show, Don't Tell: Aligning Language Models with Demonstrated Feedback [54.10302745921713]
Demonstration ITerated Task Optimization (DITTO)は、言語モデルの出力とユーザの実証された振る舞いを直接調整する。我々は,DITTOがニュース記事やメール,ブログ記事などのドメイン間できめ細かいスタイルやタスクアライメントを学習する能力を評価する。
論文参考訳（メタデータ） (2024-06-02T23:13:56Z)
LLMs can learn self-restraint through iterative self-reflection [57.26854891567574]
大規模言語モデル(LLM)は、特定のトピックに関連する知識と不確実性に基づいて、その振る舞いを動的に適応できなければならない。この適応的行動は、私たちが自己規制と呼ぶもので、教えるのは簡単ではない。モデルが信頼している場合にのみ応答を生成できるようにするユーティリティ関数を考案する。
論文参考訳（メタデータ） (2024-05-15T13:35:43Z)
InferAligner: Inference-Time Alignment for Harmlessness through Cross-Model Guidance [56.184255657175335]
我々は,無害アライメントのためのクロスモデルガイダンスを利用する新しい推論時間アライメント手法であるtextbfInferAligner を開発した。実験結果から,本手法はファイナンス,医学,数学の分野特化モデルに極めて効果的に適用可能であることが示された。これは有害な命令とジェイルブレイク攻撃の両方のアタック成功率(ASR)を著しく低下させ、下流タスクではほとんど変化のないパフォーマンスを維持している。
論文参考訳（メタデータ） (2024-01-20T10:41:03Z)
Instruction Position Matters in Sequence Generation with Large Language Models [67.87516654892343]
大規模言語モデル(LLM)は、翻訳や要約といった条件付きシーケンス生成タスクを実行することができる。入力文の後にタスク命令の位置をシフトさせることにより,LLMの指示追従能力を向上させることを提案する。
論文参考訳（メタデータ） (2023-08-23T12:36:57Z)
Automatically Correcting Large Language Models: Surveying the landscape of diverse self-correction strategies [104.32199881187607]
大規模言語モデル(LLM)は、幅広いNLPタスクで顕著な性能を示した。これらの欠陥を正すための有望なアプローチは自己補正であり、LLM自体が自身の出力で問題を修正するために誘導される。本稿では,この新技術について概観する。
論文参考訳（メタデータ） (2023-08-06T18:38:52Z)
TIM: Teaching Large Language Models to Translate with Comparison [78.66926087162672]
本稿では,LLMに翻訳学習を教えるために,サンプルを用いた新しいフレームワークを提案する。我々のアプローチは、正しい翻訳例と間違った翻訳例をモデルに提示し、好みの損失を使ってモデルの学習をガイドすることである。本研究は,翻訳タスクのための微調整LDMの新しい視点を提供し,高品質な翻訳を実現するための有望なソリューションを提供する。
論文参考訳（メタデータ） (2023-07-10T08:15:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。