Fugu-MT 論文翻訳(概要): Atomic Consistency Preference Optimization for Long-Form Question Answering

論文の概要: Atomic Consistency Preference Optimization for Long-Form Question Answering

arxiv url: http://arxiv.org/abs/2505.09039v1
Date: Wed, 14 May 2025 00:39:47 GMT
ステータス: 翻訳完了
システム内更新日: 2025-05-15 21:44:09.335481
Title: Atomic Consistency Preference Optimization for Long-Form Question Answering
Title（参考訳）: 長期質問応答に対する原子間整合性優先最適化
Authors: Jingfeng Chen, Raghuveer Thirukovalluru, Junlin Wang, Kaiwei Luo, Bhuwan Dhingra,
Abstract要約: 大きな言語モデル(LLM)は、しばしばファクトイドの幻覚を生成する。一般的な緩和戦略はモデルアライメントであり、これは、キュレートされた実数対と非実数対のトレーニングによって、実数精度を向上させる。本稿では,外部の監督なしに現実の精度を向上する自己監督的選好調整手法であるACPOを提案する。
参考スコア（独自算出の注目度）: 7.569344797121206
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Large Language Models (LLMs) frequently produce factoid hallucinations - plausible yet incorrect answers. A common mitigation strategy is model alignment, which improves factual accuracy by training on curated factual and non-factual pairs. However, this approach often relies on a stronger model (e.g., GPT-4) or an external knowledge base to assess factual correctness, which may not always be accessible. To address this, we propose Atomic Consistency Preference Optimization (ACPO), a self-supervised preference-tuning method that enhances factual accuracy without external supervision. ACPO leverages atomic consistency signals, i.e., the agreement of individual facts across multiple stochastic responses, to identify high- and low-quality data pairs for model alignment. By eliminating the need for costly GPT calls, ACPO provides a scalable and efficient approach to improving factoid question-answering. Despite being self-supervised, empirical results demonstrate that ACPO outperforms FactAlign, a strong supervised alignment baseline, by 1.95 points on the LongFact and BioGen datasets, highlighting its effectiveness in enhancing factual reliability without relying on external models or knowledge bases.
Abstract（参考訳）: 大きな言語モデル(LLM)は、しばしばファクトイドの幻覚を生成する。一般的な緩和戦略はモデルアライメントであり、これは、キュレートされた実数対と非実数対のトレーニングによって、実数精度を向上させる。しかし、このアプローチは多くの場合、より強力なモデル(例えば、GPT-4)や外部知識ベースに頼り、事実の正確性を評価する。そこで本研究では,外部の監視を伴わずに現実の精度を高める自己監督的選好調整手法であるACPOを提案する。 ACPOは原子の一貫性信号、すなわち複数の確率応答における個々の事実の一致を利用して、モデルアライメントのための高品質と低品質のデータペアを識別する。コストのかかるGPTコールを不要にすることで、ACPOはファクトイドの質問応答を改善するためのスケーラブルで効率的なアプローチを提供する。自己監督されているにもかかわらず、実証的な結果は、ACPOが強力な教師付きアライメントベースラインであるFactAlignを、LongFactとBioGenのデータセットで1.95ポイント上回っており、外部モデルや知識ベースに頼ることなく、事実の信頼性を高める効果を強調していることを示している。

関連論文リスト

SGPO: Self-Generated Preference Optimization based on Self-Improver [6.528083376369728]
大規模言語モデル(LLM)は、実用的で信頼性の高いデプロイメントのために人間の好みに合わせている必要がある。 SGPO(Self-Generated Preference Optimization)を提案する。改善者は、ポリシーモデルの直接選好最適化(DPO)のための自己生成選好データに対するポリシーモデルからの応答を洗練する。 AlpacaEval 2.0 と Arena-Hard の実験結果から,提案した SGPO は DPO とベースライン自己改善法を大幅に向上することが示された。
論文参考訳（メタデータ） (2025-07-27T08:55:40Z)
VeriFact: Enhancing Long-Form Factuality Evaluation with Refined Fact Extraction and Reference Facts [6.810019560977178]
本稿では,事実抽出の促進を目的とした実感評価フレームワークであるVeriFactを紹介する。また、FactRBenchは、長文モデル応答における精度とリコールの両方を評価するベンチマークである。実証的な評価は、VeriFactは事実の完全性を著しく向上させ、重要な関係情報を持つ複雑な事実を保存することを示している。
論文参考訳（メタデータ） (2025-05-14T18:02:37Z)
More is Less: The Pitfalls of Multi-Model Synthetic Preference Data in DPO Safety Alignment [80.04449725137177]
直接選好最適化(DPO)は、人間のフィードバックによる強化学習の、シンプルで効果的な代替手段として登場した。我々の研究は、DPOアライメントに関連する、目覚ましい、安全性に特有な現象を明らかにした。選択されたペアと拒否されたペアに対してのみ自己生成されたレスポンスを使用することで、より強力なモデルからのレスポンスを含む構成を大幅に上回る。
論文参考訳（メタデータ） (2025-04-03T00:36:40Z)
Self-Memory Alignment: Mitigating Factual Hallucinations with Generalized Improvement [37.59724553583446]
大きな言語モデル(LLM)は、しばしば客観的な事実と反応を一致させるのに苦労し、結果として幻覚をもたらす。自己記憶アライメント(SMA)を導入し、正確かつ単純な事実質問に対する自己生成応答のモデルを微調整する。大規模な実験により、SMAはLLMの全体的な性能を著しく改善し、現実性に関する様々なベンチマークを一貫して強化し、有用性や包括的スキルも向上した。
論文参考訳（メタデータ） (2025-02-26T13:34:52Z)
Scalable Best-of-N Selection for Large Language Models via Self-Certainty [65.31658824274894]
Best-of-N選択は、大規模言語モデルの推論性能を改善するための重要なテクニックである。本稿では,外部報酬モデルを必要とすることなく,応答品質を推定する新規かつ効率的な指標である自己確実性を提案する。本研究は, LLM推論能力を向上させるための実用的で効率的な方法として, 自己確実性を確立した。
論文参考訳（メタデータ） (2025-02-25T19:08:07Z)
LEAF: Learning and Evaluation Augmented by Fact-Checking to Improve Factualness in Large Language Models [11.453585039783901]
LEAF: Fact-Checkingによって強化された学習と評価は、大規模言語モデル(LLM)の現実的信頼性を高めるために設計された新しいアプローチである。最初の戦略であるFact-Check-Then-RAGは、ファクトチェック結果を取り入れて、モデルパラメータを更新せずに検索プロセスをガイドすることによって、検索精度を向上させる。第2の戦略であるLearning from Fact-Checks via Self-Trainingは、ファクトチェックされた応答の監督された微調整(SFT)や、ファクトチェックをランキングメカニズムとして適用するSimple Preference Optimization(SimPO)である。
論文参考訳（メタデータ） (2024-10-31T00:18:05Z)
Bridging and Modeling Correlations in Pairwise Data for Direct Preference Optimization [75.1240295759264]
本稿では,BMC という名前のペアデータにおけるブリッジ・アンド・モデリングの効果的なフレームワークを提案する。目的の修正によって、ペアの選好信号の一貫性と情報性が向上する。 DPOだけではこれらの相関をモデル化し、ニュアンス付き変動を捉えるには不十分である。
論文参考訳（メタデータ） (2024-08-14T11:29:47Z)
Anchored Preference Optimization and Contrastive Revisions: Addressing Underspecification in Alignment [57.03947082589616]
大規模言語モデル(LLM)は、しばしばコントラスト的なアライメント目標と選好ペアデータセットを使用してアライメントされる。これについて検討し、基礎となる応答が対照的な場合、嗜好データがより良い学習信号を与えることを示した。我々は、よりコントラスト的な選好ペアを生み出すデータ生成手法である、AI Revisions (CLAIR) からのコントラスト学習を紹介する。我々の最良のモデルは、APOで32K CLAIRの選好に基づいて訓練され、Llama-3-8B-Instructを7.65%改善し、GPT4-turboとのギャップを45%短縮しました。
論文参考訳（メタデータ） (2024-08-12T16:24:51Z)
Self-Play Preference Optimization for Language Model Alignment [75.83359213697854]
近年の進歩は、嗜好の確率で直接作業することで、人間の嗜好をより正確に反映できることを示している。本稿では,言語モデルアライメントのためのセルフプレイ方式を提案する。我々の手法はSPPO(Self-Play Preference Optimization)と呼ばれ、繰り返しポリシー更新を利用してナッシュ均衡を確実に近似する。
論文参考訳（メタデータ） (2024-05-01T17:59:20Z)
Enhanced Language Model Truthfulness with Learnable Intervention and Uncertainty Expression [19.69104070561701]
大きな言語モデル(LLM)は長文で一貫性のあるテキストを生成することができるが、事実を幻覚させることが多い。真性最適化のための学習可能なインターベンション手法であるLITOを提案する。複数のLLMと質問応答データセットの実験は、LITOがタスク精度を維持しながら真理性を改善することを示した。
論文参考訳（メタデータ） (2024-05-01T03:50:09Z)
More RLHF, More Trust? On The Impact of Preference Alignment On Trustworthiness [24.843692458375436]
本研究では,5つの信頼性分野において,汎用的嗜好データに整合したモデルがどのように機能するかを検討する。ヒトの嗜好に対するRLHFは、自動的に信頼性を保証せず、しばしば逆効果が観察される。本稿では,RLHF設定に効率的な影響関数に基づくデータ帰属手法を適用し,個々の信頼性ベンチマークに対する微調整データの影響をよりよく理解するために提案する。
論文参考訳（メタデータ） (2024-04-29T17:00:53Z)
An Empirical Analysis of Parameter-Efficient Methods for Debiasing Pre-Trained Language Models [55.14405248920852]
各種言語モデルとバイアスタイプを用いたプレフィックスチューニング,プロンプトチューニング,アダプタチューニングによる実験を行い,その性能評価を行った。パラメータ効率のよい手法は、適応調整が常に最も効果的であるジェンダーバイアスを軽減するのに有効であることがわかった。また、早急なチューニングは、BERTよりもGPT-2に適しており、人種的・宗教的偏見に関しては、人種的・宗教的偏見が低いことが判明した。
論文参考訳（メタデータ） (2023-06-06T23:56:18Z)
Decomposed Adversarial Learned Inference [118.27187231452852]
我々は,DALI(Decomposed Adversarial Learned Inference)という新しいアプローチを提案する。 DALIは、データ空間とコード空間の両方の事前および条件分布を明示的に一致させる。 MNIST, CIFAR-10, CelebAデータセットにおけるDALIの有効性を検証する。
論文参考訳（メタデータ） (2020-04-21T20:00:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。