論文の概要: Evaluating the Effectiveness of Direct Preference Optimization for Personalizing German Automatic Text Simplifications for Persons with Intellectual Disabilities
- arxiv url: http://arxiv.org/abs/2507.01479v1
- Date: Wed, 02 Jul 2025 08:43:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-03 14:23:00.109675
- Title: Evaluating the Effectiveness of Direct Preference Optimization for Personalizing German Automatic Text Simplifications for Persons with Intellectual Disabilities
- Title(参考訳): 知的障害者を対象としたドイツ語自動文章のパーソナライズにおける直接選好最適化の有効性の評価
- Authors: Yingqiang Gao, Kaede Johnson, David Froehlich, Luisa Carrer, Sarah Ebling,
- Abstract要約: 自動テキスト単純化(ATS)は、様々なターゲットグループの言語アクセシビリティを高めることを目的としている。
LLMに基づくATSモデルに適用するための標準教師付き微調整(SFT)アプローチを拡張した。
知的障害者から収集した人的フィードバックを用いて,LSMに基づくATSモデルを訓練後評価した。
- 参考スコア(独自算出の注目度): 2.565122617941334
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Automatic text simplification (ATS) aims to enhance language accessibility for various target groups, particularly persons with intellectual disabilities. Recent advancements in generative AI, especially large language models (LLMs), have substantially improved the quality of machine-generated text simplifications, thereby mitigating information barriers for the target group. However, existing LLM-based ATS systems do not incorporate preference feedback on text simplifications during training, resulting in a lack of personalization tailored to the specific needs of target group representatives. In this work, we extend the standard supervised fine-tuning (SFT) approach for adapting LLM-based ATS models by leveraging a computationally efficient LLM alignment technique -- direct preference optimization (DPO). Specifically, we post-train LLM-based ATS models using human feedback collected from persons with intellectual disabilities, reflecting their preferences on paired text simplifications generated by mainstream LLMs. Furthermore, we propose a pipeline for developing personalized LLM-based ATS systems, encompassing data collection, model selection, SFT and DPO post-training, and evaluation. Our findings underscore the necessity of active participation of target group persons in designing personalized AI accessibility solutions aligned with human expectations. This work represents a step towards personalizing inclusive AI systems at the target-group level, incorporating insights not only from text simplification experts but also from target group persons themselves.
- Abstract(参考訳): 自動テキスト単純化(ATS)は、様々な対象グループ、特に知的障害者に対する言語アクセシビリティを高めることを目的としている。
生成AIの最近の進歩、特に大規模言語モデル(LLM)は、機械生成されたテキストの単純化の質を大幅に改善し、ターゲットグループの情報バリアを緩和している。
しかし、既存のLSMベースのATSシステムでは、トレーニング中のテキストの簡易化に対する好みフィードバックを取り入れておらず、特定のグループ代表者のニーズに合わせたパーソナライズが欠如している。
本研究では,計算効率のよいLLMアライメント技術-直接選好最適化(DPO)を活用することで,LSMベースのATSモデルを適応するための標準教師付き微調整(SFT)アプローチを拡張する。
具体的には、知的障害のある人から収集されたフィードバックを用いて、LLMをベースとしたATSモデルを訓練後、メインストリームのLLMが生成するペアテキストの簡易化を反映する。
さらに、データ収集、モデル選択、SFTおよびDPOポストトレーニング、評価を含むパーソナライズされたLCMベースのATSシステムを開発するパイプラインを提案する。
本研究は,AIアクセシビリティ・ソリューションの設計における対象者の積極的な参加の必要性を明らかにするものである。
この研究は、包括的AIシステムをターゲットグループレベルでパーソナライズするためのステップであり、テキストの単純化の専門家だけでなく、ターゲットグループの人自体からの洞察も取り入れている。
関連論文リスト
- Measuring What Makes You Unique: Difference-Aware User Modeling for Enhancing LLM Personalization [68.79814761867314]
本稿では,Large Language Models (LLM) のパーソナライゼーションを強化するために,差分認識パーソナライズ学習(DPL)を提案する。
DPLは、戦略的に代表ユーザを比較のために選択し、タスク関連の違いを抽出するための構造化標準を確立する。
実世界のデータセットの実験により、DPLはLLMのパーソナライゼーションを大幅に向上させることが示された。
論文 参考訳(メタデータ) (2025-03-04T09:53:26Z) - Dynamic Rewarding with Prompt Optimization Enables Tuning-free Self-Alignment of Language Models [54.381650481255235]
我々は,Prompt Optimization (O) を用いた動的リワードによる自己アライメントのための新しいチューニング不要アプローチを提案する。
提案手法は,LLMを反復的に自己改善し,最適アライメント命令を作成可能な検索ベース最適化フレームワークを活用する。
近年の8つのLCMのオープンおよびクローズドソースに関する実証評価により,DRPOはアライメント性能を著しく向上することが示された。
論文 参考訳(メタデータ) (2024-11-13T16:15:38Z) - Guided Profile Generation Improves Personalization with LLMs [3.2685922749445617]
勧告、ランク付け、Eコマースプラットフォームを含む現代の商業システムでは、パーソナライズコンテキストを大型言語モデル(LLM)への入力として取り入れる傾向にある。
本稿では,自然言語で個人プロファイルを生成するための汎用手法であるGPGを提案する。
実験の結果,GAGはLLMのパーソナライズ能力を向上させることが示され,例えば,LLMを生の個人的コンテキストで直接供給するよりも,個人の嗜好を予測する上で37%の精度が向上することがわかった。
論文 参考訳(メタデータ) (2024-09-19T21:29:56Z) - Large Language Model as a Catalyst: A Paradigm Shift in Base Station Siting Optimization [62.16747639440893]
大規模言語モデル(LLM)とその関連技術は、特に迅速な工学とエージェント工学の領域において進歩している。
提案するフレームワークは、検索拡張生成(RAG)を組み込んで、ドメイン固有の知識を取得してソリューションを生成するシステムの能力を高める。
論文 参考訳(メタデータ) (2024-08-07T08:43:32Z) - Fairer Preferences Elicit Improved Human-Aligned Large Language Model Judgments [41.25558612970942]
大規模言語モデル (LLMs) が優先バイアスを示し, 設計に敏感であることを示す。
この現象に触発された自動ゼロショット評価指向のプロンプト最適化フレームワークZEPOを提案する。
論文 参考訳(メタデータ) (2024-06-17T09:48:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。