論文の概要: Isolating LLM Lexical Bias: A Curation-Free Triangulated Metric for Preference-Stage Learning
- arxiv url: http://arxiv.org/abs/2606.00334v1
- Date: Fri, 29 May 2026 20:19:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-02 21:34:28.294145
- Title: Isolating LLM Lexical Bias: A Curation-Free Triangulated Metric for Preference-Stage Learning
- Title（参考訳）: LLM語彙バイアスの分離: 選好段階学習のためのキュレーション不要な三角メトリック
- Abstract要約: 我々は、人間のゴールド標準、ベースモデル、変種を三角測量する計量である三角偏差スコア(Triangulated Preference Shift score)を導入する。
6つのモデルファミリーにデータを提供し、その結果を文献に固定し、一般的なアプローチの有用性を説明する。
- 参考スコア（独自算出の注目度）: 0.33463386076921503
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Various language domains have undergone remarkable changes in recent years; these shifts are largely attributed to the advent of Large Language Models and their misalignment with natural language usage. These misalignments are thought to partly originate in the preference-learning stage, e.g. Reinforcement Learning from Human Feedback, which generally makes models more useful but simultaneously may introduce systematic lexical bias. In terms of lexical behavior, this is visible in a model's preference for certain formats or the overuse of words (delve, furthermore), even when such patterns are not present in base model outputs. Research on lexical misalignment induced during preference training is constrained by reliance on manual curation. We address this, by introducing the Triangulated Preference Shift score, a metric that triangulates between human gold standards, base models, and instruct variants to isolate shifts induced specifically by preference learning, without manual curation. We provide data across six model families, anchor the results in the literature, and illustrate the general approach's utility by analyzing whether preference learning shifts models toward what could be interpreted as a "language of prestige". The metric provides an initial automated method to quantify behavioral shifts attributable to preference tuning, and thus, may help inform model alignment and development of trustworthy AI.
- Abstract（参考訳）: 様々な言語ドメインが近年、顕著な変化を遂げている。これらの変化は、大規模言語モデルの出現と、その自然言語使用に対する不一致によるものである。
これらのミスアライメントは、例えばヒューマンフィードバックからの強化学習(Reinforcement Learning from Human Feedback)など、嗜好学習の段階から生じると考えられている。
語彙的振舞いの観点では、このパターンがベースモデル出力に存在しない場合でも、特定の形式や単語の過剰使用に対するモデルの好みで見ることができる。
選好訓練中に引き起こされた語彙的不一致の研究は、手作業によるキュレーションに依存している。
これは、人間のゴールド標準、ベースモデル、変種を三角測量し、手作業によるキュレーションを伴わずに、特に嗜好学習によって引き起こされるシフトを分離するように指示する指標である。
6つのモデルファミリーにまたがるデータを提供し、文献に結果を固定し、選好学習がモデルから「名声の言語」と解釈できるものへと移行するかどうかを分析することによって、一般的なアプローチの有用性を説明する。
このメトリクスは、好みのチューニングに起因した行動シフトを定量化する最初の自動化方法を提供し、モデルアライメントと信頼できるAIの開発に役立てることができる。
関連論文リスト
- Language Models Generalize to Human-like Word Order Preferences [1.9371675344367494]
同様の条件下で同じバイアスを示す言語モデルについて検討する。
トレーニング中は観察しないにもかかわらず、常にスコープ同型順序を好みます。
PMIは既知の修飾器順序付けパターンを反映しているが、モデルの順序付けの好みを説明できない。
論文 参考訳（メタデータ） (2026-08-05T16:33:46Z) - Fully Automated Identification of Lexical Alignment and Preference-Stage Shifts in Large Language Models [0.0]
ChatGPTのようなデジタルチャットアシスタントが使用する言語は、人間の期待(ミスアライメント)から逸脱することができる
本稿では,レキシカルアライメントスコア (Lexical Alignment Score) と三角優先シフト (Triangulated Preference Shift) の2つの評価指標について述べる。
この手順は、手動による介入なしに、"suggest"、"additionally"、"strategy"などの過剰使用項目を特定し、彼らの嗜好学習との関係を推定する。
論文 参考訳（メタデータ） (2026-06-02T05:23:45Z) - Universal Adversarial Suffixes for Language Models Using Reinforcement Learning with Calibrated Reward [9.099589602551573]
言語モデルは、予測を確実に変更できる短い敵接尾辞に対して脆弱である。
本稿では,サフィックスをポリシーとして扱い,適切な政策最適化を施した強化学習フレームワークを用いる。
その結果,RL訓練した接尾辞は,従来の類似ジャンルの逆転トリガよりも精度を低下させ,タスクやモデル間で効果的に伝達できることが示唆された。
論文 参考訳（メタデータ） (2025-12-09T00:18:06Z) - Mitigating Biases in Language Models via Bias Unlearning [27.565946855618368]
両経路のアンラーニング機構によって目的のデバイアスを実現する新しいモデルデバイアスフレームワークであるBiasUnlearnを提案する。
その結果、BiasUnlearnは言語モデルにおけるバイアスを軽減するために既存の手法よりも優れており、言語モデリング能力は維持されていることがわかった。
論文 参考訳（メタデータ） (2025-09-30T02:15:12Z) - Your Pretrained Model Tells the Difficulty Itself: A Self-Adaptive Curriculum Learning Paradigm for Natural Language Understanding [53.63482987410292]
本稿では,事前学習言語モデルにより予測される難易度に基づいて,微調整例を優先する自己適応型カリキュラム学習パラダイムを提案する。
本手法は,4つの自然言語理解(NLU)データセットを用いて,二項分類と多項分類の両方を対象とする手法について検討した。
論文 参考訳（メタデータ） (2025-07-13T19:36:17Z) - A Distributional Perspective on Word Learning in Neural Language Models [57.41607944290822]
言語モデルにおける単語学習のための広く合意されたメトリクスは存在しない。
我々は、先行研究で研究された分布シグネチャは、重要な分布情報の取得に失敗すると主張している。
我々は、スクラッチから訓練する小さな言語モデルを選択するための学習軌跡を得る。
論文 参考訳（メタデータ） (2025-02-09T13:15:59Z) - Preference Consistency Matters: Enhancing Preference Learning in Language Models with Automated Self-Curation of Training Corpora [4.008122785948581]
本稿では,アノテーション付きデータセットを直接トレーニングしたプロキシモデルを活用することで,前処理を行うセルフキュレーション手法を提案する。
本手法は、一貫性のあるアノテーションを自動的に検出し、選択することで、好みの学習を強化する。
論文 参考訳（メタデータ） (2024-08-23T02:27:14Z) - RecExplainer: Aligning Large Language Models for Explaining Recommendation Models [50.74181089742969]
大規模言語モデル (LLM) は、理解、推論、指導において顕著な知性を示した。
本稿では, ブラックボックスレコメンデータモデルを説明するために, LLM を代理モデルとして利用することについて検討する。
効果的なアライメントを容易にするために,行動アライメント,意図アライメント,ハイブリッドアライメントという3つの手法を導入する。
論文 参考訳（メタデータ） (2023-11-18T03:05:43Z) - Training Language Models with Language Feedback at Scale [50.70091340506957]
我々は、より情報的な言語フィードバックを利用する新しいアプローチであるLanguage Feedback (ILF)から学習を導入する。
ILFは3つのステップから成り、まず言語モデルを入力に条件付けし、最初のLM出力を出力し、改善を生成する。
理論的には、ILFは人間からのフィードバックによる強化学習と同様、ベイズ推論とみなすことができる。
論文 参考訳（メタデータ） (2023-03-28T17:04:15Z) - Debiasing Vision-Language Models via Biased Prompts [79.04467131711775]
本稿では,テキスト埋め込みにおけるバイアスのある方向を投影することで,視覚言語基盤モデルを疎外する一般的な手法を提案する。
偏平投影行列を組み込んだテキストのみをデバイアスすることで、ロバストな分類器と公正な生成モデルが得られることを示す。
論文 参考訳（メタデータ） (2023-01-31T20:09:33Z) - A General Language Assistant as a Laboratory for Alignment [3.3598752405752106]
簡単なベースライン手法と,プロンプトなどの評価について検討する。
モデルサイズにより, 緩やかな介入による利点が増大し, 様々なアライメント評価に一般化され, 大規模モデルの性能を損なわないことがわかった。
本研究では,人間の嗜好を微調整する際のサンプル効率の向上を目標として,事前学習段階の選好モデルについて検討した。
論文 参考訳（メタデータ） (2021-12-01T22:24:34Z) - Distilling Interpretable Models into Human-Readable Code [71.11328360614479]
人間可読性は機械学習モデル解釈可能性にとって重要で望ましい標準である。
従来の方法を用いて解釈可能なモデルを訓練し,それを簡潔で可読なコードに抽出する。
本稿では,幅広いユースケースで効率的に,確実に高品質な結果を生成する分別線形曲線フィッティングアルゴリズムについて述べる。
論文 参考訳（メタデータ） (2021-01-21T01:46:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。