論文の概要: Exploring Robustness of LLMs to Paraphrasing Based on Sociodemographic Factors

• arxiv url: http://arxiv.org/abs/2501.08276v2
• Date: Fri, 04 Jul 2025 15:35:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-08 15:46:34.19249
• Title: Exploring Robustness of LLMs to Paraphrasing Based on Sociodemographic Factors
• Title（参考訳）: ソシオドモグラフィー因子に基づくLLMのパラフレーズ化へのロバストさの探索
• Authors: Pulkit Arora, Akbar Karimi, Lucie Flek,
• Abstract要約: 我々は、SocialIQAデータセットを拡張して、社会デマログラフィー要因に基づく多様なパラフレーズセットを作成する。 人口統計に基づく言い回しが言語モデルの性能に大きな影響を及ぼすことがわかった。
• 参考スコア（独自算出の注目度）: 7.312170216336085
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite their linguistic prowess, LLMs have been shown to be vulnerable to small input perturbations. While robustness to local adversarial changes has been studied, robustness to global modifications such as different linguistic styles remains underexplored. Therefore, we take a broader approach to explore a wider range of variations across sociodemographic dimensions. We extend the SocialIQA dataset to create diverse paraphrased sets conditioned on sociodemographic factors (age and gender). The assessment aims to provide a deeper understanding of LLMs in (a) their capability of generating demographic paraphrases with engineered prompts and (b) their capabilities in interpreting real-world, complex language scenarios. We also perform a reliability analysis of the generated paraphrases looking into linguistic diversity and perplexity as well as manual evaluation. We find that demographic-based paraphrasing significantly impacts the performance of language models, indicating that the subtleties of linguistic variation remain a significant challenge. We will make the code and dataset available for future research.
• Abstract（参考訳）: 言語能力にもかかわらず、LSMは小さな入力摂動に弱いことが示されている。 地域の敵対的変化に対するロバスト性は研究されているが、異なる言語スタイルのようなグローバルな変化に対するロバスト性はいまだ研究されていない。 そこで我々は,社会デミノグラフィーの次元にまたがる幅広いバリエーションを探求するために,より広いアプローチを採っている。 我々はSocialIQAデータセットを拡張し、社会デマログラフ的要因(年齢と性別)に基づく多様なパラフレーズセットを作成する。 評価は、LLMのより深い理解を提供することを目的としている。 (a)工学的な指示による人口動態のパラフレーズを生成する能力及び b) 実世界の複雑な言語シナリオを解釈する能力。 また,言語的多様性と難易度と手動による評価を検討するために,生成したパラフレーズの信頼性解析を行った。 人口統計に基づく言い換えは言語モデルの性能に大きく影響し、言語的変化の微妙さが依然として重要な課題であることを示す。 今後の研究のために、コードとデータセットを利用可能にします。

関連論文リスト

• LINGOLY-TOO: Disentangling Memorisation from Reasoning with Linguistic Templatisation and Orthographic Obfuscation [1.2576388595811496]
  本稿では,モデル性能推定における暗記の影響を低減する言語推論問題を生成するための枠組みを提案する。 このフレームワークを言語推論のための挑戦的なベンチマークであるlingOLY-TOOの開発に適用する。
  論文  参考訳（メタデータ） (2025-03-04T19:57:47Z)
• Sparse Auto-Encoder Interprets Linguistic Features in Large Language Models [40.12943080113246]
  スパースオートエンコーダ(SAE)を用いた系統的・包括的因果調査を提案する。 6次元から幅広い言語的特徴を抽出する。 本稿では,FRC(Feature Representation Confidence)とFIC(Feature Intervention Confidence)の2つの指標を紹介する。
  論文  参考訳（メタデータ） (2025-02-27T18:16:47Z)
• Benchmarking Linguistic Diversity of Large Language Models [14.824871604671467]
  本稿では,言語モデルによる人間の言語的豊かさの保全を検討することの重要性を強調する。 言語多様性の観点からLLMを評価するための包括的枠組みを提案する。
  論文  参考訳（メタデータ） (2024-12-13T16:46:03Z)
• Boosting the Capabilities of Compact Models in Low-Data Contexts with Large Language Models and Retrieval-Augmented Generation [2.9921619703037274]
  本稿では,形態素解析の言語タスクにおいて,より小さなモデルの出力を補正するために,大言語モデル(LLM)を基盤とした検索拡張生成(RAG)フレームワークを提案する。 データ不足や訓練可能なパラメータの不足を補うために,言語情報を活用するとともに,LLMを通して解釈・蒸留された記述文法からの入力を許容する。 コンパクトなRAG支援モデルがデータスカース設定に極めて有効であることを示し、このタスクとターゲット言語に対する新しい最先端技術を実現する。
  論文  参考訳（メタデータ） (2024-10-01T04:20:14Z)
• LangSuitE: Planning, Controlling and Interacting with Large Language Models in Embodied Text Environments [70.91258869156353]
  テキストエンボディの世界における6つの代表的具体的タスクを特徴とする多目的・シミュレーション不要なテストベッドであるLangSuitEを紹介する。 以前のLLMベースのテストベッドと比較すると、LangSuitEは複数のシミュレーションエンジンを使わずに、多様な環境への適応性を提供する。 具体化された状態の履歴情報を要約した新しいチェーン・オブ・ソート(CoT)スキーマであるEmMemを考案する。
  論文  参考訳（メタデータ） (2024-06-24T03:36:29Z)
• A Survey on Large Language Models with Multilingualism: Recent Advances and New Frontiers [51.8203871494146]
  LLM(Large Language Models)の急速な開発は、自然言語処理における顕著な多言語機能を示している。 LLMのブレークスルーにもかかわらず、多言語シナリオの研究は依然として不十分である。 本調査は,多言語問題に対する研究コミュニティの取り組みを支援することを目的としており,LLMに基づく多言語自然言語処理における中核概念,鍵技術,最新の発展の包括的理解を提供する。
  論文  参考訳（メタデータ） (2024-05-17T17:47:39Z)
• The Power of Question Translation Training in Multilingual Reasoning: Broadened Scope and Deepened Insights [108.40766216456413]
  大規模言語モデルの英語と非英語のパフォーマンスのギャップを埋めるための質問アライメントフレームワークを提案する。 実験結果から、さまざまな推論シナリオ、モデルファミリー、サイズにわたって、多言語のパフォーマンスを向上できることが示された。 我々は、表現空間、生成された応答とデータスケールを分析し、質問翻訳訓練がLLM内の言語アライメントをどのように強化するかを明らかにする。
  論文  参考訳（メタデータ） (2024-05-02T14:49:50Z)
• L2CEval: Evaluating Language-to-Code Generation Capabilities of Large Language Models [102.00201523306986]
  大規模言語モデル(LLM)の言語間コード生成能力を体系的に評価するL2CEvalを提案する。 モデルのサイズ、事前学習データ、命令チューニング、異なるプロンプトメソッドなど、それらのパフォーマンスに影響を与える可能性のある要因を分析する。 モデル性能の評価に加えて、モデルに対する信頼性校正を計測し、出力プログラムの人間による評価を行う。
  論文  参考訳（メタデータ） (2023-09-29T17:57:00Z)
• Improving Factuality and Reasoning in Language Models through Multiagent Debate [95.10641301155232]
  複数の言語モデルインスタンスが共通の最終回答に到達するために、複数のラウンドで個別の応答と推論プロセスを提案し、議論する言語応答を改善するための補完的なアプローチを提案する。 以上の結果から,本手法は様々なタスクにおける数学的・戦略的推論を著しく向上させることが示唆された。 我々のアプローチは、既存のブラックボックスモデルに直接適用され、調査するすべてのタスクに対して、同じ手順とプロンプトを使用することができる。
  論文  参考訳（メタデータ） (2023-05-23T17:55:11Z)
• A Survey of Large Language Models [81.06947636926638]
  言語モデリングは、過去20年間、言語理解と生成のために広く研究されてきた。 近年,大規模コーパス上でのトランスフォーマーモデルの事前学習により,事前学習言語モデル (PLM) が提案されている。 パラメータスケールの違いを識別するために、研究コミュニティは大規模言語モデル (LLM) という用語を提唱した。
  論文  参考訳（メタデータ） (2023-03-31T17:28:46Z)
• Competence-Based Analysis of Language Models [21.43498764977656]
  CALM (Competence-based Analysis of Language Models) は、特定のタスクの文脈におけるLLM能力を調べるために設計された。 我々は,勾配に基づく対向攻撃を用いた因果探究介入を行うための新しい手法を開発した。 これらの介入を用いてCALMのケーススタディを行い、様々な語彙推論タスクにおけるLCM能力の分析と比較を行う。
  論文  参考訳（メタデータ） (2023-03-01T08:53:36Z)
• Emergent Linguistic Structures in Neural Networks are Fragile [20.692540987792732]
  大規模言語モデル (LLM) は自然言語処理タスクにおいて高い性能を示すと報告されている。 言語表現の一貫性と堅牢性を評価するための枠組みを提案する。
  論文  参考訳（メタデータ） (2022-10-31T15:43:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。