論文の概要: Consistency in Language Models: Current Landscape, Challenges, and Future Directions

• arxiv url: http://arxiv.org/abs/2505.00268v2
• Date: Sat, 12 Jul 2025 01:20:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-15 14:36:07.065421
• Title: Consistency in Language Models: Current Landscape, Challenges, and Future Directions
• Title（参考訳）: 言語モデルにおける一貫性:現在の景観,課題,今後の方向性
• Authors: Jekaterina Novikova, Carol Anderson, Borhane Blili-Hamelin, Domenic Rosati, Subhabrata Majumdar,
• Abstract要約: State-of-the-art Language Model (LM) はタスクやドメイン固有のアプリケーション間で信頼性の高い一貫性を維持するのに苦労する。 我々の発見は、一貫性を確保するための学際的アプローチを計測し、相互に比較するための品質ベンチマークが緊急に必要であることを示している。
• 参考スコア（独自算出の注目度）: 10.222718554915936
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The hallmark of effective language use lies in consistency: expressing similar meanings in similar contexts and avoiding contradictions. While human communication naturally demonstrates this principle, state-of-the-art language models (LMs) struggle to maintain reliable consistency across task- and domain-specific applications. Here we examine the landscape of consistency research in LMs, analyze current approaches to measure aspects of consistency, and identify critical research gaps. Our findings point to an urgent need for quality benchmarks to measure and interdisciplinary approaches to ensure consistency while preserving utility.
• Abstract（参考訳）: 効果的な言語の使用の目印は一貫性にある:類似した文脈で同様の意味を表現し、矛盾を避けることである。 ヒューマンコミュニケーションはこの原則を自然に示していますが、現状の言語モデル(LM)はタスクやドメイン固有のアプリケーション間で信頼性のある一貫性を維持するのに苦労しています。 本稿では、LMにおける一貫性研究の展望を考察し、一貫性の側面を測定するための現在のアプローチを分析し、重要な研究ギャップを特定する。 この結果から,実用性を維持しつつ整合性を確保するための学際的アプローチの質ベンチマークが緊急に必要であることが示唆された。

関連論文リスト

• Robustness in Large Language Models: A Survey of Mitigation Strategies and Evaluation Metrics [0.7481505949203433]
  大規模言語モデル(LLM)は自然言語処理(NLP)と人工知能(AI)の発展のための有望な基盤として登場した。 この調査は、この領域における現在の研究の包括的概要を提供する。
  論文  参考訳（メタデータ） (2025-05-24T11:50:52Z)
• Enhancing Coreference Resolution with Pretrained Language Models: Bridging the Gap Between Syntax and Semantics [0.9752323911408618]
  そこで本研究では,事前学習型言語モデルを用いて,コア参照解決の強化を目的とした,革新的なフレームワークを提案する。 本手法では,構文解析と意味的役割ラベリングを組み合わせることで,参照関係におけるより微細な特徴を正確に把握する。
  論文  参考訳（メタデータ） (2025-04-08T09:33:09Z)
• Large Language Models Often Say One Thing and Do Another [49.22262396351797]
  我々はWords and Deeds Consistency Test (WDCT)と呼ばれる新しい評価ベンチマークを開発した。 このベンチマークは、異なるドメインにわたる単語ベースの質問とdeedベースの質問の厳密な対応を確立する。 評価結果から,異なるLLMとドメイン間で単語と行為の矛盾が広範囲にあることが明らかとなった。
  論文  参考訳（メタデータ） (2025-03-10T07:34:54Z)
• Cross-linguistic disagreement as a conflict of semantic alignment norms in multilingual AI~Linguistic Diversity as a Problem for Philosophy, Cognitive Science, and AI~ [0.2443066828522608]
  言語間の整合性(CL整合性)は言語間の普遍的な概念を求める。 言語固有の意味規範を尊重する民族一貫性。 普遍表現と言語間移動能力が本質的に望ましいという仮定を見つける。
  論文  参考訳（メタデータ） (2025-03-01T03:31:40Z)
• Adversarial Alignment for LLMs Requires Simpler, Reproducible, and More Measurable Objectives [52.863024096759816]
  相反する研究目的は、過去10年間に敵対的堅牢性研究の進展を妨げてきた。 我々は、対立するアライメントの有意義な進展には、リアライメントの目的が必要であると論じる。
  論文  参考訳（メタデータ） (2025-02-17T15:28:40Z)
• Improving Large Language Model (LLM) fidelity through context-aware grounding: A systematic approach to reliability and veracity [0.0]
  大規模言語モデル(LLM)は、自然言語処理(NLP)アプリケーションにおいて、ますます高度でユビキタスなものになりつつある。 本稿では,テクストモデルにおける文脈的接地のための新しい枠組みについて述べる。 本研究は, 医療, 法制度, 社会サービスなどのセンシティブな分野におけるLCMの展開に重要な意味を持つ。
  論文  参考訳（メタデータ） (2024-08-07T18:12:02Z)
• Evaluating Knowledge-based Cross-lingual Inconsistency in Large Language Models [16.942897938964638]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて例外的な性能を示している。 彼らの成功にもかかわらず、これらのモデルはしばしば異なる言語で同じ概念を処理する際に大きな矛盾を示す。 本研究は,LLMにおける言語間不整合の存在,これらの不整合が現れる特定の側面,LLMの言語間整合性と多言語機能との相関の3つの主要な疑問に焦点をあてる。
  論文  参考訳（メタデータ） (2024-07-01T15:11:37Z)
• Exploring the Correlation between Human and Machine Evaluation of Simultaneous Speech Translation [0.9576327614980397]
  本研究では,人間の評価と相関関係を解析することにより,同時解釈評価における自動メトリクスの信頼性を評価することを目的とする。 ベンチマークでは,言語専門家による人間の評価を用いて,文の埋め込みと大規模言語モデルとの相関性を評価する。 その結果, GPTモデル, 特に直接的プロンプトを用いた GPT-3.5 は, ソーステキストとターゲットテキストのセマンティックな類似性の観点から, 人間の判断と最強の相関を示すことが示唆された。
  論文  参考訳（メタデータ） (2024-06-14T14:47:19Z)
• Regularized Conventions: Equilibrium Computation as a Model of Pragmatic Reasoning [72.21876989058858]
  本稿では,信号ゲームの正規化平衡を探索することにより,発話を生成・理解する実用的な言語理解のモデルを提案する。 このモデルでは、話者とリスナーは文脈的に適切な発話を探索し、ゲーム理論の最適規則に近づき、共有された'デフォルト'セマンティクスに近い意味のマッピングを意味づける。
  論文  参考訳（メタデータ） (2023-11-16T09:42:36Z)
• Self-Consistent Narrative Prompts on Abductive Natural Language Inference [42.201304482932706]
  アブダクションは、物語の理解と日常の状況の推論に欠かせないものと見なされてきた。 本稿では,自己整合性と相互整合性を考慮した即時チューニングモデル$alpha$-PACEを提案する。
  論文  参考訳（メタデータ） (2023-09-15T10:48:10Z)
• DiPlomat: A Dialogue Dataset for Situated Pragmatic Reasoning [89.92601337474954]
  プラグマティック推論は、実生活における会話でしばしば起こる暗黙の意味を解読する上で重要な役割を担っている。 そこで我々は,現実的な推論と会話理解の場所に関するマシンの能力のベンチマークを目的とした,新しい挑戦であるDiPlomatを紹介した。
  論文  参考訳（メタデータ） (2023-06-15T10:41:23Z)
• BabySLM: language-acquisition-friendly benchmark of self-supervised spoken language models [56.93604813379634]
  音声表現を学習するための自己指導技術は、人間のラベルを必要とせずに、音声への露出から言語能力を高めることが示されている。 語彙および構文レベルで音声言語モデルを探索するために,言語習得に親しみやすいベンチマークを提案する。 テキストと音声のギャップを埋めることと、クリーンな音声とその内話のギャップを埋めることである。
  論文  参考訳（メタデータ） (2023-06-02T12:54:38Z)
• Natural Language Decompositions of Implicit Content Enable Better Text Representations [52.992875653864076]
  本稿では,暗黙的に伝達されたコンテンツを明示的に考慮したテキスト分析手法を提案する。 我々は大きな言語モデルを用いて、観察されたテキストと推論的に関係する命題の集合を生成する。 本研究は,NLPにおいて,文字のみではなく,観察された言語の背景にある意味をモデル化することが重要であることを示唆する。
  論文  参考訳（メタデータ） (2023-05-23T23:45:20Z)
• An Inclusive Notion of Text [69.36678873492373]
  テキストの概念の明確さは再現可能で一般化可能なNLPにとって不可欠である,と我々は主張する。 言語的および非言語的要素の2層分類を導入し,NLPモデリングに使用することができる。
  論文  参考訳（メタデータ） (2022-11-10T14:26:43Z)
• Learning Relation Alignment for Calibrated Cross-modal Retrieval [52.760541762871505]
  言語的・視覚的関係のセマンティックな距離を計測し,関係の一貫性を定量化するための新しい指標ISD(Intra-modal Self-attention Distance)を提案する。 ISDを最適化し、モダル間アライメントを介してモダル内アライメントを相互に調整するための正規化訓練法である、モダル内アライメント(IAIS)について述べる。
  論文  参考訳（メタデータ） (2021-05-28T14:25:49Z)
• On the Faithfulness Measurements for Model Interpretations [100.2730234575114]
  ポストホックな解釈は、自然言語処理(NLP)モデルがどのように予測を行うかを明らかにすることを目的とする。 これらの問題に取り組むために,我々は,削除基準,解釈の感度,解釈の安定性という3つの基準から始める。 これらの忠実性概念のデシデラタムに動機づけられ、敵対的領域からのテクニックを採用する新しい解釈方法のクラスを導入する。
  論文  参考訳（メタデータ） (2021-04-18T09:19:44Z)
• Measuring and Improving Consistency in Pretrained Language Models [40.46184998481918]
  予測言語モデル(PLM)は、事実的知識に関して一貫性があるか? ParaRel を用いて、我々が実験したすべての PLM の整合性は貧弱であるが、関係のばらつきは高い。
  論文  参考訳（メタデータ） (2021-02-01T17:48:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。