論文の概要: Aligning Language Models for Icelandic Legal Text Summarization

• arxiv url: http://arxiv.org/abs/2504.18180v1
• Date: Fri, 25 Apr 2025 08:55:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:53.705261
• Title: Aligning Language Models for Icelandic Legal Text Summarization
• Title（参考訳）: アイスランドの法的テキスト要約のための言語モデル
• Authors: Þórir Hrafn Harðarson, Hrafn Loftsson, Stefán Ólafsson,
• Abstract要約: 本研究では,アイスランドの法的な要約を生成する上で,嗜好に基づくトレーニング技術がモデルの性能を向上させるか否かを検討する。 その結果、選好訓練は、標準的な微調整よりも生成した要約の法的な精度を向上させるが、アイスランド語使用の全体的な品質を著しく向上させるものではないことが示唆された。
• 参考スコア（独自算出の注目度）: 1.5259290787592112
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The integration of language models in the legal domain holds considerable promise for streamlining processes and improving efficiency in managing extensive workloads. However, the specialized terminology, nuanced language, and formal style of legal texts can present substantial challenges. This study examines whether preference-based training techniques, specifically Reinforcement Learning from Human Feedback and Direct Preference Optimization, can enhance models' performance in generating Icelandic legal summaries that align with domain-specific language standards and user preferences. We compare models fine-tuned with preference training to those using conventional supervised learning. Results indicate that preference training improves the legal accuracy of generated summaries over standard fine-tuning but does not significantly enhance the overall quality of Icelandic language usage. Discrepancies between automated metrics and human evaluations further underscore the importance of qualitative assessment in developing language models for the legal domain.
• Abstract（参考訳）: 法的領域における言語モデルの統合は、プロセスの合理化と広範囲なワークロード管理の効率向上を大いに約束する。 しかし、専門用語、ニュアンス言語、形式的な法文の形式は、重大な課題を生じさせる可能性がある。 本研究では,特に人間のフィードバックからの強化学習と直接選好最適化が,ドメイン固有の言語標準やユーザの嗜好と整合したアイスランドの法的な要約を生成する上で,モデルの性能を向上させることができるかどうかを検討する。 我々は、従来の教師あり学習モデルと比較し、好みの訓練と微調整されたモデルを比較した。 その結果、選好訓練は、標準的な微調整よりも生成した要約の法的な精度を向上させるが、アイスランド語使用の全体的な品質を著しく向上させるものではないことが示唆された。 自動メトリクスと人的評価の相違は、法的ドメインのための言語モデルを開発する上での質的評価の重要性をさらに浮き彫りにする。

関連論文リスト

• CPG-EVAL: A Multi-Tiered Benchmark for Evaluating the Chinese Pedagogical Grammar Competence of Large Language Models [6.0020878662404975]
  本稿では、外国語教育の文脈において、LLMの教育文法に関する知識を評価するために設計された最初のベンチマークを紹介する。 このベンチマークは、文法認識、微粒な文法的区別、分類的識別、言語的干渉に対する抵抗性を評価するために設計された5つのタスクからなる。
  論文  参考訳（メタデータ） (2025-04-17T18:01:50Z)
• Enhancing Coreference Resolution with Pretrained Language Models: Bridging the Gap Between Syntax and Semantics [0.9752323911408618]
  そこで本研究では,事前学習型言語モデルを用いて,コア参照解決の強化を目的とした,革新的なフレームワークを提案する。 本手法では,構文解析と意味的役割ラベリングを組み合わせることで,参照関係におけるより微細な特徴を正確に把握する。
  論文  参考訳（メタデータ） (2025-04-08T09:33:09Z)
• Enhancing Recommender Systems Using Textual Embeddings from Pre-trained Language Models [2.3020018305241337]
  本稿では,事前学習した言語モデルからのテキスト埋め込みを用いたレコメンデータシステムの強化について検討する。 本実験は,提案手法が推奨精度と妥当性を著しく向上し,よりパーソナライズされ,コンテキスト対応のレコメンデーションが実現されることを実証した。
  論文  参考訳（メタデータ） (2025-03-24T09:03:12Z)
• Align-SLM: Textless Spoken Language Models with Reinforcement Learning from AI Feedback [50.84142264245052]
  テキストレス音声言語モデル(SLM)のセマンティック理解を強化するためのAlign-SLMフレームワークを導入する。 提案手法は、与えられたプロンプトから複数の音声継続を生成し、意味的指標を用いて、直接選好最適化(DPO)のための選好データを生成する。 語彙および構文モデリングのためのZeroSpeech 2021ベンチマーク、意味的コヒーレンスのためのStoryClozeデータセットの音声バージョン、GPT4-oスコアや人間評価などの音声生成指標を用いて、フレームワークの評価を行った。
  論文  参考訳（メタデータ） (2024-11-04T06:07:53Z)
• Self-training Language Models for Arithmetic Reasoning [0.0]
  我々は、新しいデータなしでモデルの推論能力を改善する可能性を探る。 モデルは単一ラウンド(オフライン)とオンラインの自己学習の両方で大幅に改善できることがわかった。
  論文  参考訳（メタデータ） (2024-07-11T11:06:05Z)
• Learning Phonotactics from Linguistic Informants [54.086544221761486]
  本モデルでは,情報理論的なポリシーの1つに従って,データポイントを反復的に選択または合成する。 提案モデルでは,情報提供者を問う項目の選択に使用する情報理論のポリシーが,完全教師付きアプローチに匹敵する,あるいはそれ以上の効率性が得られることがわかった。
  論文  参考訳（メタデータ） (2024-05-08T00:18:56Z)
• Improving Korean NLP Tasks with Linguistically Informed Subword Tokenization and Sub-character Decomposition [6.767341847275751]
  本稿では, Byte Pairの適用課題に対処するために, サブ文字分解を利用した形態素認識サブワードトークン化手法を提案する。 我々のアプローチは、事前学習言語モデル(PLM)における言語精度と計算効率のバランスをとる 本手法は, NIKL-CoLAの構文的タスクにおいて, 総合的に優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2023-11-07T12:08:21Z)
• Exploring Large Language Model for Graph Data Understanding in Online Job Recommendations [63.19448893196642]
  本稿では,大規模言語モデルが提供するリッチな文脈情報と意味表現を利用して行動グラフを解析する新しいフレームワークを提案する。 この機能を利用することで、個々のユーザに対してパーソナライズされた、正確なジョブレコメンデーションが可能になる。
  論文  参考訳（メタデータ） (2023-07-10T11:29:41Z)
• Offline RL for Natural Language Generation with Implicit Language Q Learning [87.76695816348027]
  ユーザ指定タスクの完了に関して、大きな言語モデルは矛盾する可能性がある。 本稿では,RLのフレキシブル・ユーティリティ・フレームワークと教師あり学習能力を組み合わせた新しいRL手法を提案する。 ILQLの実証的な検証に加えて、オフラインRLが自然言語生成設定で有用となるような、詳細な経験的分析状況も提示する。
  論文  参考訳（メタデータ） (2022-06-05T18:38:42Z)
• Lex Rosetta: Transfer of Predictive Models Across Languages, Jurisdictions, and Legal Domains [40.58709137006848]
  言語間で転送可能なGRU(Gated Recurrent Units)を用いたシーケンスラベリングモデルにおけるLanguage-Agnostic Sentence Representationsの使用を分析する。 トレーニング対象のコンテキストを超えて,モデルが一般化されることが分かりました。 複数のコンテキストでモデルをトレーニングすることで、ロバスト性が向上し、これまで見つからなかったコンテキストで評価する際の全体的なパフォーマンスが向上することがわかった。
  論文  参考訳（メタデータ） (2021-12-15T04:53:13Z)
• Unsupervised Domain Adaptation of a Pretrained Cross-Lingual Language Model [58.27176041092891]
  最近の研究は、大規模未ラベルテキストに対する言語間言語モデルの事前学習が、大幅な性能向上をもたらすことを示唆している。 本稿では,絡み合った事前学習した言語間表現からドメイン固有の特徴を自動的に抽出する,教師なし特徴分解手法を提案する。 提案モデルでは、相互情報推定を利用して、言語間モデルによって計算された表現をドメイン不変部分とドメイン固有部分に分解する。
  論文  参考訳（メタデータ） (2020-11-23T16:00:42Z)
• Cross-lingual Spoken Language Understanding with Regularized Representation Alignment [71.53159402053392]
  外部リソースを使わずに言語間で単語レベルの表現と文レベルの表現を整列する正規化手法を提案する。 言語間言語理解タスクの実験により、我々のモデルは、数ショットとゼロショットの両方のシナリオにおいて、最先端の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2020-09-30T08:56:53Z)
• Selecting Informative Contexts Improves Language Model Finetuning [66.26521454263343]
  本稿では,情報ゲインフィルタと呼ぶ汎用的な微調整手法を提案する。 微調整中、二次学習者は情報的例を選択し、非情報的例をスキップする。 提案手法は,データセット,微調整タスク,言語モデルアーキテクチャ間で一貫した改善がなされていることを示す。
  論文  参考訳（メタデータ） (2020-05-01T02:01:18Z)
• Exploring Fine-tuning Techniques for Pre-trained Cross-lingual Models via Continual Learning [74.25168207651376]
  訓練済みの言語モデルから下流の言語間タスクへの微調整は、有望な結果を示している。 ダウンストリームタスクに微調整する場合、継続学習を活用して、事前学習したモデルの言語間能力を維持する。 提案手法は、ゼロショット言語間タグ付けや名前付きエンティティ認識タスクにおいて、他の微調整ベースラインよりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2020-04-29T14:07:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。