論文の概要: On the Limitations of Combining Sentiment Analysis Tools in a Cross-Platform Setting

• arxiv url: http://arxiv.org/abs/2502.06665v1
• Date: Mon, 10 Feb 2025 16:51:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-11 14:34:14.706653
• Title: On the Limitations of Combining Sentiment Analysis Tools in a Cross-Platform Setting
• Title（参考訳）: クロスプラットフォーム設定における複合感性分析ツールの限界について
• Authors: Martin Obaidi, Henrik Holm, Kurt Schneider, Jil Klünder,
• Abstract要約: 投票分類器における3つの感情分析ツールの組み合わせを信頼性と性能に応じて分析する。 結果として、この種のツールの組み合わせは、プラットフォーム内設定において良い選択であることが示された。 しかし、多数決は必ずしもクロスプラットフォームのドメインに適用する場合により良い結果をもたらすとは限らない。
• 参考スコア（独自算出の注目度）: 2.3818760805173342
• License:
• Abstract: A positive working climate is essential in modern software development. It enhances productivity since a satisfied developer tends to deliver better results. Sentiment analysis tools are a means to analyze and classify textual communication between developers according to the polarity of the statements. Most of these tools deliver promising results when used with test data from the domain they are developed for (e.g., GitHub). But the tools' outcomes lack reliability when used in a different domain (e.g., Stack Overflow). One possible way to mitigate this problem is to combine different tools trained in different domains. In this paper, we analyze a combination of three sentiment analysis tools in a voting classifier according to their reliability and performance. The tools are trained and evaluated using five already existing polarity data sets (e.g. from GitHub). The results indicate that this kind of combination of tools is a good choice in the within-platform setting. However, a majority vote does not necessarily lead to better results when applying in cross-platform domains. In most cases, the best individual tool in the ensemble is preferable. This is mainly due to the often large difference in performance of the individual tools, even on the same data set. However, this may also be due to the different annotated data sets.
• Abstract（参考訳）: 現代のソフトウェア開発では、ポジティブな作業環境が不可欠です。 満足した開発者はより良い結果をもたらす傾向にあるため、生産性を高める。 感性分析ツールは、ステートメントの極性に応じて、開発者間のテキストコミュニケーションを分析し、分類する手段である。 これらのツールのほとんどは、開発対象のドメイン(GitHubなど)のテストデータで使用すると、有望な結果をもたらす。 しかし、異なるドメイン(Stack Overflowなど)で使用すると、ツールの結果は信頼性に欠ける。 この問題を解決する1つの方法は、異なるドメインでトレーニングされた異なるツールを組み合わせることである。 本稿では,3つの感情分析ツールの組み合わせを,その信頼性と性能に応じて分析する。 ツールはトレーニングされ、既存の5つの極性データセット(GitHubなど)を使用して評価される。 結果として、この種のツールの組み合わせは、プラットフォーム内設定において良い選択であることが示された。 しかし、多数決は必ずしもクロスプラットフォームのドメインに適用する場合により良い結果をもたらすとは限らない。 ほとんどの場合、アンサンブルで最高の個別の道具が好まれる。 これは主に、同じデータセットであっても、個々のツールのパフォーマンスに大きな違いがあるためです。 しかし、これはまた、アノテーション付きデータセットが異なるためかもしれない。

関連論文リスト

• Sentiment Analysis Tools in Software Engineering: A Systematic Mapping Study [43.44042227196935]
  私たちは、特定の目的のために、開発者やステークホルダーが感情分析ツールを選択するのを助けることを目的としています。 本研究は,(1)アプリケーション領域,(2)目的,(3)使用済みデータセット,(4)感情分析ツール開発へのアプローチ,(5)既存のツールの利用,(6)研究者が直面する困難について,106の論文から得られた知見を要約したものである。
  論文  参考訳（メタデータ） (2025-02-11T19:02:25Z)
• Does the Tool Matter? Exploring Some Causes of Threats to Validity in Mining Software Repositories [9.539825294372786]
  10の大規模なソフトウェアプロジェクトを抽出し分析するために、2つのツールを使用します。 同様の傾向にもかかわらず、コミット数や開発者の数のような単純なメトリクスでさえ、最大500%の違いがある。 このような大きな違いは、しばしば小さな技術的な詳細によって引き起こされる。
  論文  参考訳（メタデータ） (2025-01-25T07:42:56Z)
• ToolHop: A Query-Driven Benchmark for Evaluating Large Language Models in Multi-Hop Tool Use [51.43211624452462]
  995のユーザクエリと3,912の関連ツールからなるデータセットであるToolHopを提示する。 ToolHopは、多様なクエリ、意味のある相互依存性、ローカル実行可能なツール、詳細なフィードバック、検証可能な回答を保証する。 5つのモデルファミリーにまたがる14のLSMを評価し、マルチホップツールの使用シナリオを扱う上で重要な課題を明らかにした。
  論文  参考訳（メタデータ） (2025-01-05T11:06:55Z)
• Meta-Reasoning Improves Tool Use in Large Language Models [10.193264105560864]
  本稿では,タスクを最初に理由付け,候補ツールを出力する2段階システムであるTECTON(Meta-reasONing)によるツール選択を提案する。 TECTONは、様々な数学推論データセットにおいて、分布内と分布外の両方において、実質的なゲインをもたらす。
  論文  参考訳（メタデータ） (2024-11-07T08:48:33Z)
• You Shall Know a Tool by the Traces it Leaves: The Predictability of Sentiment Analysis Tools [74.98850427240464]
  感情分析ツールが同じデータセットで一致しないことを示す。 感傷的アノテーションに使用される感情ツールは,その結果から予測できることを示す。
  論文  参考訳（メタデータ） (2024-10-18T17:27:38Z)
• Efficacy of static analysis tools for software defect detection on open-source projects [0.0]
  この調査では、SonarQube、PMD、Checkstyle、FindBugsといった一般的な分析ツールを使って比較を行った。 その結果,SonarQubeの欠陥検出は,他のツールと比較してかなり優れていることがわかった。
  論文  参考訳（メタデータ） (2024-05-20T19:05:32Z)
• What Are Tools Anyway? A Survey from the Language Model Perspective [67.18843218893416]
  言語モデル(LM)は強力だが、主にテキスト生成タスクに向いている。 LMが使用する外部プログラムとしてツールを統一的に定義する。 各種ツールの効率を実証的に検討した。
  論文  参考訳（メタデータ） (2024-03-18T17:20:07Z)
• TOOLVERIFIER: Generalization to New Tools via Self-Verification [69.85190990517184]
  本稿では,ツール選択中にコントラスト質問を自己問合せすることで,近接候補を識別する自己検証手法を提案する。 ToolBenchベンチマークによる4つのタスクの実験では、17の見えないツールで構成されており、数ショットのベースラインよりも平均22%改善されている。
  論文  参考訳（メタデータ） (2024-02-21T22:41:38Z)
• ControlLLM: Augment Language Models with Tools by Searching on Graphs [97.62758830255002]
  我々は,大規模言語モデル(LLM)が実世界のタスクを解くためのマルチモーダルツールを利用できる新しいフレームワークであるControlLLMを提案する。 フレームワークは,(1)複雑なタスクを明確なサブタスクに分割し,入力と出力を適切に定義したサブタスクに分解するtextittask Decomposer,(2)構築済みのツールグラフ上で最適なソリューションパスを探索する textitThoughts-on-Graph(ToG)パラダイム,(3)ソリューションパスを解釈して実行するリッチなツールボックスを備えた textitexecution Engine,の3つの主要なコンポーネントから構成される。
  論文  参考訳（メタデータ） (2023-10-26T21:57:21Z)
• MetaTool Benchmark for Large Language Models: Deciding Whether to Use Tools and Which to Use [79.87054552116443]
  大規模言語モデル(LLM)は、その印象的な自然言語処理(NLP)能力のために大きな注目を集めている。 このベンチマークは、LLMがツールの使用意識を持ち、ツールを正しく選択できるかどうかを評価するためのものだ。 8つの人気のあるLCMを巻き込んだ実験を行い、その大半は依然として効果的にツールを選択するのに苦労していることがわかった。
  論文  参考訳（メタデータ） (2023-10-04T19:39:26Z)
• Open Tracing Tools: Overview and Critical Comparison [10.196089289625599]
  本稿では,一般的なOpenトレースツールの概要を比較を通じて示すことを目的としている。 われわれはまず,目的,体系的,再現可能な方法でRa30ツールを同定した。 その結果,1) 評価機能,2) ピアレビュー文学とオンラインメディアの両方での人気,3) メリットと課題を考察した。
  論文  参考訳（メタデータ） (2022-07-14T12:52:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。