FIWARE GEs のテスト

FIWAREは、マーケット・レディなソフトウェアであり、実際のワークロード条件下でプラットフォームを信頼性の高い方法で拡張する必要のある生産環境の要件に対応できます。この事実は、各 FIWARE コンポーネント (以下、FIWARE Generic Enabler を GE と記載) は、商用グレードのシステムに適した品質、信頼性、およびパフォーマンスレベルを提供しなければならないことを意味します。そのため、さまざまな種類の方法、スクリプト、レポート、GE のラベル、アセスメント・ダッシュボードを提供して、GE の品質レベルを分析および評価するための専用のタスクが FIWARE イニシアチブの下に定義されています。

テストの種類

各 FIWARE GE の品質は、3つの異なる角度から評価されます :

機能テスト：GE 仕様の検証です。FIWARE GE の実装が仕様に定義されているものと一致するかどうかを評価するための適切なテストケースを開発しています
非機能テスト：過負荷のような運用環境でのパフォーマンス、安定性、スケーラビリティの評価です。試験シナリオは定義され実行され、試験中の GE の限界が特定され、定義された基準レベルと比較することができます
ドキュメント・テスト：コードと付随するドキュメント (インストール・マニュアル、ユーザ・ガイドライン、アカデミー・コースなど) の両方を検査します。この評価の目標は、FIWARE ユーザが FIWARE 技術のインストール、設定、および操作に関する高品質のドキュメントを活用できることを保証することです

機能テスト

これらのテストは、関連する API 仕様で記述されている FIWARE GE 機能を検証し、期待される結果と実際の結果との不一致を報告することを目的としています。したがって、生成される主な出力は、テストされた各 GE について、失敗したテストと実行したテスト (TF/TE) の比率です。

非機能テスト

どのような FIWARE GE でも3種類の非機能テストが実行されます :

パフォーマンス・テスト : これはコンポーネントの一般的なストレス・テストです。最も頻繁に実行されるシナリオは、コンポーネントの限界に達するまでに増加している多くの要求を開始することによって、過負荷になります。これは、対応するコンポーネントの機能 (API) がストックされることなく処理できる1秒あたりの更新の数によって測定されます
スタビリティ・テスト : この種のテストでは、GE の時間に沿った動作が、常に一定の仕事をしていることが示されています。ここでの目的は、長期間の一定の実行中に GE がメモリリークや CPU 飽和が発生したかどうかを検出することです。コンポーネントが正しくプログラミングされている場合は、メモリとプロセッサの使用状況を適切に管理する必要があり、問題が発生してはなりません
スケーラビリティ・テスト : このテストでは、コンポーネントが実行されているマシンの数をシミュレートすることによって、コンポーネントのスケーラビリティを予測します。これは、応答時間の増加速度とユーザ数の増加速度との間の比を用いて測定されます。最高のスケーラビリティ比に最も近い値は、応答時間が負荷と同じペースで増加していることを示します。

ドキュメント・テスト

FIWARE Catalogue : ユーザは各 GE についての便利な情報を簡単にナビゲートして見つけることができなければなりません。したがって、このテストでは、そのような情報が到達可能であり、このエントリポイントによって正しく参照されていることが確認されます
インストールマニュアル : 各 GE を展開するために必要な必要な情報を提供します。関連する評価では、最初に、FIWARE コミュニティがコード (CaaC) 方法論としてコンフィグレーションを使用することに同意したため、関連する Docker ファイルの存在と機能が良好であることです。Dockerfile が存在しない場合は、各ユーザのために最高のユーザ・エクスペリエンスを確保するために、これらのマニュアルで定義されている手順を確認してください
FIWARE Academy : 各 GE のチュートリアルやコースが収集されている場所です。FIWARE Q Aチームは、定義された品質保証 (QA) ガイドラインに従って、FIWARE Academy で利用可能なトレーニング・コースの評価テストを継続して行います。FIWARE Academy で作成され発行されたすべてのトレーニング資料は、これらのガイドライン基準に基づいて評価されます。このようにして、効果的なトレーニングの提供を認めることができます。QA 基準に基づいて、公開されたコースは FIWARE チームによって、”Not Good/Sufficient/Good” というラベルを取得します。コースに問題がある場合、チームは問題を解決するため GE のコミュニティに連絡します。

GE ラベル

さまざまな FIWARE Generic Enabler で実行されたテストの結果セット全体を分析するのは難しく時間がかかる作業です。したがって、開発者が特定の GE の全体的な品質が何であるかを理解するのに役立つシンプルで意味のあるラベリング・スキーマを提供することが望ましいでしょう。実証済みのモデルに続いて、EU エネルギー・デバイス・ラベリングと同様のスキーマが FIWARE GE に適用されると定義されています。

目標は、GE の全体的な品質レベルを要約するラベルを GE ごとに確立することです。この総合ラベルは、各試験カテゴリについて得られたラベルの平均として計算されます。

それぞれの基準および全体的なレベルにおける各 GE への割り当てられたラベルの要約は、ここで見つけることができます
各 GE に割り当てられた QA ラベルは、FIWARE Catalogue にも表示されます
テストに使用されるプロセスと方法の詳細な説明は、ここで見つけることができます