You dont have javascript enabled! Please enable it!

テストのプロセスと方法論

プロセスと方法論の詳細な説明

Generic Enabler の新リリースはすべて、QA 計画に含まれています。この計画は、FIWARE QA チームがテストするコンポーネントと実行された作業を追跡する共有スペースです。あらゆる種類のテストは非同期で実行され、GE バージョンごとにすべてのテストが完了すると、その GE の全体ラベルの更新値を進めて計算することができます。

FIWARE QA チームは、引き続き、すべての Generic Enablers を評価しています。

ドキュメント・テストの手順

  1. 設計されたテストは、GE の完全性、一貫性、健全性、ユーザビリティをチェックすることを目的としています。評価者のプロファイルに基づいているため、いくつかのチェックは主観的です。したがって、2つの評価レベル (意思決定者と開発者) が識別されます
  2. 完全性を確認するということは、リリースされた各アーティファクトがすべての部分で完結していることを確認することを意味します。 実行するすべての検証を含む詳細なチェックリストは、これらのテストにリンクされています。この情報は、アプリケーションがニーズに合っているかどうかを判断するための概要を必要とする高レベルのユーザ・プロファイルにとって、ほとんどの場合役に立ちます。完全性の別の検証は、プログラマーズ・ガイドがオープン仕様を適切にカバーしているかどうかを検証することです
  3. 一貫性のチェックはリリースが予想されるすべてのアーティファクトが含まれていることを、それらの間の一貫性があることを確認していきます
  4. 健全性のチェックは、各アーチファクトは、その目的とそれらを使用する人々のプロファイルに適したに適切な内容を持っていることを保証します。実際、ドキュメントの内容は、FIWARE に基づいてソリューションを採用するかどうかを決めるマネージャには十分かもしれませんが、実装しなければならない開発者にとっては十分ではなく、その逆もあります
  5. 最後に、ユーザビリティのチェックでは、ドキュメントまたはパッケージが簡単に使用可能であることを検証します。たとえば、インストール・マニュアルでリリースされたパッケージを適切にインストールすることができます。

機能テストのステップ

  1. テストする GE を選択します
  2. ドキュメントで提供されている API 仕様に従って、テストケースを適切に定義します
  3. 選択した GE の実行中のインスタンスを準備します。以下のサブ・ステップは、実行速度の低下の順に列挙されており、可能な限り最短時間で、テストされる GE のインスタンスを実行するためのものです

    • FIWARE Lab (“Compute”->”Images” メニュー)上で、テストされるバージョンと一致するバージョンを持つインスタンス化される GE イメージを見つけます。利用できない場合は、次のオプションに移動します
    • 選択した GE の “Instances” セクションで、FIWARE Catalog Web サイトで、テストするバージョンの稼動中のインスタンスに対応するサービス・エンドポイントを特定します。利用できない場合、またはこの解決策が実行可能でない場合 (たとえば、エンドポイントでの GE インスタンスのバージョンが確実でないた​​め)、次のオプションに移動します
    • テスト対象のバージョンの FIWARE Catalog Web サイトから提供されるリンクから、Dockerfile をダウンロードしてください。これは、すでにテスト環境に Docker アプリケーション・コンテナをインストールしたことを意味します。利用できない場合は、次のオプションに移動します
    • 製品の選択されたバージョンについては、FIWARE Catalog に記載されているリンクおよびドキュメントに従って、GE をゼロからインストールしてください
    • 稼働中のGEのインスタンスを実行する方法がどれも実行可能でない場合、テストを開始できないため、GE自身に優先度の高い issue がオープンされます
  4. 実行時に1つのステップで、取得された結果が API 仕様で期待される結果に一致することを検証できるようにするために、必要なアサーションを使用してテスト・スクリプト (JMeter がテスト・プロセスを自動化するために選択されます) を開発します
  5. テスト・スクリプトを実行します。このステップでは、期待される結果と各 API 呼び出しで得られた結果との間の合致が検証されます
  6. 結果を収集し、TF/TEレートを公表します
  7. 結果を分析し、失敗した API の issue をオープンします

非機能テストの手順

  1. 現在のフェーズでテストする GE を選択します。この選択は、2つの側面からテストの準備が整っている GE のみをテストするため、機能テストと整合して行われます。そうしないと、品質ラベルを提示することができません。ラベル付けプロセスのすべての基準は、グローバル・ラベルを設定できるように評価する必要があります。潜在的なリストは、FIWARE 技術運営委員会 (FIWARE Technical Steering Committee) によって共有され、承認されています
  2. 以下の手順は、テスト済みの各 GE について同じです。GE を分析し、テストするメトリックを定義します。各 FIWARE GE はさまざまなタイプのアプリケーションであり、全く異なる動作をするため、パフォーマンス、安定性、スケーラビリティの観点から、さまざまなメトリックを使用して動作を測定する必要があります。さらに、識別された各メトリックのリファレンス値を確立する必要があります。これらの値は、テストの実行中に得られた結果に応じてさまざな程度の品質を確立するために使用されます。この手順は、初めて GE がテストされたときに実行されますが、GE が再テストされるたびに必要に応じてレビューおよび更新する必要があります
  3. テスト・ケースとテスト・スクリプトの定義。対応する GE 所有者のサポートにより、過負荷の可能性のあるシナリオが特定されます。これらのシナリオに対する関連するテスト・ケースが定義され、これらのケースで必要なテストを開始するための対応するスクリプトが開発されます
  4. テスト環境の設定。各 GE はさまざな方法でインストールされ展開されるため、テストチームは、GE をインストール、構成、実行するために必要なインフラストラクチャを備えた特定の環境を設定する必要があります。GE の外部が何もコンポーネントの性能、安定性またはスケーラビリティに影響しないように、GE はクリーンで隔離された環境に配置する必要があります。GE とテスト・スクリプトを別のマシンにインストールして直接接続すると、ネットワークの待ち時間もなくなります
  5. テストの実行と結果の収集。すべての設定が完了すると、テスト・スクリプトが起動され、定義されたテスト・ケースを使用して GE を実行し、3つの異なる側面で動作を収集します。長期間に渡って一定の負荷レベル (安定性) でコンポーネントを実行します。より多くのノード (スケーラビリティ) を備えたより大きなインフラストラクチャで GE を実行することです。すべての得られた結果は、さらなる解析のために連続して格納されます
  6. テスト結果の分析。テスト・ツールから収集された結果は、純粋にテスト技術の専門家にとって意味のある数字に過ぎません。したがって、タスクは結果を分析し、結果から結論を抽出して、人間が読めるレポートでそれらを統合します。専門家のツールを使用して、前述の側面および識別されたメトリクスに関する GE の動作をグラフィカルに表示します。すべての GE テストは、FIWARE repository で提供されている専用レポートで報告されます
  7. 品質ラベルの割り当て。得られた結果に基づいて、非機能チームは対応するラベルをさまざまな基準に割り当てます。次に、これらの値は機能テストの結果ラベルとマージされ、FIWARE Catalog に公開されるグローバル・ラベルが取得されます