わずか20数年で50以上の事業を展開し、急成長を続けるDMM.com。DX(デジタルトランスフォーメーション)時代にさらなる事業拡大を目指し、同社はテックカンパニーへの変革に取り組んでいる。その一環として、科学的な品質保証体制を実現するために、テストケース自動生成・実行自動化ツール「Eggplant DAI」を導入した。採用理由には、初心者でも使える直感的な操作、様々なデバイスへの対応、AI技術による探索的テストの大きく3つのポイントがあった。またクラウドを活用し、コロナ禍に伴う在宅勤務において自宅のPCから自動テストの実行を実現。丸紅情報システムズの技術支援のもと、会員数3,409万人を超える総合エンタテイメントサイト「DMM.com」のサービス品質のさらなる向上を図る。
- 初心者への短期間での操作習得、円滑な運用を実現したい
- 様々なデバイス(実機)を使って自動テストを実行したい
- AI技術を活用しテストの網羅性を高めたい
テックカンパニーへの変革を支える科学的な品質保証の実現が重要なテーマに
1999年に石川県加賀市のレンタルビデオ店を母体にスタートしたDMM.com。領域や規模を問わず「なんでもやる」精神のもと50を超える事業を展開し、着実に成長を続けている。同社の主力事業が、会員数3,409 万人以上の総合エンタテイメント サイト「DMM.com」だ。同サイトは動画配信、電子書籍、ゲーム、金融、3Dプリントサービス、AIを活用した中古車買い取りサービスなど、デジタル時代におけるライフスタイルの可能性を広げている。
DXにより社会や産業構造が急速に変化する中、同社は「なんでもやる」精神を支え、さらなる事業の拡大を図るために、テックカンパニーへの変革に取り組んでいる。テックカンパニー化し、スピード感を持って事業を展開していく上で欠かせないのが、品質保証である。総合エンタテイメントサイトでは、サービス品質は競争力となるからだ。テックカンパニー変革を支える品質保証について、テクノロジー本部 QA部 部長 川上琢也氏は話す。
「QA部では最新テクノロジーを活用し、科学的データに基づき品質を高めていくR&Dに近い品質保証を目指しています。その実現に向けて重要なポイントとなるのが、テストの自動化です。手動によるテストでは、全テストパターンのうち実施できた割合を示すカバレッジ(網羅率)に限界があります。24時間365日、自動テストをまわし続けることで品質を徹底追求できます」
同社で科学的な品質保証に取り組むQA部が立ち上がったのは、2020年3月のことだ。設立準備段階の2020年1月からテスト自動化ツールの選定が始まった。「テスト自動化の実現がコロナ禍の品質保証における業務継続性に大きく貢献するとは、当時想像もできませんでした」と川上氏は振り返る。
主力事業の動画配信を中心にテストを自動化
ツール選定では3つのポイントを重視
QA部では、テスト自動化ツールの適用範囲に関して、当初は主力事業の動画配信事業と、DMM.comにおける会員認証など共通で利用する機能を中心に行うことにした。動画配信サービスにおけるテストは、二週間に一度の定期的なリリースといった単体案件と、新機能の導入などに伴う全体案件に大別できる。従来、単体案件は社内の開発部門や運用部門で行い、全体案件は外部に依頼していたという。「テストはサービスを支える品質に直結するため、社内でQA部という専門部署を設けることで、開発や運用の負担を軽減しながら、全体案件も含めて品質に対する責任を全うする狙いがあります」(川上氏)
DMMグループ横断で品質保証を推進するQA部は、テスト自動化ツールの選定において1.初心者も短期間で学習し使えること、2. 様々なデバイスへの対応、3.AIの活用と大きく3つのポイントを重視したという。「新設のQA部では、テストに関する経験者を集めることが難しく、未経験の社内人材をいかに短期間で戦力化していくかは重要な課題でした。また動画配信サービスでは、PCやスマートフォンだけでなく、 PlayStation、Apple TV、Chromecast、Amazon Fire TV、VR(Virtual Reality)ヘッドセットなど多岐にわたるデバイスを使ったテストが必要でした。さらに科学的な品質保証の観点から、知名度よりも先進性やポテンシャルを重視しました」(川上氏)
複数のテスト自動化ツールを選定し検討を重ねた結果、3つのポイントを高い次元ですべて満たしていたのが、Eggplant社のテストケース自動生成・実行自動化ツール「Eggplant DAI」だった。
画像認識技術による様々なデバイスへの対応
AI技術を活用した探索的テストを高く評価
テスト自動化ツールの選定で重視した3つのポイントにおいて、Eggplant DAIを採用した理由について、テクノロジー本部 QA部 高山英介氏は次のように説明する。
- 直感的な操作により初心者にも使いやすい
「Eggplant DAIは、プログラミングができないユーザでも使えることから、他のツールに比べて敷居が低く、学習コストの削減の短縮を実現します。また一行、二行のコードを書くだけでやりたいテストを自動化することもできますし、しっかりとコードを書いて細かいテストを行うことも可能です」 - 独自の画像認識技術により様々なデバイスに対応
「Eggplant DAIは画像認識技術を活用し、リモートにより接続しテストを実行します。例えば、Eggplant DAIは画像を判定しボタンを認識できますが、画像認識機能を備えていない他のツールでは、1つ1つのボタンという要素に対し指示を送らなければなりません。画像で判断するEggplant DAIは、デバイスの種類を問わずテストを自動実行できることから、動画配信サービスと非常に親和性が高いツールです」 - カバレッジ向上を図るAI技術による探索的テスト
「動画配信サービスにおいて、コンテンツ、カテゴリー、利用頻度、会員情報、デバイスなど、異なる要件すべてに対し網羅的にテストを実施しようとすると、天文学的な数のシナリオ作成が必要です。Eggplant DAIはシナリオを作成することなく、AI技術の活用により仮想ユーザが画面上の機能を操作していくかのように探索的テストを行うことで、障害発生のリスクを最小化できる可能性を感じています」
Eggplant DAIがスケジューリング、モニタリング、レポーティングなど必要な機能をパッケージ化している点もポイントになったと川上氏は付け加える。「インストール後すぐに活用できるスピード感や、トータルコストの最適化など総合的な観点で採用を決めました。また、QA部にとって、Eggplant DAIの販売・技術支援を行う丸紅情報システムズの提案力・サポート力はとても心強いです」
クラウドを活用し自宅のPCからリモートで実機を使って自動テストを実行
同社は2020年2月にEggplant DAIの採用を決定し構築を開始。同社におけるEggplant DAIを活用したテスト環境は、金沢と六本木の2拠点で利用するためクラウド(AWS)を活用する仕組みとした。クラウドベースの構成が、結果的にコロナ禍に伴う在宅勤務への柔軟な対応を可能にしたと川上氏は話す。
「クラウド上に構築したEggplant DAIによるシステムに、在宅勤務中の自宅PCからリモートアクセスし、テストケースの生成で必要となるモデルの構築やスケジューリングなどを行います。自動テストは、クラウドを通じて金沢と六本木にあるテスト環境に実行命令が送信され、実機(様々なデバイス)を遠隔操作して行います。また、自宅に居ながら実行状況のモニタリングはもとより、テスト結果のレポートも見ることが可能です」 在宅勤務で利用するため、セキュリティが重要なポイントになったと川上氏は話す。「2拠点とクラウド間を仮想プライベートネットワークのVPN(Virtual Private Network)で結びました。また自宅のPCから直接社内インフラにアクセスするのではなく、クラウドを介することでアクセス制限などセキュリティの強化を図っています」
Eggplantの利用経験者がQA部に存在しなかったため、開発方法にも工夫を施したと高山氏は話す。「ペアプロやモブプロなど複数人で一緒にスクリプトを作成することで、ナレッジを共有しながら効率的かつ効果的に各人が学習を深めていきました。また、コロナ禍対策としてテレビ会議を活用しオンラインで共同作業を行いました」
動画配信事業で成熟度を高めた上で他事業に向けて横展開へ
2020年5月、動画配信事業においてEggplant DAIによるテスト環境の利用を開始。最初はコンテンツの購入やダウンロード、再生など主要機能をターゲットにスモールスタートとし、開発部門も交えて評価を重ねながら徐々に適用シーンを拡大していくという。開発側の評価について高山氏はこう話す。「開発側は、様々なデバイスへの対応や、自宅のPCから自動テストが行えることを高く評価しています。また、主要機能について手動テストと自動テストの結果を比較し差異がなかったことも安心材料となっています。さらに、開発エンジニアでなくてもスクリプトの作成や更新が行えるため、QA部で自動テスト業務を担うことができます。開発部門の負荷を軽減し、開発に集中する時間を創出できる点は、開発側にとって大きなメリットになります」
そして、「デイリーでの自動テストの実行により、これまでコストや時間の制約から実現できなかった、100以上あるコンテンツのパターンに対してテストを実行することも可能です」と期待を口にし、こう続ける。「AI技術を活用した探索的テストにより、ユーザの意図しない使い方やレアなケースから発生する障害を検知し回避することも可能です」
実際に運用していく中で、高山氏は丸紅情報システムズのサポートを高く評価していると話す。「新たなデバイスの自動テストを行う上で、環境構築の仕方や、デバイスの特性から生じるトラブルの解決など、丸紅情報システムズから親身の助言やアドバイスをいただきました。また、メールでの問い合わせや質問に対するレスポンスも非常に早いです。海外メーカーに対する技術的課題の調査依頼から回答のフィードバックまで、当社の立場に立って支援してくださり、海外メーカーの製品でも言葉の壁を気にすることなく安心して利用できる点も助かっています」
今後の展開について川上氏はこう話す。「QA部はAIなど最新技術を全社的な観点で取り組むテクノロジー本部の配下にあることから、各部署と連携しながら経営に貢献する品質保証に取り組んでいきたいと思います。丸紅情報システムズには、今後もメーカーと一体となった支援はもとより、最新の機能や他社事例を含む情報提供にも期待しています」
DMM.comのコーポーレートメッセージ「誰もが見たくなる未来。」の実現に向けた同社の挑戦を、丸紅情報システムズはこれからもEggplant DAIをはじめとする先進技術の提供を通じて支援していく。
