新テストポイントにAIを導入して
スマートにオーバーヘッドを減らす話

※2022年3月現在開発中の機能となり、リリース時の仕様と異なる場合があります。

はじめに

従来、トレース機能を持ったテストツールを使用するうえで、弊社DTシリーズDT+シリーズに関わらず必ずと言っていいほど課題になってしまうのが、オーバーヘッドです。このオーバーヘッドとどうやってうまく付き合っていくか、ここが上手くいかないことにはテストのしようがありません。

※オーバーヘッド：ある特定の処理を実行するのに必要となる時間やメモリ量のこと

弊社の動的テストツール「DT+」の場合、処理の通過情報を出力するために、テストポイントと呼ばれるものをソースコード中に挿入する必要がありますが、このテストポイント挿入によって、オーバーヘッド（この場合、通過情報を出力する処理にかかる時間）が増加します。すると、この処理時間の増加がソフト全体に影響し、場合によってはテスト対象機器の動作が不安定になる場合があります。

これについては、弊社でも長年の課題となっています。理想としては、もちろんオーバーヘッドが全くかからない状態でテストするのが望ましいです。ただし、現実的には、動的テストが実機を動かしてテストをするものである以上、オーバーヘッドを0にすることは不可能で、ターゲットの動作に大小さまざまな影響を与えてしまいます。print文デバッグにおけるprint文であろうが、DT+のテストポイントのような「ツールのテストコード」であろうが、この前提は覆りません。

でも、機能安全規格に準拠した開発をされている方であればご存じとは思いますが、テストコードを挿入したテストを行うことは必ずしもNGではありません。テストコードを挿入したコードでの動作でも、実際の動きと差異なく動作することがテストにより保証できれば、場合によってはツールを用いてトレースすることも認められています。

それならば、動的テストツールを使って一度に広範囲にテストコードを入れられるほうが、より楽で効果的なテストを実現できます。そのためにはオーバーヘッドは極力小さいほうがいい。しかし、オーバーヘッドを極小にしてしまうと、十分な通過情報が集められず、あまり意味のないツールになってしまう･･･。

そこで今回は、オーバーヘッドを最小限に抑えつつ効率的なテストを実現するために、ハートランド・データの技術陣が新規投入する最新テストポイントを、オーバーヘッドと照らし合わせつつご紹介します。

新機能と新規テストポイント挿入アルゴリズムの開発

弊社のテストツール開発部門は、かねてより汎用ポート接続におけるオーバーヘッド改善のために試行錯誤を重ねてきましたが、その過程で3つの機能を生み出しました。
まずはこちらからご紹介しましょう。

カバレッジ専用ドライバ

このように、オーバーヘッドのお悩み解決を目指して機能を開発してきました。
これらはオーバーヘッドの削減に大きく寄与できるものの、

• ・挿入できる各機能のテストポイントの個数が限定されてしまうこと
• ・カバレッジ計測のための機能に限定されてしまうこと

といった制限事項のために、オーバーヘッドとは別の課題が残ってしまうことがありました。

そこで弊社では、せっかくテストポイントを挿入するのであれば、次に通過するテストポイントを予測して、予測が正しければ正しいことを示す信号を出すだけでもいいのではないか？というところに着目しました。

この考え方によって開発されたのが「AI予測トレース機能」です。

新機能！AI予測トレース

次に通過するであろうテストポイントを予測し、予測が当たっていれば最小のオーバーヘッドで最大の計測データを取得できるテストポイントです。※予測が外れた場合は通常のテストポイント出力となります。
この機能には、従来のテストポイントの挿入のために作られたソースコード解析アルゴリズムとは異なる、新開発されたアルゴリズムを使ったアプリケーション「DT+Builder(仮)」が使われています。

このDT+Builderがテストポイントの通過予測を行うのですが、ただ予測するだけではありません。
レポート収集をするたびにテストポイントの通過情報を学習し、予測アルゴリズムの精度を上げていきます。

つまりは、「使えば使うほど予測精度が上がる」ツールになるということです。

本機能を使用するうえで、ユーザーの操作は変わりません。
従来通り、「テストポイントを挿入」⇒「ビルド／コンパイル」⇒「実行してデータ取得」の流れです。
新しく覚える操作は特にありませんので、ユーザーが操作感における違和感を感じることなくご使用いただけます。

対応する接続方式は、汎用ポートを使用する接続です。

オーバーヘッド実測

さて、ここまでお読みいただいた方は、
「とはいえ、実際どのくらいオーバーヘッドが減るのだろう？」
とお思いではないでしょうか。

そこで、以下のとおり、測定を行ってみました。(弊社にあるデモ用の環境での参考値となります。)

以下のようなサンプルコードにテストポイントを2行連続で入れ、その時の差分の時間(実質のオーバーヘッド)を計測しました。

赤枠のところをご参照いただくと、軒並み桁数が減っていることがお分かりいただけます。
SPIやI2Cにおいては、オーバーヘッドがおおよそ10％～20%まで削減されたことがわかりました。
※環境によってこの値は異なります。

ここの結果から読み取ると、使用する汎用ポート数が少ない接続ほど、効果を感じられやすいのかもしれません。

オーバーヘッド時間の削減率でいえばラピッドロジックトレースには敵いませんが、その代わりAI予測トレース機能のテストポイントには設定数の制限がありません。また、通常のデータ出力用ポートの他に専用ポートを確保するようなことも必要もありません。そういった使い勝手の面において、「より使いやすく」「幅広い箇所の可視化」が実現できるものと確信しています。

使用用途に合わせて、どの機能を使うべきか？もしお悩みでしたら、まずはこの「AI予測トレース」をご使用いただければと思います。

まとめ

今回はオーバーヘッド削減の観点から、DT+が持つ様々なテストポイントと開発中の新機能AI予測トレースについてお送りしました。

従来の通常テストポイントでは、

• ・テスト対象機器の空きポートが足りない
• ・オーバーヘッドがかかりすぎる

といった問題で導入できなかった方、ぜひ改めてご検討いただきたく思います！

弊社では、エンジニアが抱える組み込み開発の不便の解消を目指して、今後もより小さなオーバーヘッドでご使用いただけるツールを目指して開発を続けてまいります。
引き続きDT+にご期待ください！