2017-02-19

『知識ゼロから学ぶソフトウェアテスト』あるいは無残なるノーテスト

Java でプログラミングをしている場合に、テストケースの作成に JUnit をベースにテストしているケースがあるかと思います. “Assert that X is Y.” の考え方を基本に is を not や nullValue などしてテストケースを書いていくよいライブラリと思うのですが…

テストもカバレッジもちゃんとやってます！

それは昔々の事、とあるアプリケーションに携わった人のお話しで機能追加することから物語は始まりました. (いや物語らん話しのがよかた)

このアプリケーション、しっかりテストケースが作ることになっており、なんと C0 カバレッジ 90% 以上、C1 も努力目標ながら高レベルでされているとのことでした. ~~ちゃんとテストするフレンズなんだね！すごーい！(2017年2月現在流行りのフレーズ)~~

と、聞いていたのも束の間、コードを触り始めると気になる謎の実装、不思議なテストケース…
「テストなってないじゃん？」いや、まぁ、「テストするとは」の定義は何かと自問自答するわけですが、テストケースがあるとか、カバレッジが取れてるとかでなくて、「何を検証したいのか」じゃないのかなぁと、考えたとのことです.
僭越ながら同感です. いたずらにカバレッジだけとっても、通過させるためだけの意味のないテストケースの実行コードなんてものがあふれることもあり得ます.

え？その “verify(x, never()).y()”…

さて、そんな中、聞かれたのが “verify(x, never()).y()” というコード. これだけ聞かれてもよくわからないのですが、たぶんモックでメソッドの呼び出し有無を判定したいと思われます.

そして出てきたのが以下のようなテストケース. (※ ポスト用に命名等を汎化させています)

public class DaoTest {
    @Test public void testAdd() {
        verify(dao, never()).findAll();
    }
    // ...(省略)
}

いゃ～！見たくなかった、聞きたくなかった…
たぶん、Deta Access Object = DAO のテストケースと思われます.
きっと、新しいレコードを追加 = add するのをテストしたかったのでしょう. 知らんけど.
verify() と never() はモックを簡単にするためのライブラリから、メソッドの実行確認をしているのでしょう.
だけど、dao.add() 実行してないじゃん？あと findAll() しなくね？、どう考えても. (そもそも Dao の処理を何も実行してないからアレだけど) White Box テストだから知ってるはずだし？

どうして、そうなったのか. 少し話を聞いたたらしいのですが、「テストって、何をテストをするんですか？」「どうやるんですか？」「できすか？やって見せてください！」…
えーっと、逆ギレ？ DAO とかテストめんどくさいの分かるけど、単純な Getter/Setter だけのテストだってできてないんですが (T_T

public class ModelTest {
    @Test public void setParam() {
        Model model = new Model();
        model.set("あああ...");  // ※ すごい長い「あ」が続く
        assertEquals("あああ...", model.get());
        // ※ この後、同様のパターンで半角英数、記号、全半角の組み合わせ？ などが続く
    }
}

なお、C0 90% は、どっか別のテストケースで実行していたのが、たまたま通過していたものだったとか. 対となるテストケースの実行では無残なカバレッジ率とのこと… はあぁ全部作り直しかよ～と、ご愁傷様です (￣人￣)
ひゃ～こわい、こわい.

“assertTrue(true)” ？

そんな今となっては香ばしい昔話を黄泉がえらせたのが、Titter に流れてきた衝撃のツイート.

“assertTrue(true)”… 何を言っているのかわかりませんでいた. いや TDD とかで、Fake it、ですよね～やるやる～～www と…

お隣のプロジェクトで JUnit 使っているというのでテストコードを見せてもらったんだが、大量にあるテストケースのほとんどが assertTrue(true) で終わってて完全に闇
— こはま (@c0hama) 2017年2月6日

Test読んで理解しようと思って開いてみたら，assertTrue(true)が並んでいた時の顔をしています
— みーちゃん (@LazyMii) 2017年2月6日

いや、ヤバいです. どういう話しですか？
先の昔話も今もテストの闇は深い… (“JUnit 目視” という、別系統のヤバいのも見た気が)