ver1.1.4にてHTMLサイトマップを生成するテンプレートを追加しました。
全カテゴリーと、それに属する全記事を一覧で出力できます。
なお、前にフォーラムで回答しましたが、XMLサイトマップと違ってHTMLサイトマップにはSEO効果はないと言われています。
ただ、ないよりはあった方が良いかなと思ったので今回追加しました。
多分、プラグインを使う必要はないと思うので、プラグインでHTMLサイトマップを生成している方はこっちの方も一度試してみてください。
以下、設定手順などを紹介します。
HTMLサイトマップページを作る手順

「固定ページ」からページを新規追加

ページ属性を「すべてのカテゴリーと記事」に変更
以上です。
表示を制御する方法

- 画像の表示有無
- カテゴリーの除外
- 記事の除外
が現時点で設定可能です。
カテゴリーの画像は、そのカテゴリーの最新記事に設定されている画像を自動的に取得して表示します。
除外機能は表示したくないカテゴリーや記事を指定できます。
親子関係になっているカテゴリーに関しては、親カテゴリーを除外すると子カテゴリーも除外されるようにしているので、すべてチェックする必要はありません。