Иконки файлов *.html и *.htm отображаются как неизвестный формат
Панель управления -> Свойства папки -> Типы файлов -> Находим нужное расширение -> Дополнительно -> меняем иконку.
Способ 2
В реестре в ветке HKEY_CLASSES_ROOT\htmlfile\DefaultIcon
FAQ по Microsoft Windows XP -v.1.1.0