ウェイポイントの画像差し替えに成功しました。 
フォルダごとsettingに入れればOKです。
textures_rot.zip (3.5 MB)
texファイルをバイナリエディタで確認しながらいくつか試したところ、圧縮なしの形式でやった方が良さそうだったので、TexViewerでTGAに保存して画像編集しました。
あとは、今まではPaint.netというソフトを使っていたのですが、これで出力したファイルだとバイナリエディタで見たときに元のtexファイルとフォーマットが合ってなかったので、GIMPに変えてみたところあっさりイケました。
正直細かい理由は分からないのですが、バイナリエディタで見てこのように整った感じの配列になっていれば大丈夫みたいです。
ちなみに、TextureCompilerでのtex変換はコマンドプロンプトから下のように入力します。
texturecompiler waypointmap.tga -nopoweroftwo waypointmap.tex
＊-nopoweroftwoオプションをつけないとエラーが出ます。
＊texturecompilerはexeとfreeimage.dllの2つだけあればどこの場所でも使えます。
参考記事