WordPressには前後の記事へのリンクを出力するテンプレートタグprevious_post_linknext_post_linkがあります。 これで出力されるリンクを画像アイコンを含めた形で出力させます。

まずは単純な使い方。

%linkの部分が記事のタイトルとして出力されます。
idやclass等をつければcssで装飾はそのままできますね。

当ブログではこれに画像アイコンをつけて、そのアイコンも含めてリンクとして出力しています。
以下がそのコード。

画像アイコンをリンクに含める

第一引数を%linkとし、第二引数に画像を含めたタグを記述します。