Uma dica boa que encontrei no blog do Daemon (recomendo visitarem o blog dele, tem muito conteúdo de excelente qualidade).

Então vamos lá! Adicione a seguinte linha no seu vimrc (~/.vimrc):

" Mapeia a função a tecla F8
noremap :call HexMe()
" Definição da função
let $in_hex=0
function HexMe()
set binary
set noeol
if $in_hex>0
:%!xxd -r
let $in_hex=0
else
:%!xxd
let $in_hex=1
endif
endfunction

Pra usar a função só dar um f8 no arquivo binário :)

[caption id="attachment_392" align="aligncenter" width="738"]Vim em modo binário Simples! hehehe[/caption]

[]'s