Utilizar o método:
setUndecorated da classe java.awt.Dialog

Segundo JavaDoc:

public void setUndecorated(boolean undecorated)

    Permite ou desativa decorações para este diálogo. Este método só pode
    ser chamado enquanto o diálogo não for exibível.

    Parâmetros:
        undecorated - true para que nenhuma decoração seja habilitada no 
             diálogo; false para que decorações seja habilitadas no diálogo.
    Throws:
        IllegalComponentStateException - se o diálogo está visível.
    Desde:
        1.4