Olá.
Situação.
Imagine a cena:
1. Você está programando um pop-up aberto com uma instrução javascript window.showmodal().
2. Neste pop-up você insere um formulário ASP.NET e um botão (commandbutton).
3. Ao clicar no botão você espera que o formulário seja postado, porém, é aberta uma nova janela do browser e a janela do pop-up é recarregada. Nada acontece como planejado.
Solução.
Incluir uma tag BASE dentro da seção HEAD do seu pop-up e setar o atributo TARGET para _SELF. Você pode fazê-lo de duas formas:
1. Editando a seção head do seu pop-up manualmente desta forma:
<head><base target="_self"></head>
2. Ou incluindo a mesma informação acima via code behind.
É isso. Boa sorte com seu projeto.
Eduardo.