Botones redondeados en android

Para lo que deseas lograr, no se usa un StateListDrawable (selector) se usa un ShapeDrawable (shape) :

<?xml version="1.0" encoding="utf-8"?>
<shape xmlns:android="http://schemas.android.com/apk/res/android" android:shape="rectangle"> 
    <solid android:color="#ffffff"/>    

    <stroke android:width="3dp"
            android:color="#ff000000"/>

    <padding android:left="1dp"
             android:top="1dp"
             android:right="1dp"
             android:bottom="1dp"/> 

    <corners android:radius="30px"/> 
</shape>

selector, es usado cuando deseas crear un StateListDrawable. Para crear un drawable para generar bordes redondeados en tu botton debes usar un ShapeDrawable.
Puedes revisar la documentación de los tipos de drawable usados en android y su estructura:
http://developer.android.com/guide/topics/resources/drawable-resource.html#Shape
Como ejemplo el .xml anterior lo guardamos dentro del folder /drawable con el nombre borde_redondo.xml y en nuestro botón lo cargamos como background:

<Button
    android:id="@+id/btnRedondo"
    android:layout_width="159dp"
    android:layout_height="wrap_content"
    android:text="bordes redondos"
    android:textColor="#000000"
    android:background="@drawable/borde_redondo"/>

Tendremos como resultado:

 

Android Studio Tutorial Shape Drawable Demo