От наследства , конечно, можете отказаться. Можете даже не заявлять своё право в качестве наследника в течение 6 мес с момента смерти мамы. Но оформить нотариальный отказ от своих прав, будет правильнее.
Имеющуюся задолженность придется погашать. Без вариантов.

Здравствуйте. Отказаться от прав на квартиру - сделать нотариальный отказ и предоставить его нотариусу ведущему наследственное дело или вообще ничего не делать и не заявлять.
Долги до момента прекращения регистрационного учета в квартире никуда не исчезнут. Если у Вас есть документы подтверждающие, что в квартире Вы не проживали, то в судебном порядке можете попытаться списать свои долговые обязательства. Таким документом может быть регистрация по месту пребывания по другому адресу.

вы были прописаны с матерью на день смерти?
если да, то вы будете считаться фактически принявшим наследство, поэтому если вы хотите отказаться от наследства, то вам необходимо обратиться к нотариусу и написать соответствующее заявление. сделать это необходимо до истечения 6-месячного срока со дня смерти. также можно открыть наследственное дело и сдать туда это заявление, чтобы оно хранилось в н/д. себе можете сделать нотариальную копию этого заявления, на случай претензий со стороны кредиторов матери (если они есть).
нужно понимать, что отказываясь от наследства, вы отказываетесь от всего имущества, которое ей принадлежало на день смерти.
также вы должны понять, что отказавшись от наследство после смерти матери, ваши долги никуда не денутся.
непонятно, квартира была в собственности? почему на вас висит задолженность, если собственник мать?

Дарья, судя по рассказу квартира не приватизированная (это предположение, мне кажется, что мама была главным квартиросъемщиком по договору соцнайма. Если это не так, тогда исправьте меня пожалуйста). Вам придётся разобраться по долгам, которые были накоплены до Вашего снятия с регистрационного учёта. После того, как выписались из квартиры новые долги лично Вас не коснутся, а у брата с сестрой проблемы будут продолжаться до тех пор пока ими не займётся государство.