А, ну если мы зачем-то вводим сущность "двойные планеты", тогда просто добавим оговорку наподобие "в случаях, когда |(M-m)/(M+m)| > N; если же означенное соотношение меньше или равно N, считать эти две планеты двойными" и определим N так, чтобы "двойные планеты" получались норм для соответствующих расчётов. :)

Понятно, что в граничных случаях это будет "задача о куче" и можно будет придумать гипотетический случай, когда на "двойную планету" упадёт метеорит и сделает одну планету спутником другой, но при существующей точности измерения масс планет, я думаю, можно ещё долго с этим не париться.

Вообще, конечно, стоит начинать с вопроса "зачем".
Зачем нам считать одну планету спутником другой? Какой класс (или какие классы) задач мы собираемся решать с помощью этого определения?