czy ta pochodna jest dobrze? jeśli tak to jak to dalej zrobić? bo ona chyba nigdy nie będzie równa 0
a czemu w dziedzinie mamy przedział domknięty obustronnie?
Myślę, że wynika to z tego, że gdy x=0, to E leży w tym samym miejscu co punkt D i wtedy w punkcie C leży F i y=1. Analogiczna sytuacja zachodzi dla y=0 (wtedy x=1). I wówczas warunki zadania są spełnione, bo odcinek EF jest styczny do okręgu (leży na jednym z boków kwadratu, w którego wpisana jest ćwierć okręgu).
Tutaj do zoptymalizowania jest długość odcinka EF, a więc to y, które wyznaczyłaś, należy wstawić do tej długości |EF|=2-x-y. I dopiero to wyrażenie to funkcja do optymalizacji:)