たぶんご期待とは異なると思いますが、私には数式を作成できそうにありませんので、
ユーザー定義関数で求めることにしました。
VBAの標準モジュールに
Function gyou(myRng As Range) As Long
  Dim c As Range
  Application.Volatile
    For Each c In myRng
        If c.Value <> "" And c.Row Mod 2 = 0 Then
            gyou = c.Row: Exit For
        End If
    Next c
End Function

シートの求めるセルに、
=gyou(A1:A20)
とすれば　4　が返ります。
=gyou(B1:B20)
とすれば　2　が返ります。