To the point

適切な、的を得た
（★研究社　リーダーズ英和辞典）

more to the point で
さらに肝心なのは
の意味になります。

英英辞典を見てみます。

to the point
= Relevant and appropriate to what is happening or being discussed.

直訳すると
「起こっている出来事や話していることに対して、妥当で適切な」という意味です。

● 同意語
relevant, pertinent, apposite, germane, applicable, apropos, appropriate, apt, fitting, suitable, material, connected, related, linked

● 例文
His evidence was brief and to the point.
「彼の証言は短いが的を得ていた。」

That means a long car journey and, more to the point, an argument about what music to play.
「車での移動が長くなってしまうってこと、更に肝心なのは、どの音楽をかけるかで言い争いになるっていうこと。」