「matter-of-factly」は英語に由来し、形容詞「matter-of-fact」に副詞化接尾辞「-ly」が付いてできた語。'matter'は古フランス語' mati ere'（ラテン語'materia'）に由来し「物質・事柄」を意味、'fact'はラテン語'factum'に由来し「なされたこと・事実」を意味する。

「matter of fact」という語句（近代英語）から派生し、形容詞として「matter-of-fact」とハイフンで結ばれ、さらに現代英語で副詞化して「matter-of-factly」になった。

当初は「感情ではなく事実に関する」という意味だったが、派生した副詞は「淡々と・感情を交えずに述べる／行う」という意味に発展した。