「handicapped」は「hand in cap」というくじ引きのゲームから来ています。

「hand in cap」は「handicap」に進化し、後に不利や障害を表すようになりました。

最初はゲームでの不利を指していましたが、時間とともに身体的または精神的な障害を表すようになりました。