Hallazgos arqueológicos, tales como puntas de flecha, sugieren que el arco y la flecha se utilizaron en Japón desde hace más de 10.000 años. Aparentemente, durante la era Jomon (1400 AC a 300 AC), el arco se habría empleado principalmente como arma de caza.
La transición del arco y flecha como instrumento de caza a un arma de guerra fue similar a la de occidente. A medida que los asentamientos pasaron a ser aldeas y estas a pueblos regionales; avanzó la civilización, la política se hizo más compleja y las disputas se hicieron inevitables. El arco se convirtió en un arma de gran eficacia en la guerra.
En 1543, Portugal introduce las primeras armas de fuego a Japón. Ya en 1575, los batallones con armas de fuego habían desplazado al arco y flechas de la primera línea como arma de guerra. Sin embargo, aun con la proliferación de las armas de fuego, estas no se convirtieron en las armas de los samurái de alto rango y los batallones que las utilizaban estaban compuestos por soldados de bajo rango. Para los samuráis el yumi seguía siendo el símbolo de su espíritu combativo.
Paralelamente, la arquería también se empleó en festivales y ceremonias: En algunas ocasiones, los guardias de los palacios hacían sonar el arco. Esto se realizaba para dar a conocer que palacios estaban siendo custodiados. Esto fue el principio de la transformación cultural y fue así cómo surgió su uso ceremonial. Actividades tales como el yabusame (tiro con arco a caballo) tenía carácter religioso y se utilizaba para hacer ofrendas a los dioses.
En el siglo XVII se desarrolló un juego, llamado Tôshiya, consistente en contar la cantidad de flechas que se pueden tirar a través de un largo pasaje, en 24 horas con 2 horas de descanso. Durante esta época se desarrollaron los yugake (guantes especiales para la arquería) que se utilizan en la actualidad. A partir de entonces hasta 1867 (inicio de la era moderna), durante casi 270 años, el yumi (arco) fue un instrumento para el entrenamiento físico y espiritual del samurai.
Hasta la Restauración Meiji en 1867, el arte del tiro con arco se llamaba kyu-jutsu y era considerado un arte marcial centrado en la técnica. Pero con la extrema modernización del Japón, las artes marciales (bu-jutsu ) fueron calificadas como inservibles y perdieron importancia. Sin embargo, los maestros de artes marciales de esa época se esforzaron para que subsistieran. Aquí fue cuando se transformó el objetivo de las artes marciales. La técnica del arte marcial, tiene como objetivo herir o matar, lo cual. es imprescindible la supervivencia en un campo de batalla. Sin embargo las artes marciales también son un medio para el desarrollo personal y espiritual, una vía hacia la autoperfección. En el caso de la arquería, esto dio lugar a su transformación de «kyu-jutsu» al kyudo (la senda del arco) actual.
Luego de la derrota de Japón en la Segunda Guerra Mundial, como parte de la política de ocupación, en 1946, fueron prohibidas las prácticas de todas las artes marciales y fue disuelta la Asociación Nacional de Artes Marciales. Sin embargo, en noviembre de 1949, anticipando el estallido de la guerra de Corea en 1950, el gobierno de ocupación de los Estados Unidos, levantó la prohibición de la práctica de artes marciales, como parte de la flexibilización política hacia Japón, En 1949, se fundó la Zen Nihon Kyudo Renmei (o Federación Japonesa de Kyudo).