lmao... looping wrong thing fix
This commit is contained in:
parent
522799f5db
commit
22f651465c
9
scrap.sh
9
scrap.sh
@ -3,7 +3,6 @@ START_NID=$1
|
|||||||
NID=$START_NID
|
NID=$START_NID
|
||||||
END_NID=$2
|
END_NID=$2
|
||||||
FILENAME=A${1}-A${2}.json
|
FILENAME=A${1}-A${2}.json
|
||||||
mkdir -p null
|
|
||||||
while [ "$START_NID" -le "$END_NID" ];
|
while [ "$START_NID" -le "$END_NID" ];
|
||||||
do
|
do
|
||||||
echo Scraping: $NID # print
|
echo Scraping: $NID # print
|
||||||
@ -15,14 +14,16 @@ do
|
|||||||
then
|
then
|
||||||
if [ "$DATA" = "null" ]
|
if [ "$DATA" = "null" ]
|
||||||
then
|
then
|
||||||
echo A$NID > null/A$NID
|
echo A$NID | tee -a norecords
|
||||||
else
|
else
|
||||||
echo $DATA | tee -a $FILENAME
|
echo $DATA | tee -a $FILENAME
|
||||||
printf "\n" | tee -a $FILENAME
|
printf "\n" | tee -a $FILENAME
|
||||||
|
fi
|
||||||
|
|
||||||
START_NID=$(echo $[$START_NID+1])
|
START_NID=$(echo $[$START_NID+1])
|
||||||
printf -v NID "%06d" $START_NID
|
printf -v NID "%06d" $START_NID
|
||||||
sleep 1.5
|
sleep 3.5
|
||||||
fi
|
|
||||||
else
|
else
|
||||||
echo delaying
|
echo delaying
|
||||||
sleep 1000
|
sleep 1000
|
||||||
|
Loading…
x
Reference in New Issue
Block a user