Compare commits
4 Commits
| Author | SHA1 | Date | |
|---|---|---|---|
| baf36dbaf8 | |||
| 64190a500d | |||
| dcbf937d38 | |||
| 08c92ca74d |
3
.gitignore
vendored
3
.gitignore
vendored
@@ -1 +1,4 @@
|
||||
nlink.conf
|
||||
nlink.db
|
||||
nlink
|
||||
nlink.exe
|
||||
|
||||
18
main.go
18
main.go
@@ -121,16 +121,18 @@ func main() {
|
||||
die.If(err)
|
||||
}
|
||||
|
||||
log.Debugln("config keys")
|
||||
for _, k := range config.ListKeys() {
|
||||
log.Debugf("key: %s", k)
|
||||
}
|
||||
log.Infoln("nlink is starting")
|
||||
|
||||
log.Debugf("loading config file %s\n", configFile)
|
||||
if err := config.LoadFile(configFile); err != nil {
|
||||
log.Fatal(err)
|
||||
}
|
||||
|
||||
log.Debugln("config keys")
|
||||
for _, k := range config.ListKeys() {
|
||||
log.Debugf("key: %s", k)
|
||||
}
|
||||
|
||||
log.Infof("minio_bucket: %s", config.Get("minio_bucket"))
|
||||
if err := restoreDatabase(config.Get("local_database")); err != nil {
|
||||
log.Fatal(err)
|
||||
@@ -153,6 +155,7 @@ func main() {
|
||||
defer db.Close()
|
||||
|
||||
feeds := splitFeeds()
|
||||
|
||||
if markOnly {
|
||||
log.Info("marking database")
|
||||
for _, feed := range feeds {
|
||||
@@ -166,12 +169,15 @@ func main() {
|
||||
|
||||
log.Debugf("will look for new items every %s\n", interval)
|
||||
for {
|
||||
log.Infoln("running fetch loop")
|
||||
for _, feed := range feeds {
|
||||
log.Infoln("fetching items")
|
||||
log.Infof("fetching items for feed %s", feed)
|
||||
if err := fetchItems(db, feed, markOnly); err != nil {
|
||||
log.Info(err)
|
||||
log.Errln(err)
|
||||
}
|
||||
}
|
||||
time.Sleep(interval)
|
||||
}
|
||||
|
||||
log.Infoln("exiting")
|
||||
}
|
||||
|
||||
@@ -30,6 +30,7 @@ func connectMinio() (err error) {
|
||||
}
|
||||
|
||||
func restoreDatabase(path string) error {
|
||||
log.Debugln("restoring database from minio")
|
||||
if minioClient == nil {
|
||||
if err := connectMinio(); err != nil {
|
||||
return err
|
||||
@@ -58,7 +59,12 @@ func restoreDatabase(path string) error {
|
||||
defer dbFile.Close()
|
||||
|
||||
_, err = io.Copy(dbFile, obj)
|
||||
if err != nil {
|
||||
return err
|
||||
}
|
||||
|
||||
log.Debugln("database restored from minio")
|
||||
return nil
|
||||
}
|
||||
|
||||
func saveDatabase(path string) error {
|
||||
@@ -91,5 +97,7 @@ func saveDatabase(path string) error {
|
||||
if err != nil {
|
||||
return err
|
||||
}
|
||||
|
||||
log.Debugln("database saved to minio")
|
||||
return nil
|
||||
}
|
||||
|
||||
Reference in New Issue
Block a user