[Golang] groupcache的簡單範例

大概介紹

其實關於groupcache的介紹網上非常的多，搜索出來清一色都是說的介紹，當然也有配圖如何部署，但是文字與配圖完全不在一個時空，圖也是copy國外的一篇博客。它不像其它的一些緩存數據庫有個服務端，需要客戶端去連接，文檔中明確說明了它就是一個程序庫，所以沒有服務端與客戶端這麼一說，換句話說，它本沒有服務端，又或者是人人都是服務端，食神的感覺油然而生。

主要代碼結構

它的代碼結構也比較清晰，代碼量也不是很大，很適合大家去閱讀學習。主要分為了consistenthash(提供一致性哈希算法的支持)，lru(提供了LRU方式清楚緩存的算法)，singleflight(保證了多次相同請求只去獲取值一次，減少了資源消耗)，還有一些源文件：byteview.go 提供類似於一個數據的容器，http.go提供不同地址間的緩存的溝通的實現，peers.go節點的定義，sinks.go感覺就是一個開闢空間給容器，並和容器交互的一個中間人，groupcache.go整個源碼裡的大當家，其它人都是為它服務的。

一個測試例子

在使用這個緩存的時候比較重要的幾方面也是我之前犯錯的幾個地方

需要監聽兩個地方，一個是監聽節點，一個是監聽請求
在批量設置節點地址的時候需要在地址前面加上http://，因為一開始我沒有加上去，所以緩存信息一直不能再節點之間交互
啟動的節點地址要與設置的節點地址一致：數量和地址值。因為我每次少一個就無法在節點間交互。

以上的一些信息可能也有不對的地方，只是我個人的一個測試後的結果。

代碼部分

package main

        import (
            "flag"
            "fmt"
            "github.com/golang/groupcache"
            "io/ioutil"
            "log"
            "net/http"
            "os"
            "strconv"
            "strings"
        )
        
        var (
            // peers_addrs = []string{"127.0.0.1:8001", "127.0.0.1:8002", "127.0.0.1:8003"}
            //rpc_addrs = []string{"127.0.0.1:9001", "127.0.0.1:9002", "127.0.0.1:9003"}
            index = flag.Int("index", 0, "peer index")
        )
        
        func main() {
            flag.Parse()
            peers_addrs := make([]string, 3)
            rpc_addrs := make([]string, 3)
            if len(os.Args) > 0 {
                for i := 1; i < 4; i++ {
                    peers_addrs[i-1] = os.Args[i]
                    rpcaddr := strings.Split(os.Args[i], ":")[1]
                    port, _ := strconv.Atoi(rpcaddr)
                    rpc_addrs[i-1] = ":" + strconv.Itoa(port+1000)
                }
            }
            if *index < 0 || *index >= len(peers_addrs) {
                fmt.Printf("peer_index %d not invalid\n", *index)
                os.Exit(1)
            }
            peers := groupcache.NewHTTPPool(addrToURL(peers_addrs[*index]))
            var stringcache = groupcache.NewGroup("SlowDBCache", 64<<20, groupcache.GetterFunc(
                func(ctx groupcache.Context, key string, dest groupcache.Sink) error {
                    result, err := ioutil.ReadFile(key)
                    if err != nil {
                        log.Fatal(err)
                        return err
                    }
                    fmt.Printf("asking for %s from dbserver\n", key)
                    dest.SetBytes([]byte(result))
                    return nil
                }))
        
            peers.Set(addrsToURLs(peers_addrs)...)
        
            http.HandleFunc("/zk", func(rw http.ResponseWriter, r *http.Request) {
                log.Println(r.URL.Query().Get("key"))
                var data []byte
                k := r.URL.Query().Get("key")
                fmt.Printf("cli asked for %s from groupcache\n", k)
                stringcache.Get(nil, k, groupcache.AllocatingByteSliceSink(&data))
                rw.Write([]byte(data))
            })
            go http.ListenAndServe(rpc_addrs[*index], nil)
            rpcaddr := strings.Split(os.Args[1], ":")[1]
            log.Fatal(http.ListenAndServe(":"+rpcaddr, peers))
        }
        
        func addrToURL(addr string) string {
            return "http://" + addr
        }
        
        func addrsToURLs(addrs []string) []string {
            result := make([]string, 0)
            for _, addr := range addrs {
                result = append(result, addrToURL(addr))
            }
            return result
        }

執行方式：./demo 127.0.0.1:8001 127.0.0.1:8002 127.0.0.1:8003

在上面的命令中我們就啟動了一個節點，並且設置節點地址個數為3個，這裡由於我是默認的index為0，所以在啟動其它節點的時候變換下地址的順序，使第一個地址三次都不一樣就好了。(抱歉，這裡實現的不是很好),這樣同樣方法啟動三個節點。

打開瀏覽器訪問127.0.0.1:9001?key=1.txt，這裡1.txt是需要獲取數據的之際地方，類似於實際中的數據庫，我這裡直接用一個文件代替了。

運行結果：