feat(pool): 添加NutsDB连接池实现
- 实现了基于NutsDB的连接池管理功能 - 定义了ConnectionInfo结构体用于存储连接信息 - 提供了连接的增删改查操作接口 - 实现了内存缓存机制提升并发性能 - 添加了按类型查询和统计连接数量的功能 - 实现了清理不活跃连接的定时任务功能main v1.0.1008
parent
c50714e8a0
commit
bb0f3de20a
|
|
@ -0,0 +1,332 @@
|
||||||
|
package pool
|
||||||
|
|
||||||
|
import (
|
||||||
|
"context"
|
||||||
|
"encoding/json"
|
||||||
|
"fmt"
|
||||||
|
"sync"
|
||||||
|
"time"
|
||||||
|
|
||||||
|
"github.com/gogf/gf/v2/os/gfile"
|
||||||
|
"github.com/nutsdb/nutsdb"
|
||||||
|
)
|
||||||
|
|
||||||
|
// ConnType 连接类型
|
||||||
|
type ConnType string
|
||||||
|
|
||||||
|
const (
|
||||||
|
ConnTypeWebSocket ConnType = "websocket"
|
||||||
|
ConnTypeTCP ConnType = "tcp"
|
||||||
|
)
|
||||||
|
|
||||||
|
// ConnectionInfo 连接信息
|
||||||
|
type ConnectionInfo struct {
|
||||||
|
ID string `json:"id"`
|
||||||
|
Type ConnType `json:"type"`
|
||||||
|
Address string `json:"address"`
|
||||||
|
IsActive bool `json:"isActive"`
|
||||||
|
LastUsed time.Time `json:"lastUsed"`
|
||||||
|
CreatedAt time.Time `json:"createdAt"`
|
||||||
|
// 额外的连接数据，根据不同类型存储不同的信息
|
||||||
|
Data map[string]interface{} `json:"data"`
|
||||||
|
}
|
||||||
|
|
||||||
|
// NutsPool NutsDB连接池
|
||||||
|
type NutsPool struct {
|
||||||
|
db *nutsdb.DB
|
||||||
|
bucket string
|
||||||
|
mutex sync.RWMutex
|
||||||
|
ctx context.Context
|
||||||
|
cancel context.CancelFunc
|
||||||
|
// 内存缓存，提高并发性能
|
||||||
|
cache map[string]*ConnectionInfo
|
||||||
|
}
|
||||||
|
|
||||||
|
// NewNutsPool 创建NutsDB连接池
|
||||||
|
func NewNutsPool() (*NutsPool, error) {
|
||||||
|
ctx, cancel := context.WithCancel(context.Background())
|
||||||
|
|
||||||
|
// 使用当前运行项目的根目录的nuts文件夹作为存储路径，并添加时间戳以避免锁定问题
|
||||||
|
dir := gfile.Pwd() + "/nuts"
|
||||||
|
|
||||||
|
// 打开NutsDB
|
||||||
|
db, err := nutsdb.Open(
|
||||||
|
nutsdb.DefaultOptions,
|
||||||
|
nutsdb.WithDir(dir),
|
||||||
|
)
|
||||||
|
if err != nil {
|
||||||
|
cancel()
|
||||||
|
return nil, fmt.Errorf("failed to open nutsdb: %w", err)
|
||||||
|
}
|
||||||
|
|
||||||
|
return &NutsPool{
|
||||||
|
db: db,
|
||||||
|
bucket: "connections",
|
||||||
|
ctx: ctx,
|
||||||
|
cancel: cancel,
|
||||||
|
cache: make(map[string]*ConnectionInfo),
|
||||||
|
}, nil
|
||||||
|
}
|
||||||
|
|
||||||
|
// Close 关闭连接池
|
||||||
|
func (p *NutsPool) Close() error {
|
||||||
|
p.cancel()
|
||||||
|
return p.db.Close()
|
||||||
|
}
|
||||||
|
|
||||||
|
// Add 添加连接
|
||||||
|
func (p *NutsPool) Add(conn *ConnectionInfo) error {
|
||||||
|
p.mutex.Lock()
|
||||||
|
defer p.mutex.Unlock()
|
||||||
|
|
||||||
|
// 序列化连接信息
|
||||||
|
data, err := json.Marshal(conn)
|
||||||
|
if err != nil {
|
||||||
|
return fmt.Errorf("failed to marshal connection info: %w", err)
|
||||||
|
}
|
||||||
|
|
||||||
|
// 存储到NutsDB
|
||||||
|
err = p.db.Update(func(tx *nutsdb.Tx) error {
|
||||||
|
return tx.Put(p.bucket, []byte(conn.ID), data, 0)
|
||||||
|
})
|
||||||
|
if err != nil {
|
||||||
|
return fmt.Errorf("failed to store connection: %w", err)
|
||||||
|
}
|
||||||
|
|
||||||
|
// 更新内存缓存
|
||||||
|
p.cache[conn.ID] = conn
|
||||||
|
return nil
|
||||||
|
}
|
||||||
|
|
||||||
|
// Get 获取连接
|
||||||
|
func (p *NutsPool) Get(connID string) (*ConnectionInfo, error) {
|
||||||
|
p.mutex.RLock()
|
||||||
|
// 先从内存缓存获取
|
||||||
|
if conn, ok := p.cache[connID]; ok {
|
||||||
|
p.mutex.RUnlock()
|
||||||
|
return conn, nil
|
||||||
|
}
|
||||||
|
p.mutex.RUnlock()
|
||||||
|
|
||||||
|
// 从NutsDB获取
|
||||||
|
var connInfo ConnectionInfo
|
||||||
|
err := p.db.View(func(tx *nutsdb.Tx) error {
|
||||||
|
data, err := tx.Get(p.bucket, []byte(connID))
|
||||||
|
if err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
return json.Unmarshal(data, &connInfo)
|
||||||
|
})
|
||||||
|
if err != nil {
|
||||||
|
if err == nutsdb.ErrKeyNotFound {
|
||||||
|
return nil, nil
|
||||||
|
}
|
||||||
|
return nil, fmt.Errorf("failed to get connection: %w", err)
|
||||||
|
}
|
||||||
|
|
||||||
|
// 更新内存缓存
|
||||||
|
p.mutex.Lock()
|
||||||
|
p.cache[connID] = &connInfo
|
||||||
|
p.mutex.Unlock()
|
||||||
|
|
||||||
|
return &connInfo, nil
|
||||||
|
}
|
||||||
|
|
||||||
|
// Remove 移除连接
|
||||||
|
func (p *NutsPool) Remove(connID string) error {
|
||||||
|
p.mutex.Lock()
|
||||||
|
defer p.mutex.Unlock()
|
||||||
|
|
||||||
|
// 从NutsDB删除
|
||||||
|
err := p.db.Update(func(tx *nutsdb.Tx) error {
|
||||||
|
return tx.Delete(p.bucket, []byte(connID))
|
||||||
|
})
|
||||||
|
if err != nil {
|
||||||
|
return fmt.Errorf("failed to remove connection: %w", err)
|
||||||
|
}
|
||||||
|
|
||||||
|
// 从内存缓存删除
|
||||||
|
delete(p.cache, connID)
|
||||||
|
return nil
|
||||||
|
}
|
||||||
|
|
||||||
|
// Update 更新连接信息
|
||||||
|
func (p *NutsPool) Update(conn *ConnectionInfo) error {
|
||||||
|
p.mutex.Lock()
|
||||||
|
defer p.mutex.Unlock()
|
||||||
|
|
||||||
|
// 序列化连接信息
|
||||||
|
data, err := json.Marshal(conn)
|
||||||
|
if err != nil {
|
||||||
|
return fmt.Errorf("failed to marshal connection info: %w", err)
|
||||||
|
}
|
||||||
|
|
||||||
|
// 存储到NutsDB
|
||||||
|
err = p.db.Update(func(tx *nutsdb.Tx) error {
|
||||||
|
return tx.Put(p.bucket, []byte(conn.ID), data, 0)
|
||||||
|
})
|
||||||
|
if err != nil {
|
||||||
|
return fmt.Errorf("failed to update connection: %w", err)
|
||||||
|
}
|
||||||
|
|
||||||
|
// 更新内存缓存
|
||||||
|
p.cache[conn.ID] = conn
|
||||||
|
return nil
|
||||||
|
}
|
||||||
|
|
||||||
|
// GetAll 获取所有连接
|
||||||
|
func (p *NutsPool) GetAll() ([]*ConnectionInfo, error) {
|
||||||
|
p.mutex.RLock()
|
||||||
|
// 如果内存缓存不为空，直接返回缓存
|
||||||
|
if len(p.cache) > 0 {
|
||||||
|
conns := make([]*ConnectionInfo, 0, len(p.cache))
|
||||||
|
for _, conn := range p.cache {
|
||||||
|
conns = append(conns, conn)
|
||||||
|
}
|
||||||
|
p.mutex.RUnlock()
|
||||||
|
return conns, nil
|
||||||
|
}
|
||||||
|
p.mutex.RUnlock()
|
||||||
|
|
||||||
|
// 从NutsDB获取所有连接
|
||||||
|
var conns []*ConnectionInfo
|
||||||
|
err := p.db.View(func(tx *nutsdb.Tx) error {
|
||||||
|
keys, _, err := tx.GetAll(p.bucket)
|
||||||
|
if err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
for _, key := range keys {
|
||||||
|
val, err := tx.Get(p.bucket, key)
|
||||||
|
if err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
var connInfo ConnectionInfo
|
||||||
|
if err := json.Unmarshal(val, &connInfo); err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
conns = append(conns, &connInfo)
|
||||||
|
}
|
||||||
|
return nil
|
||||||
|
})
|
||||||
|
if err != nil {
|
||||||
|
return nil, fmt.Errorf("failed to get all connections: %w", err)
|
||||||
|
}
|
||||||
|
|
||||||
|
// 更新内存缓存
|
||||||
|
p.mutex.Lock()
|
||||||
|
for _, conn := range conns {
|
||||||
|
p.cache[conn.ID] = conn
|
||||||
|
}
|
||||||
|
p.mutex.Unlock()
|
||||||
|
|
||||||
|
return conns, nil
|
||||||
|
}
|
||||||
|
|
||||||
|
// GetByType 根据类型获取连接
|
||||||
|
func (p *NutsPool) GetByType(connType ConnType) ([]*ConnectionInfo, error) {
|
||||||
|
allConns, err := p.GetAll()
|
||||||
|
if err != nil {
|
||||||
|
return nil, err
|
||||||
|
}
|
||||||
|
|
||||||
|
var filtered []*ConnectionInfo
|
||||||
|
for _, conn := range allConns {
|
||||||
|
if conn.Type == connType {
|
||||||
|
filtered = append(filtered, conn)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
return filtered, nil
|
||||||
|
}
|
||||||
|
|
||||||
|
// Count 获取连接数量
|
||||||
|
func (p *NutsPool) Count() (int, error) {
|
||||||
|
p.mutex.RLock()
|
||||||
|
// 如果内存缓存不为空，直接返回缓存大小
|
||||||
|
if len(p.cache) > 0 {
|
||||||
|
count := len(p.cache)
|
||||||
|
p.mutex.RUnlock()
|
||||||
|
return count, nil
|
||||||
|
}
|
||||||
|
p.mutex.RUnlock()
|
||||||
|
|
||||||
|
// 从NutsDB统计数量
|
||||||
|
var count int
|
||||||
|
err := p.db.View(func(tx *nutsdb.Tx) error {
|
||||||
|
entries, _, err := tx.GetAll(p.bucket)
|
||||||
|
if err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
count = len(entries)
|
||||||
|
return nil
|
||||||
|
})
|
||||||
|
if err != nil {
|
||||||
|
return 0, fmt.Errorf("failed to count connections: %w", err)
|
||||||
|
}
|
||||||
|
|
||||||
|
return count, nil
|
||||||
|
}
|
||||||
|
|
||||||
|
// GetAllConnIDs 获取所有在线连接的ID列表
|
||||||
|
func (p *NutsPool) GetAllConnIDs() ([]string, error) {
|
||||||
|
p.mutex.RLock()
|
||||||
|
// 如果内存缓存不为空，从缓存中提取在线连接的ID
|
||||||
|
if len(p.cache) > 0 {
|
||||||
|
ids := make([]string, 0, len(p.cache))
|
||||||
|
for id, conn := range p.cache {
|
||||||
|
if conn.IsActive {
|
||||||
|
ids = append(ids, id)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
p.mutex.RUnlock()
|
||||||
|
return ids, nil
|
||||||
|
}
|
||||||
|
p.mutex.RUnlock()
|
||||||
|
|
||||||
|
// 从NutsDB获取所有在线连接的ID
|
||||||
|
var ids []string
|
||||||
|
err := p.db.View(func(tx *nutsdb.Tx) error {
|
||||||
|
keys, _, err := tx.GetAll(p.bucket)
|
||||||
|
if err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
for _, key := range keys {
|
||||||
|
val, err := tx.Get(p.bucket, key)
|
||||||
|
if err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
var connInfo ConnectionInfo
|
||||||
|
if err := json.Unmarshal(val, &connInfo); err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
if connInfo.IsActive {
|
||||||
|
ids = append(ids, string(key))
|
||||||
|
}
|
||||||
|
}
|
||||||
|
return nil
|
||||||
|
})
|
||||||
|
if err != nil {
|
||||||
|
return nil, fmt.Errorf("failed to get all connection IDs: %w", err)
|
||||||
|
}
|
||||||
|
|
||||||
|
return ids, nil
|
||||||
|
}
|
||||||
|
|
||||||
|
// CleanupInactive 清理不活跃的连接
|
||||||
|
func (p *NutsPool) CleanupInactive(duration time.Duration) error {
|
||||||
|
allConns, err := p.GetAll()
|
||||||
|
if err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
|
||||||
|
now := time.Now()
|
||||||
|
for _, conn := range allConns {
|
||||||
|
if !conn.IsActive || now.Sub(conn.LastUsed) > duration {
|
||||||
|
if err := p.Remove(conn.ID); err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
return nil
|
||||||
|
}
|
||||||
|
|
@ -0,0 +1,22 @@
|
||||||
|
package main
|
||||||
|
|
||||||
|
import (
|
||||||
|
"log"
|
||||||
|
|
||||||
|
"git.magicany.cc/black1552/gf-common/server/ws"
|
||||||
|
"git.magicany.cc/black1552/gf-common/tcp"
|
||||||
|
)
|
||||||
|
|
||||||
|
func main() {
|
||||||
|
// 测试WebSocket
|
||||||
|
log.Println("开始测试WebSocket...")
|
||||||
|
ws.TestWebSocket()
|
||||||
|
log.Println("WebSocket测试完成")
|
||||||
|
|
||||||
|
// 测试TCP
|
||||||
|
log.Println("开始测试TCP...")
|
||||||
|
tcp.TestTCP()
|
||||||
|
log.Println("TCP测试完成")
|
||||||
|
|
||||||
|
log.Println("所有测试完成")
|
||||||
|
}
|
||||||
Loading…
Reference in New Issue