Huggingface

Huggingface 对话组件的详细信息

组件格式

一个 Dapr conversation.yaml 组件文件具有以下结构:

apiVersion: dapr.io/v1alpha1
kind: Component
metadata:
  name: huggingface
spec:
  type: conversation.huggingface
  metadata:
  - name: key
    value: mykey
  - name: model
    value: meta-llama/Meta-Llama-3-8B
  - name: cacheTTL
    value: 10m

元数据字段说明

字段必需详情示例
keyYHuggingface 的 API 密钥。mykey
modelN要使用的 Huggingface LLM。默认为 meta-llama/Meta-Llama-3-8Bmeta-llama/Meta-Llama-3-8B
cacheTTLN提示缓存的过期时间。使用 Golang 持续时间格式。10m

相关链接