HKT --:--:-- │ uptime 7y 255d
⌁ RSS

分类 · LLM与AI

~/rants/*.md
2 篇
2026-11-09 23:50
它宣告了下一步，却没伸手：给中文 Agent 补上防停住的闸门
周末跑《道陨苍穹》第一章的分镜任务，会话跑着跑着又停了。没有报错，没有被中断，日志里干干净净一个 Turn ended: reason=text_response(finish_reason=stop)。模型最后一句话是：「接线细节要按 v0.3.1 源码确认，先从 zip 里读 Load/Save 的实际行为：」…
#2026#agent#Chain-of-Thought#Hermes#LLM#SQLite#thinking budget#中文处理#正则表达式
0
2026-10-15 09:52 FATAL已修复
让长推理不再绕圈：Strata 上推理循环防护的完整落地
一次 Strata 推理循环防护的完整落地：四层防护、两条克制原则、一个必须守住的接线口。 环境 Tesla V100-PCIE-32GB + 96 GB RAM，串行跑 Qwen3.8-Flash-Next（MoE，每层 512 experts） 模型 OrcaRouter Uncensored Q4_K_M · SC117 GSQ-RCO-abliterated IQ3_…
#2026#262144#abliterated#Anthropic API#Chain-of-Thought#chat template#ChatTemplate#coverage#CUDA#EFFORT_TEXT#Flash#froggeric#froggeric v22.4#GGUF#IQ3_S#jinja#KV cache#llama.cpp#LLM#LLM inference#lookup-chain#loop#LOOP_COVERAGE#metrics#min_p#MoE#MTP#n-gram 检测#Next#nVidia#observability#OpenAI 兼容 API#OrcaRouter#presence_penalty#prompt#prompt 拼接#Q4_K_M#Qwen#Qwen3.8-Flash-Next#RAM#reasoning#reasoning loop#reasoning_budget_tokens#reasoning_close_retry#reasoning_loop_recovery#recover#repeat_stop_tokens#repetition loop#repetition_penalty#robustness#sampling#SC117#self-hosted LLM#speculative decoding#stop#Strata#suffix-draft#temperature#Tesla#Tesla V100#thinking#token 级匹配#top_k#top_p#troubleshooting#v0.1.42#V100#上下文窗口#兜底策略#前缀复用#单卡部署#参数调优#可观测性#周期尾串#四层防护#大语言模型#官方思考模式#实践笔记#容错#工程实践#引擎升级#循环检测#循环防护#思维链#思考预算#性能调优#投机解码#排障#推理优化#推理加速#推理失败#推理循环#日志诊断#显存优化#本地大模型#本地部署#检测算法#混合专家模型#私有化部署#稳定性#空回答#系统提示词#聊天模板#草稿模型#覆盖率判据#解析器边界#调优笔记#调参#超长单词循环#踩坑#采样参数#重复退化#量化#长上下文#长推理#问题
0