(相关资料图)
品玩7月25日讯，据DoNews报道，MosaicML 近日发布了其 70 亿参数模型 MPT-7B-8K。
据悉，该模型一次可以处理 8000 字文本，相当擅长处理长文重点摘要和问答，还能在 MosaicML 平台上根据特定任务，进一步微调相关配置。
据悉，系列模型采用了 150 万个 Token，并以 256 块 H100 GPU 花 3 天完成模型训练而成。MosaicML 本次发布了 3 个版本模型，包括 MPT-7B-8k、MPT-7B-8k-Instruct 和 MPT-7B-8k-Chat。
关键词：
